寻找一个好用的数据集需要注意一下几点:
数据集发布平台
AI Studio数据集:开放数据集-百度AI Studio - 人工智能学习与实训社区
天池数据集:数据集-阿里系唯一对外开放数据分享平台
Papers With Code数据集:Machine Learning Datasets | Papers With Code
Kaggle 数据集:Find Open Datasets and Machine Learning Projects | Kaggle爱竞赛的盆友们应该很熟悉了,Kaggle上有各种有趣的数据集,拉面评级、篮球数据、甚至西雅图的宠物许可证。
Graviti Open Datasets:公开数据集下载,优质机器学习数据集,图像识别、NLP免费获取 | 格物钛,非结构化数据平台
Huggingface数据集:Hugging Face – The AI community building the future.
CLUE 数据集:https://www.cluebenchmarks.com/dataSet_search.html
UCI机器学习库:最古老的数据集源之一,是寻找有趣数据集的第一站。可以直接从UCI机器学习库下载,无需注册
VisualData:分好类的计算机视觉数据集
目前为止:天池、kaggle、uci是个人使用最多的平台
NLP自然语言处理数据集
通用NLP数据集
文本情感分析Sentiment analysis
多域情绪分析数据集:一个稍老一点的数据集,用到了来自亚马逊的产品评论。
IMDB评论:用于二元情绪分类的数据集,不过也有点老、有点小,有大约25000个电影评论。
斯坦福情绪树库:带有情感注释的标准情绪数据集。
Sentiment140:一个流行的数据集,它使用160,000条预先删除表情符号的推文。
Twitter美国航空公司情绪:2015年2月美国航空公司的Twitter数据,分类为正面,负面和中性推文。
医疗NLP数据集
医疗NLP数据汇总集合1
https://github.com/lrs1353281004/Chinese_medical_NLP
1. Yidu-S4K:医渡云结构化4K数据集
2.瑞金医院糖尿病数据集
3.Yidu-N7K:医渡云标准化7K数据集
4.中文医学问答数据集
5.平安医疗科技疾病问答迁移学习比赛
6.天池新冠肺炎问句匹配比赛
7.中文医患问答对话数据
8.中文医学问答数据
9.CHIP2020各项评测已开放
10.医学数据挖掘与算法评测大赛
医疗NLP数据汇总集合2——医疗行业专业词汇语料
https://github.com/xtea/chinese_medical_words
说明 |
数量 |
文件 |
口腔科病历词汇 |
11,170 |
stomatology.txt |
国际疾病分类ICD全库 |
54,304 |
ICD.csv |
疾病诊断编码库ICD-10 |
12109 |
ICD-code-10.csv |
医院固定资产词汇 |
471 |
properties.txt |
药品名称词汇 |
37,308 |
medicine.txt |
电子病历常见词汇 |
1985 |
emr.txt |
医疗NLP数据汇总集合3
中文医学NLP公开资源整理:术语集/语料库/词向量/预训练模型/知识图谱/命名实体识别/QA/信息抽取/etc
https://github.com/GanjinZero/awesome_Chinese_medical_NLP
术语集/语料库
词向量/预训练模型
分词
知识图谱 / 关系提取
命名实体识别
QA
术语标准化
相似句对判断
其他
医疗NLP数据汇总集合4——医学诊断数据集
https://github.com/Toyhom/Chinese-medical-dialogue-data
这个数据集的Data_数据中有6个文件夹分别是:
<Andriatria_男科> 94596个问答对
<IM_内科> 220606个问答对
<OAGD_妇产科> 183751个问答对
<Oncology_肿瘤科> 75553个问答对
<Pediatric_儿科> 101602个问答对
<Surgical_外科> 115991个问答对 总计 792099个问答对
每个文件夹下有一个csv文件,其中的数据格式为:
department |
title |
ask |
answer |
心血管科 |
高血压患者能吃党参吗? |
我有高血压这两天女婿来的时候给我拿了些党参泡水喝,您好高血压可以吃党参吗? |
高血压病人可以口服党参的。党参有降血脂,降血压的作用,可以彻底消除血液中的垃圾,从而对冠心病以及心血管疾病的患者都有一定的稳定预防工作作用,因此平时口服党参能远离三高的危害。另外党参除了益气养血,降低中枢神经作用,调整消化系统功能,健脾补肺的功能。感谢您的进行咨询,期望我的解释对你有所帮助。 |
消化科 |
哪家医院能治胃反流 |
烧心,打隔,咳嗽低烧,以有4年多 |
建议你用奥美拉唑同时,加用吗丁啉或莫沙必利或援生力维,另外还可以加用达喜片 |
医疗NLP数据汇总集合4——中文医学问答目的理解数据集
https://github.com/liutongyang/CMID
This dataset is used for Chinese medical QA intent understanding task.
Dataset format:
All the data is stored in a JSON file. There are 5 fields in the file. An example as follows:
{
"originalText": "间质性肺炎的症状?",
"entities": [{"label_type": "疾病和诊断", "start_pos": 0, "end_pos": 5}],
"seg_result": ["间质性肺炎", "的", "症状", "?"],
"label_4class": ["病症"],
"label_36class": ["临床表现"]
}
医疗NLP数据汇总集合5——中国社区医疗问答数据
https://github.com/zhangsheng93/cMedQA
This is the dataset for Chinese community medical question answering. The dataset is in version 1.0 and is available for non-commercial research. We will update and expand the database from time to time. In order to protect the privacy, the data is anonymized and no personal information is included.
医疗NLP数据汇总集合6——新冠病毒语料库
https://github.com/lwgkzl/Covid19-NLP
COVID19 Language Resources: Datasets
医疗NLP数据汇总集合7
https://github.com/chentao1999/MedicalRelationExtraction
BioCreative V chemical-disease relation (CDR) corpus (in short, BC5CDR corpus) (13, 14, 16, 34): It consists of 1,500 PubMed articles with 4,409 annotated chemicals, 5,818 diseases, and 3,116 chemical-disease interactions. The relation task data is publicly available through BioCreative V at https://biocreative.bioinformatics.udel.edu/resources/corpora/biocreative-v-cdr-corpus/.
Traditional Chinese medicine (TCM) literature corpus (in short, TCM corpus) (32): The abstracts of all 106,150 papers published in the 114 most popular Chinese TCM journals between 2011 to 2016 are collected. 3024 herbs, 4957 formulae, 1126 syndromes, and 1650 diseases are found. 5 types of relations are annotated. The entire dataset is available online at http://arnetminer.org/TCMRelExtr.
The 2012 informatics for integrating biology and the bedside (i2b2) project temporal relations challenge corpus (in short, i2b2 temporal corpus) (29, 30): It contains 310 de-identified discharge summaries of more than 178,000 tokens, with annotations of clinically significant events, temporal expressions and temporal relations in clinical narratives. On average, each discharge summary in the corpus contains 86.6 events, 12.4 temporal expressions, and 176 raw temporal relations. In this corpus, 8 kinds of temporal relations between events and temporal expressions are defined: BEFORE, AFTER, SIMULTANEOUS, OVERLAP, BEGUN_BY, ENDED_BY, DURING, BEFORE_OVERLAP. The entire annotations are available at http://i2b2.org/NLP/DataSets.
CV计算机视觉数据库
1.常用CV数据库
(1)MNIST
MNIST数据集大家可以说是耳熟能详。深度学习领域的“Hello World!”,入门必备!作为领域内最早的一个大型数据集,MNIST数据集包括60000个示例的训练集以及10000个示例的测试集,每个手写数字的大小均为28*28。此数据集是以二进制存储的,不能直接以图像格式查看,不过很容易找到将其转换成图像格式的工具。当前主流深度学习框架几乎无一例外将MNIST数据集的处理作为介绍及入门第一教程。
MNIST数据集官网地址:
http://yann.lecun.com/exdb/mnist/
数据集大小:~12MB
可视化展示0-9十个数字:
(2)Fashion MNIST
但大部分模型在MNIST上的分类精度都超过了95%。为了更直观地观察算法之间的差异,我们将使用一个图像内容更加复杂的数据集Fashion-MNIST。Fashion MNIST包含了10种类别70000个不同时尚穿戴品的图像,整体数据结构上跟MNIST完全一致。每张图像的尺寸同样是28*28。
Fashion MNIST数据集地址:
https://research.zalando.com/welcome/mission/research-projects/fashion-mnist/
可视化展示10种类别:
(3)CIFAR-10
相较于MNIST和Fashion MNIST的灰度图像,CIFAR-10数据集由10个类的60000个32*32彩色图像组成,每个类有6000个图像。有50000个训练图像和10000个测试图像。
CIFAR-10是由Hinton的学生Alex Krizhevsky(AlexNet的作者)和Ilya Sutskever 整理的一个用于识别普适物体的彩色图像数据集。一共包含10个类别的RGB彩色图片:飞机( airplane)、汽车(automobile)、鸟类(bird)、猫(cat)、鹿(deer)、狗(dog)、蛙类(frog)、马(horse)、船(ship)和卡车(truck)。
CIFAR-10的官方地址如下:
https://www.cs.toronto.edu/~kriz/cifar.html
CIFAR-10的可视化展示如下:
(4)CIFAR-100
CIFAR-100可以看作是CIFAR-10的扩大版,CIFAR-100将类别扩大到100个类,每个类包含了600张图像,分别有500张训练图像和100张测试图像。CIFAR-100的100个类被分为20个大类,每个大类又有一定数量的小类,大类和大类之间区分度较高,但小类之间有些图像具有较高的相似度,这对于分类模型来说会更具挑战性。CIFAR对于图像分类算法测试来说是一个非常不错的中小规模数据集。
CIFAR-100数据集地址:
https://www.cs.toronto.edu/~kriz/cifar.html
数据集大小:~170MB
CIFAR-100的可视化展示如下:
(5)ImageNet
MNIST将初学者领进了深度学习领域,而Imagenet数据集对深度学习的浪潮起了巨大的推动作用。深度学习领域大牛李飞飞在CVPR2009上发表了一篇名为《ImageNet: A Large-Scale Hierarchical Image Database》的论文在计算机视觉领域带来了一场“革命”,之后从2010年开始基于ImageNet数据集的7届ILSVRC大赛,这使得ImageNet极大的推动了深度学习和计算机视觉的发展。
Imagenet数据集是目前深度学习图像领域应用得非常多的一个领域,关于图像分类、定位、检测等研究工作大多基于此数据集展开。在计算机视觉领域研究论文中应用非常广,几乎成为了目前深度学习图像领域算法性能检验的“标准”数据集。
Imagenet数据集有1400多万幅图片,涵盖2万多个类别;其中有超过百万的图片有明确的类别标注和图像中物体位置的标注,具体信息如下:
1)Total number of non-empty synsets: 21841
2)Total number of images: 14,197,122
3)Number of images with bounding box annotations: 1,034,908
4)Number of synsets with SIFT features: 1000
5)Number of images with SIFT features: 1.2 million
数据官网地址为:
http://www.image-net.org/
数据集大小:~1TB(ILSVRC2016比赛全部数据)
ImageNet数据集示例:
(6)PASCAL VOC
PASCAL VOC挑战赛(The PASCAL Visual Object Classes)是一个世界级的计算机视觉挑战赛, 是视觉对象的分类识别和检测的一个基准测试,提供了检测算法和学习性能的标准图像注释数据集和标准的评估系统。PASCAL VOC图片集包括20个目录:人类;动物(鸟、猫、牛、狗、马、羊);交通工具(飞机、自行车、船、公共汽车、小轿车、摩托车、火车);室内(瓶子、椅子、餐桌、盆栽植物、沙发、电视)。数据集图像质量好,标注完备,非常适合用来测试算法性能。
目前PASCAL VOC主要分为VOC2007和VOC2012两个版本的数据集。VOC2007和
VOC2012的数据统计对比:
VOC数据集示例:
PASCAL VOC 数据集地址:
http://host.robots.ox.ac.uk/pascal/VOC/
数据集大小:~2GB
(7)COCO
COCO数据集是微软在ImageNet和PASCAL VOC数据集标注上的基础上产生的,主要是用于图像分类、检测和分割等任务。COCO全称为Common Objects in Context,其对于图像的标注信息不仅有类别、位置信息,还有对图像的语义文本描述COCO数据集的开源使得近两三年来图像分割语义理解取得了巨大的进展,也几乎成为了图像语义理解算法性能评价的“标准”数据集。
它有如下特点:
1)Object segmentation
2)Recognition in Context
3)Multiple objects per image
4)More than 300,000 images
5)More than 2 Million instances
6)80 object categories
7)5 captions per image
8)Keypoints on 100,000 people
COCO数据集主页地址:
http://cocodataset.org/#home
数据集大小:~40GB
COCO数据集示例:
2.自动驾驶数据集
3. 医疗医学影像数据集
4.其他CV数据集
公共政府数据集