Zhao, Sicheng, et al. “Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies.” arXiv preprint arXiv:2108.10152 (2021).
最新多模态情感识别综述，里面有数据集和链接地址哦，更多详细信息请移步我的另一篇文章：
多模态情感识别数据集和模型(下载地址+最新综述2021.8)
简介：MIT-BIH 是由美国麻省理工学院提供的研究心律失常的数据库。国际上公认的可作为标准的心电数据库有三个，分别是美国麻省理工学院提供的MIT-BIH 数据库，美国心脏学会的AHA数据库以及欧洲ST-T心电数据库。其中MIT-BIH 数据库近年来应用比较广泛，数据内容为EMG、ECG等。MIT-BIH实战。
下载地址：https://blog.csdn.net/qq_21905401/article/details/54021052
简介：为了收集不同情感状态下的生理信号，我们使用了一种音乐感应的方法来激发受试者自然的情感反应，4种有针对性的情感类别：喜悦、愤怒、悲伤和快乐。四通道生物传感器用于获取肌电图EMG、心电图ECG、皮肤电导率SC和呼吸变化RSP，每种情绪有25个记录。
相关论文（被引次数581）：J. Wagner, J. Kim, and E. André, ‘‘From physiological signals to emotions: Implementing and comparing selected methods for feature extraction and classification,’’ in Proc. Int. Conf. Multimedia Expo, Jul. 2005, pp. 940–943.
下载地址：没有提供
简介：Multi-ZOL数据集收集整理了IT信息和商业门户网站http://ZOL.com上的关于手机的评论。原始数据有12587条评论(7359条单模态评论，5288条多模态评论)，覆盖114个品牌和1318种手机。其中的5288多模态评论，构成了Multi-ZOL数据集。在这个数据集中，每条多模态数据包含一个文本内容、一个图像集，以及至少一个但不超过六个评价方面。这六个方面分别是性价比、性能配置、电池寿命、外观与感觉、拍摄效果、屏幕。总共得到28469个方面。对于每个方面，都有一个从1到10的情感得分。
简介：SAVEE数据库记录了来自萨里大学的四位母语为英语的男性(分别为DC、JE、JK、KL)、研究生和研究人员的数据，年龄从27岁到31岁。情绪分类为离散的6类别：愤怒、厌恶、恐惧、快乐、悲伤和惊讶。
下载地址：http://kahlan.eps.surrey.ac.uk/savee/Download.html
简介：一种视听情感数据库，可作为测试和评估视频、音频或联合视听情感识别算法的参考数据库。首先，受试者被要求仔细地听一个短篇故事，并将自己“沉浸”在这个场景中。一旦他准备好了，被试可以阅读、记忆和发音(一次一个)提出的五种话语，这构成了对给定情况的五种不同反应。受试者被要求尽可能多地表达自己的情感，写出一个只包含情感的信息。如果结果令人满意，就可以继续处理下一个情绪。
相关论文（引用次数417）：O. Martin, I. Kotsia, B. Macq and I. Pitas, “The eNTERFACE’ 05 Audio-Visual Emotion Database,” 22nd International Conference on Data Engineering Workshops (ICDEW’06), Atlanta, GA, USA, 2006, pp. 8-8, doi: 10.1109/ICDEW.2006.145.
下载地址： http://www.enterface.net/results/ （The database is available via the link “Project #2 database”）
简介：最普遍使用的情绪分析在电子商务活动。网站允许用户提交他们的购物体验和产品质量。他们通过划分等级或分数来提供产品和产品不同特性的摘要。客户可以很容易地查看整个产品的意见和推荐信息，以及具体的产品特点。以图形的形式向用户展示整个产品及其特点。像amazon.com这样的商业网站提供编辑的评论，也提供客户的评级信息。http://tripadvisor/inis是一个很受欢迎的网站，提供关于酒店和旅游目的地的评论。它们包含全球7500万条意见和评论。情感分析可以帮助这些网站通过分析大量的意见，将不满意的顾客转化为促销者。
下载地址：https://pan.baidu.com/s/157Pj7g627Vd6gDNsSPU_Xw 提取码：bgDe
简介：以来自亚马逊的精美食品的评论为例，这些数据的使用期限超过10年，包括1999年10月至2012年10月约500,000条评论。还有其他类别的数据，按需自取。
下载地址：http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/
简介：拥有50K电影评论的IMDB数据集，用于自然语言处理或文本分析。这是一个二分类情绪数据集，包含比以前基准数据集更多的数据。我们提供了一套两万五千高度极坐标的电影评论用于培训和两万五千用于测试。
下载地址：https://datasets.imdbws.com/
简介：该数据集包含了1,600,000条从推特爬取的推文，可用于情感分析相关的训练。推文标注（polarity）： 0 = 负面，2 = 中立，4 = 正面 。
相关论文（被引次数2960）：Go A, Bhayani R, Huang L. Twitter sentiment classification using distant supervision[J]. CS224N project report, Stanford, 2009, 1(12): 2009.
下载地址：http://help.sentiment140.com/for-students/
简介：Twitter-15和Twitter-17是包含文本和文本对应图片的多模态数据集，数据集标注了目标实体及对其图文中表达的情感倾向。整个的数据规模是Twitter-15(3179/1122/1037)条带图片推文，Twitter-17（3562/1176/1234）条带图片推文，情感标注为三分类。
简介：国际情感图片系统(IAPS)是一个图片数据库，旨在为研究情绪和注意力提供一套标准化的图片，已被广泛应用于心理学研究。IAPS是由佛罗里达大学的情绪和注意力国家心理健康中心开发的。2005年，IAPS共收录了956张彩色照片，范围从日常物品和场景(如家庭家具和风景)到极其罕见或令人兴奋的场景(如残缺的身体和色情裸体)。
相关论文（被引次数3405）：Lang P J. International affective picture system (IAPS): Affective ratings of pictures and instruction manual[J]. Technical report, 2005.
下载地址：
简介：使用了三个数据集:国际情感图像系统(IAPS)；一组来自照片分享网站的艺术照片(调查艺术家有意识地使用颜色和纹理是否能改善分类)；和一组同龄人评分的抽象画，以调查特征和评分对无上下文内容的图片的影响。离散情感八分类：Amusement、Anger、Awe、Contentment、Disgust、Excitement、Fear、Sadness。
相关论文（被引次数610）：Machajdik, J., and Hanbury, A. 2010. Affective image classification using features inspired by psychology and art theory. In ACM MM, 83–92. ACM.
下载地址：https://www.imageemotion.org/
简介：我们用八种情绪(娱乐、愤怒、敬畏、满足、厌恶、兴奋、恐惧、悲伤)重新标记Flickr数据集的一个子集，并将其命名为Flickr LDL。然后,我们从推特上下载了3万张照片，贴上标签同样的八个情感空间。我们提供一个额外的选择在没有明显情绪的情况下，给一幅图像贴上中性标签。
相关论文（被引次数42）：Yang J, Sun M, Sun X. Learning visual sentiment distributions via augmented conditional probability neural network[C]//AAAI. 2017: 224-230.
下载地址：http://cv.nankai.edu.cn/projects/SentiLDL
简介：提出了一个新的数据库，包括730张图片。选出了四个具体的负面内容：蜘蛛、蛇，以及引发与违反道德和法律规范(侵犯人权或虐待动物)有关的情绪的场景。正面图片和中性图片也包括在内：正面图片主要代表人类和动物宝宝以及自然风景，而中性图片主要描绘无生命的物体。
相关论文（被引次数475）：Dan-Glauser E S, Scherer K R. The Geneva affective picture database (GAPED): a new 730-picture database focusing on valence and normative significance[J]. Behavior research methods, 2011, 43(2): 468.
下载地址： www.affective-sciences.org/researchmaterial
简介：对于Emotion6中的每一幅图像，每个受试者标注信息如下：1)VA值对诱发情绪评分的ground truth。 2)诱发情绪情绪分布，包含Ekman的6种基本情绪和neutral由7个文件夹bin组成，每个bin的情绪分布代表一个主体将一幅图像分类到每个bin的概率。（每个类别330张图片）。作者给出情感分布概率而不是单一情感标签的原因：不同观看者观看同一张图片所得的情感不一定相同，同一观看者观看同一张图片的情感也不一定相同，所以作者利用情感分布概率代替单一情感标签，同时作者还进行了情感风格迁移，在不改变高层语义的情况下，通过改变源图像（source）的底层特征（颜色or纹理），从而实现迁移图像（Transformed Image）情感向目标图像（target）的迁移。EmotionROI是在Emotion6的基础上，添加了情感诱发区域ESM标注（Emotion Stimuli Maps），情感诱发区域不等同于对象区域，也不等同于显著性区域，区别如图所示。
相关论文（被引次数107（37））：
Peng K C, Chen T, Sadovnik A, et al. A mixed bag of emotions: Model, predict, and transfer emotion distributions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 860-868.（Emotion6）
Peng, Kuan-Chuan, et al. “Where do emotions come from? predicting the emotion stimuli map.” 2016 IEEE international conference on image processing (ICIP). IEEE, 2016.（EmotionROI）
下载地址：http://chenlab.ece.cornell.edu/downloads.html（Downloads Cornell EmotionROI/Emotion6 Image Database）
简介：全称为Image-Emotion-Social-Net，在维度和分类情感上,有超过100万的图像和大约8000个用户。我们选择7723活跃用户涉及50多个图像。最终得到三种类型的情绪标签1,434,080个，包括8种情绪类别，2种情绪类别和连续VAD值。
相关论文（被引次数100）：Zhao S, Yao H, Gao Y, et al. Predicting personalized image emotion perceptions in social networks[J]. IEEE transactions on affective computing, 2016, 9(4): 526-540.
下载地址：
简介：LIRIS-ACCEDE是一个带注释的知识共享情感数据库，由从160部基于知识共享许可共享的电影中提取的9800个视频片段组成。它允许将这个数据库公开，而不存在版权问题。9800个视频片段(每个8-12秒长)沿着诱导价轴排序，从最负面的视频到最积极的视频。该注释由来自89个国家的1517名注释者通过众包的方式进行。从160部电影中提取的9800个短视频片段的离散LIRIS-ACCEDE诱导价和觉醒排名。估计情感评分也可用。
相关论文（被引次数47）：Baveye Y, Bettinelli J N, Dellandréa E, et al. A large video database for computational models of induced emotion[C]//2013 Humaine Association Conference on Affective Computing and Intelligent Interaction. IEEE, 2013: 13-18.
下载地址：http://liris-accede.ec-lyon.fr/
简介：使用生理信号进行情绪分析(DEAP)[9]数据库是一个最近的数据库，除了32名参与者的面部视频外，还包括外围和中枢神经系统的生理信号。面部视频只从22名参与者那里录制。脑电图信号记录从32个活跃电极。外周神经系统生理信号为肌电图(EMG)、心电图(EOG)、体积描记仪(BVP)、血容量脉搏(BVP)、皮肤温度和GSR。
相关论文（被引次数1872）：Koelstra S, Muhl C, Soleymani M, et al. Deap: A database for emotion analysis; using physiological signals[J]. IEEE transactions on affective computing, 2011, 3(1): 18-31.
下载地址：http://www.eecs.qmul.ac.uk/mmv/datasets/deap/download.html
简介：Douglas-Cowie等人创建的HUMAINE数据库由三个自然数据库和六个诱导反应数据库组成。它包含50个片段，用一组结构化的情感标签来描述这些片段，这些标签可以是全局的，也可以是逐帧的，显示随着时间的变化。数据库的大小从8人到125人不等，其形式从仅有的视听信号到周围的生理信号不等。这些数据库是在不同地点独立开发的，并在HUMAINE项目下收集。
相关论文（被引次数326）：Douglas-Cowie E, Cowie R, Sneddon I, et al. The HUMAINE database: Addressing the collection and annotation of naturalistic and induced emotional data[C]//International conference on affective computing and intelligent interaction. Springer, Berlin, Heidelberg, 2007: 488-500.
下载地址：
简介：该研究分为三个不同的阶段:(1)52个电影片段的预先选择和编辑;(2)113名样本参与者对这些电影片段的自我评价;(3)32名志愿者的心理生理评估[皮肤电导水平(SCL)和心率(HR)]。选择不同类别的电影片段，从情感空间的不同象限引出情感状态。
相关论文（被引次数121）：Carvalho S, Leite J, Galdo-Álvarez S, et al. The emotional movie database (EMDB): A self-report and psychophysiological study[J]. Applied psychophysiology and biofeedback, 2012, 37(4): 279-294.
下载地址：request at EMDB@psi.uminho.pt
简介：MAHNOB-HCI是一个记录情感刺激反应的多模式数据库，旨在进行情感识别和内隐标记研究。多模式设置安排同步记录面部视频、音频信号、眼睛凝视数据和周围/中枢神经系统生理信号。来自不同性别和文化背景的27名参与者参与了两项实验。在第一个实验中，他们观看了20个情感视频，并使用唤醒、效价、支配、可预测性以及情感关键词来自我报告他们所感受到的情感。在第二个实验中，短视频和图片在没有标签的情况下放映一次，然后是正确或不正确的标签。参与者对所展示的标签的同意与否进行评估。录制的视频和身体反应被分割并存储在数据库中。
相关论文（被引次数782）：Soleymani M, Lichtenauer J, Pun T, et al. A multimodal database for affect recognition and implicit tagging[J]. IEEE transactions on affective computing, 2011, 3(1): 42-55.
下载地址：https://mahnob-db.eu/hci-tagging/
简介：该MMI数据库包括从正面和侧面视图捕获的图像和视频。MMI数据库包括61个表现不同基本情绪的成年人和25个对情绪视频做出反应的成年人的数据。
相关论文（被引次数396）：Valstar M, Pantic M. Induced disgust, happiness and surprise: an addition to the MMI facial expression database[C]//Proc. 3rd Intern. Workshop on EMOTION (satellite of LREC): Corpora for Research on Emotion and Affect. 2010: 65.
下载地址：https://mmifacedb.eu/accounts/register/
简介：这个数据库是从十位演员的面部、头部和手部的标记中记录下来的，这些标记提供了他们在脚本和自发的口头交流场景中面部表情和手部动作的详细信息。演员们表演了经过挑选的情绪剧本，也即兴创作了一些假想场景，旨在引出特定类型的5种离散情绪(快乐、愤怒、悲伤、沮丧和中性状态)。语料库包含大约12小时的数据。
相关论文（被引次数1035）：Busso C, Bulut M, Lee C C, et al. IEMOCAP: Interactive emotional dyadic motion capture database[J]. Language resources and evaluation, 2008, 42(4): 335.
下载地址：https://sail.usc.edu/iemocap/
简介：每个例子都是一个短的(5到60秒的长度)立体声录像；具有6类离散的情感分类（沮丧、恶心、惊喜、害怕、愉悦、愤怒）。
相关论文（被引次数113）：Sneddon, I., McRorie, M., McKeown, G., & Hanratty, J. (2012). The Belfast Induced Natural Emotion Database. IEEE Transactions on Affective Computing, 3(1), 32–41. doi:10.1109/t-affc.2011.26
下载地址：http://www.psych.qub.ac.uk/ BINED
简介：十个演员(男女各5人)模拟情绪，产生10个德语表达(5个短句和5个长句)，可用于日常交流，并可在所有的情感应用中进行解释。录音在有高质量录音设备的暗室中进行。除了声音外，还记录了电子声门图。演讲材料包括大约800个句子(7个情感* 10个演员* 10个句子+一些第二版本)。特别是7种离散情感分类：中性，愤怒，恐惧，快乐，悲伤，厌恶和无聊。
相关论文（被引次数1805）：Burkhardt F, Paeschke A, Rolfes M, et al. A database of German emotional speech[C]//Ninth European Conference on Speech Communication and Technology. 2005.
下载地址：http://emodb.bilderbar.info/download/download.zip
简介：IADS为一组声学刺激提供了情绪(愉悦、唤醒、支配)的标准评级，用于情绪和注意力的实验调查。
相关论文（被引次数521）：Bradley M M, Lang P J. The International Affective Digitized Sounds (IADS): Affective ratings of sounds and instruction manual[J]. University of Florida, Gainesville, FL, Tech. Rep. B-3, 2007.
下载地址：https://csea.phhp.ufl.edu/media/iadsmessage.html
简介：高质量的记录由五个高分辨率，高帧率相机和四个麦克风，同步记录。总共有150名参与者参与录音，总共有959段对话，每个对话字符大约持续5分钟。数据库包含大约240个字符的对话，录音仍在进行中。目前，大约有80个对话已经使用FeelTrace以完全连续的方式在多个维度上进行了完整的注释。
相关论文（被引次数312）：McKeown G, Valstar M F, Cowie R, et al. The SEMAINE corpus of emotionally coloured character interactions[C]//2010 IEEE International Conference on Multimedia and Expo. IEEE, 2010: 1079-1084.
下载地址：http://semaine-db.eu/.
简介：VAM语体包括12个小时的德国电视谈话节目“Vera am Mittag”(Vera at noon)的录音。它们分别被划分为广播、对话行为和话语。
这个视听演讲语料库包含了自发的、非常情绪化的演讲，这些演讲都是由脱口秀嘉宾之间的真实讨论记录下来的。该数据集主要是speech视频，标签为连续值，具体包括三个维度：valence (negative vs. positive), activation (calm vs. excited) and dominance (weak vs. strong)。
相关论文（引用次数401）：Grimm M, Kroschel K, Narayanan S. The Vera am Mittag German audio-visual emotional speech database[C]//2008 IEEE international conference on multimedia and expo. IEEE, 2008: 865-868.
下载地址： http://www.dcs.gla.ac.uk/vincia/?p=270
