EmotioNet_

面部感知和情感理论的基础研究无法完成，没有大量的注释数据库的情感面部表情的图像和视频序列[7]。
一些最有用和通常需要的注释是行动单位（AU），AU强度和情感类别[8]。
虽然中小型数据库可以由专家编码人员在几个月内手动注释[11,5]，但是大型数据库不能。
例如，即使可以通过一个非常快的方式注释每个脸部图像
专家编码器（例如20秒/图像），编码一百万张图片需要5,556小时，这可以转换为694（8小时）的工作日或2.66年的不间断工作。
有时可以管理这种复杂性，例如，在图像分割[18]和对象分类[17]中，因为每个人都知道如何使用
可以使用最少的说明和在线工具（例如，Amazon的Mechanical Turk）来招募大量的人员。
但是，AU编码需要具体的专业知识，需要数月才能学习和完善，因此需要替代解决方案。
这就是为什么近年来，已经有许多计算机视觉算法提供了AU注释的全自动或半自动方法[20,10,22,2,26,27,6]。
现有算法的主要问题是它们无法识别所有应用程序的所有必需的AU，不指定AU强度，太空计算和/或使用大型数据库的时间，或仅在数据库内测试
?（即使当使用多个数据库时，通常在每个数据库内独立进行培训和测试）。
本文描述了一种新的计算机视觉算法，用于识别通常在大多数应用中看到的AU，它们的强度以及跨数据库的大量（23）的基本和复合情感类别。
此外，图像在语义上用421个情感关键词注释。 （这些语义标签的列表在补充材料中。）最重要的是，我们的算法首先提供可靠的AU识别及其数据库的强度，并实时运行（> 30张/秒）。
这使我们能够在具有2.8 GHz i7内核和32 Gb RAM的PC中，在大约11小时内自动注释一百万个在野外的情绪图像的大型数据库。
结果是可以容易地被AU，AU强度，情感类别或情感关键词查询的面部表情的数据库，图1。这样的数据库对于新的计算机视觉算法的设计将是无价的以及社会和认知心理学，社会和认知神经科学，神经营养和精神病学的基础，翻译和临床研究，仅举几例
2. AU and Intensity Recognition
我们得出了一种新颖的方法来识别AU。我们的算法运行在超过30张图像/秒，甚至跨数据库也是非常准确的。
?请注意，到目前为止，大多数算法只在单个数据库中取得了良好的效果。
我们提出的方法的主要贡献是即使跨数据库也能实现高识别精度，并实时运行。
这是允许我们自动注释一个在野外的百万张图像。
我们也将面部表情分类为二十三个基本之一
和[7]中定义的复合情感类别。
情绪分类由检测到的AU模式激活给出。
不是所有的图像都属于这23个类别之一。
在这种情况下，图像仅用AU注释，而不是情感类别。
如果图像没有AU有效，则将其分类为中性表达式。
2.1. Face space
我们首先定义用于在脸部图像中表示AU的特征空间。 已知人类对面部和面部表情的感知涉及形状和阴影分析的组合[19,13]。
形状特征被认为在情感面部表情的感觉中发挥主要作用是面部地标的二阶统计（即，地标点之间的距离和角度）[16]。
这些有时称为配置功能，因为它们定义了配置的脸。