情感计算与语言认知成像讲座——内容及体会

     写这篇博客的目的：主要是记录我的一些感受，怕遗忘；另一个目的就是分享一种处理问题的方式，希望对有需求的人有所帮助。 

     情感信息提取可以通过“生物信信号”进行分析、判断。但是，在非医学的应用中，这种方法大大增加了实验了难度。相反，通过对人脸检测和分析大大提高了实验的可行性，主要是利用人物的面部动作。实验样本：视频。

     提及一下，所谓的情感计算主要是分为三个部分：机器对情感识别、情感表达、情感感受及表现。目前的研究阶段主要还是停留在第一阶段，即：情感的识别。

     由于每个人表达喜、怒、哀、乐反应在脸部动作是不同。这导致了信号的一致性较低，没有绝对的处理规则，无非增加了识别的难度。大家都知道智能搜索算法，其中是有规则可寻的(只是代价函数的不同)，即使面对处理的场景不同，但得出的结果基本上都是最优解，即标准的唯一性。

     在面对上述问题中，想要提高实验的准确性，可以通过对人脸面部进行分解，每个人在表达自己的情感的过程中，主要表现在哪几个部位呢？主要涉及：嘴角、眉毛、鼻子、眼睛.......通过对单一特征信息进行提取(局部定位+提取)。主要分为以下过程：

                    

     在获取样本数据时，首先要预处理：噪声及去噪，面部判断(样本筛选),面部剪裁；特征提取：动作单元，几何特征(直接从面部进行特征提取)及表象特征(表象特征来自于数学变换,常见的方式：小波,......本人对这一块很难深入去理解，如果你有什么方式，请赐教)，降维；识别。

   预处理：

        1.  根据预估实验将面部分为n个可重叠区域

        2.  用监督学习算法对样本进行训练(形成近似的规则，对提取的实验数据特征进行验证、判别)

  降维：

         上面提到一个降维的过程，原因在于：如果你提取的局部特征较多，在利用特征和特征的组合过程中，会产生大量的数据，不利于更细致地分辨情感和维持系统的稳定性。所以通过降维的方式，不仅可以更细致地分辨情感，而且能提高系统的稳定性且提高了识别效率。

         在这里提几个常见的降维算法：小波变换、主成分分析(本人目前正在学这块,用于图像的分类中)、独立成分分析、本地特征分析......

        表情识别算法：神经网络、支持向量机、朴素贝叶斯、逻辑回归、隐马尔可夫模型。在这里除了朴素贝叶斯，其余的算法只是眼熟。就不在这里唠叨了。

          

        对于该讲座有些地方可能我理解的不深或者理解错了，请大家指正。不过，听完这个讲座，的确有种豁然开朗的感觉，通过徐教授深入浅出的讲解，令我这种菜鸟级别初学者，收获波多，很高兴。得出一个结论：好的idea必须要有思维的碰撞。

        下午还有一个讲座，令我期待：基于深度学习的图像——文本跨模态检索方法。之前，我总是围绕在单一模态去处理问题，实验结果不给力。目前跨模态检索与多模态检索比较流行，如何对不同模态的关系进行建模，令我很期待。希望听我讲座，能有所感。

         记录、分享感受，是体验感受的过程！

          昨晚看了集火影，和大家分享三张图片(看得我有点小激动):