关于对《认知、流形与虚实世界》的学习体会

在对人脑的研究当中，生物学家构建了神经元模型，通过神经网络来认识和感知世界。而人工智能的专家学者不断的构建更为复杂和强健的机器学习方法，来自动的捕获和感知世界。统计机器学习方法的也逐步演化，从线性方法，到浅层非线性方法，再到当前热门的深度学习，蛮力的学习方法，更强大的函数逼近能力。这让我们有些竞相的追风，我们盲目去关注深度学习，去关注caffe等开源深度学习框架，迫切希望使用这些前沿的工具，以为掌握了这些，就拥有了类似人脑的学习能力，其实这些观点是错误的。

前段时间看过一篇文章，是专访科大讯飞副总裁胡郁关于“语音识别与人工智能的发展路线”，归纳总结起来有如下几个观点：关于语音识别，很多观点都是错误的，用哪种统计模型和机器学习方法，这确实很重要，而且深度神经网络确实比别的好，但并不代表只有深度神经网络才能完成这样的事情，隐马尔可夫模型也可以，区别在于数据量提升，隐马尔可夫模型的表现提升没有深度神经网络那么大，数据越多，深度神经网络的效果更好；另外一点更为重要的是统计决策理论，统计决策系统的理论价值和意义比深度神经网络要大，但其太专业，深究的人并不多，深度神经网络只是用在统计决策理论中得分的一个工具，很多做语音识别技术的都是套用深度神经网络得出结果，但关于能否在理论上估计上下界以及收敛条件，很多人不知为什么，其实在专业人士来看，这才是核心的。所以我一直抱着这样的观点，思想、理论是关键，是核心，工具类的只是呈现实现方式，提高计算效率。

我们再回归到“认知、流形与虚实世界”这篇文章上，其实认知、学习的核心在于能够在外部因素的变化下，我们能预测这个目标的表现行为。拿文章的例子来说，房间里，类别（人，或桌子），姿态（站立，坐着），颜色，方位等等。依据这些信息，人脑对当前状况做出了判断，对人将来的动作态进行预测，这就是认知，我归纳为将静态图形动态化，生成动态图片，预测未来，说得有点玄，但我认为AI的最高高度就是能预测未来！

从认知的形成过程来看，首先应该是单个物体的认知学习，比如桌子、人，然后是多个物品之间关联的学习，如人趴在桌子上，其实是全景的学习，如室内昏暗，可能是晚上了。只有在对全景进行学习了之后，完整的认知就建立起来了。

关于流形学习(manifold Learning)，这方面目前认识不足，总结一下。真实数据形成于低维流形，但是因为噪声或者冗余特征的存在就变为了高维流形，而流形学习作为机器学习的一种学习方式，就是学习高维流形中隐含的低维流形。常用的解决算法是：LTSA，LE，LLE与ISOMap，核心的观点在于局部同构于欧式空间这一思想。Bengio 在《Non-Local Manifold Tangent Learning》一文中已经明确指出，局部的流形学习方法在现实任务中失败的原因有：

• 流形附近的高噪声干扰；
• 流形的高曲率；
• 流形的高内在维度；
• 存在多流形导致针对每个流形的样本偏少。

LLE/ISOMap方法失败的原因，在深度学习框架下得到了很大的缓解,主要体现如下：

• 流形附近的高噪声干扰：神经网络具有平滑的切空间，因此抗噪声能力更强；
• 流形的高曲率：在同样样本情况下，深层模型可容纳的可变性更强。

目前的深度流形学习研究进展如下：

• 基于Local Generalization（即流形学习所依赖的局部相似性）的非监督信息，给匹配阶段的学习提供了丰富的信息，以及强大的数据相关的正则化支持。
• 匹配阶段需要预测阶段提供正则/约束支持。DNN可以轻易地被欺骗，导致对完全无意义的图片给出置信度极高的类别判断。这表明当前DNN的匹配模型存在过学习现象，难以应对数据集之外丰富多彩的世界。

研究难点在于如下三个方面：

1. 多流形及其内在核心变量的建模。自然场景下，目标个数是可变的，因此系统需要能够处理可变个流形的表示与匹配问题；每个流形的内在核心变量建模是不同维度，且需要各自标定的。
2. 预测过程的学习困难。预测过程学习的核心是对变更核心变量引发的预测结果给出是否符合预期的判断及其误差。
3. 系统所能处理的样本吞吐量受限。

困难一，属于面向任务的特定困难。它不是通用方法论的困难，而是实践取舍的问题，并不是不可克服的。困难二实际上是对智能系统主动反馈的需求；困难三则要求系统的样本带宽要足够的大。后二者是对学习方法论的要求。

最后，关于虚拟世界，包含游戏，在我看来这是大数据和人工智能未来的数据集散地，是未来人工智能的数据基础。模拟现实的仿真系统中，AI作为玩家将根据任务目标去自主学习，但在这一过程中我们会利用强化学习(reinforcement Learning)，不断的纠正认知错误，越来越正确的获取最佳的游戏方式。虚拟情景的不断变化，以及玩家行为的变化，将是AI的数据支持的基础，未来的深度学习可能也越来越白箱化，目前的研究热点在于学习特定的目标，然后预测，未来将是对象位置、对象特征的学习，来预测未来的可能变化场景，即由静态的学习变为动态的学习。如果AI达到一定高度，预测未来是有可能的！