机器学习的发展趋势——bigData2smallData or bigData2massiveData

• 背景
• 观点
• 神侃
• 小结

---

背景

上回参加完全球人工智能大会60周年启动仪式，听了行业大咖分享AI领域的前沿发展方向，就在思考一个问题。AI目前已经给展示给人类非常惊艳的表现了，那么下一步AI会如何发展呢？本文就列举一下会上大咖们的观点，然后侃一点自己的想法。

---

观点

徐伟老师（百度深度学习实验室）

AI还有多远？
无法少量标注数据中去学习。
缺乏常识的概括，
表述语义。
无法自动学习。
解决办法：
放到环境中去学习，FaceBook把AI放到放到maze base，微软放到minecraft中去。
通过语言和人类交流。这一点在最近的google I/O上，google home已经跃跃欲试了。

杨铭老师（地平线机器人联合创始人）

提出M.A.R.S.的概念：
- M：Memory 让网络具有记忆性
- A：Attention 把注意力放到细节，提高性能。应用：看图说话，聚焦到一个地方来说话，而不是全局的看，比较泛化。
- R：Reinforcement learning
- S：Sequelization 指的是输入的序列化。

监督学习->交互学习:
前向反馈->迭代:
静态输入->动态输入:
同时输入->序列化输入:

梁家恩老师（云知声信息技术有限公司）

机器学习：浅层VS深层
数据→【特征提取→分类】（感知）→决策/认知/规划
规则学习：经验特征+分类规划
统计学习：特征工程+分类优化
深度学习：特征学习+分类优化(端到端非凸优化问题)
提到了最近Science上的关于贝叶斯学习的文章，鼓励小数据量学习。比如人类小孩儿学东西，看到两三只小狗就可以把握住狗的特征，而在机器学习领域需要大量的数据训练。

李磊老师（头条实验室）

分享了三个DL的框架：
概率的，贝叶斯模型
基于knneal的，越来越宽发展。
深度模型，难点：比较难去解释为什么这种输出。比如智能车闯红灯了。为啥？

未来的话更加看好生成式模型+深度学习的结合。
移动端优化，降低一定准确度的条件下加快响应速度，复杂度和性能的折中。通过产品→好的数据→更好模型→更好产品，这种良性循环优化AI。

---

神侃

作为一个半脚踏入AI领域还没完全入门的人来说，下面个人鄙见就要开始啦，欢迎大家互相交流。主要是想谈一下关于机器学习是否有必要实现小数据学习的问题，徐伟老师和梁家恩都有提到说机器应该具备少量标注数据中获取知识的能力。
这一点在目前来说具有一定价值：
①首先工业界希望加速模型训练，就像三星张代君老师所说，今天云上的Alphago可以击败李世石，未来你的手机上就具有AlphaGo的学习能力那是多么酷炫。
②其次学术领域具有研究价值，如果彻底了解了人脑学习的过程并以此推演优化机器学习的过程，很有可能推翻目前的系列理论。新一代的机器学习真正可以做到模拟人脑，那也是非常酷炫的事情。
但是小数据量学习未来是否是AI发展的方向呢？个人觉得未必：
①机器与人脑相比，其优势在于大量数据存储以及快速计算能力。人的话一天学习8-10小时会觉得疲惫，但是机器可以24小时工作运转(能耗也是个问题)。如果有好的算法能够实现小数据学习自然是好事儿，就算有了好的算法，也不必强制要求机器利用少量标记数据进行学习，那样的话感觉有点儿浪费机器的大存储能力。加上人们产生的数据指数倍增加，机器的大存储优势与海量数据天然契合。
②摩尔定律还在持续发挥着作用，未来的计算能力还会继续增长。但是according to 阿里王铮老师，这种计算能力的增长与模型的增长量相比还是具有很大差距。同时英伟达、因特尔以及寒武纪都在尝试做DL领域的专用处理器APU，APU的问世有助于加速模型训练。
③多维特征学习。人类孩子可以在见到两三只狗之后记住狗的一般特征，但是机器却不能。我理解其中的原因在于当孩子见到狗的时候可以捕捉到狗的连贯动作，类似于视频片段，但是视频片段中包括连续多帧图片，这对于机器来说就相当于多个训练样本。同时孩子可以通过其他感知器官，听到狗的woof声，摸到狗的毛的手感，（嗅觉的话这个例子不太适用，但是如果对某一个菜品进行识别的时候，嗅觉/味觉就必须要考虑了）。实际是调动多维感官进行的学习过程。对机器来说只训练图片当然是不够的，从某种角度上说，就算拿100W张狗的图片来训练一个模型，模型都无法获取狗的叫声这种很具有区别性的特征。所以如果有一种多感知维度的特征度量单位，类似于通信中的信息量来表征的话，说不定人类小孩见到的两三只狗所包含的特征量，实际远远大于用于机器训练的几千张图片。目前就图像识别领域来说吧，可以通过不同的滤波器提取图片中的不同特征，例如某个特定方向的边缘特征，或者颜色特征。但是跨感知领域的特征如何表述？图片像素与声音波形的结合是否会很酷炫呢？
④可能会有意外收获。AlphaGo第二局中黑37这一步刚下出来，大家哗然，中盘中会发现这一步直接决定整局比赛，可以说这一招是超过人类预期之外的，包括围棋界高手，包括AlphaGo的作者都没有想到。这一点我就夸张的称之为机器的创新了。特别对于目前认知网络向创新机器学习发展的过程中，在没有对机器创新学习相关的算法支持情况下，大样本数据训练可以作为一种方案来进行。
所以，bigData的未来的话，更加偏向于massiveData。

---

小结

主要分享了行业大咖对AI未来发展趋势的理解，侃了侃个人对未来MassiveData的AI理解。

---