AI芯片到底是个神马 | 解读技术 | AI基础 | 算力必备

概念

      AI技术有三大要素：算法、算力、数据。由于AI技术的应用，对各种硬件设备的算力要求大幅提高，AI芯片应运而生，目前AI芯片发展的重点是针对神经网络等架构实现高速运算的核心硬件，即算力提高阶段。可能未来AI技术成熟之后，AI芯片可以实现集算法与算力于一体的超脑能力。      

      目前阶段发展的重点可以认为是：AI相关程序的高处理能力+低功耗

---

原理及探索

      AI的许多数据处理涉及矩阵乘法和加法。大量并行工作的GPU提供了一种廉价的方法，但缺点是更高的功率。具有内置DSP模块和本地存储器的FPGA更节能，但它们通常更昂贵。

       AI芯片该使用什么方法原理去实现，目前仍然众说纷纭，这是新技术的特 点，探索阶段百花齐放，这也与深度学习等算法模型的研发并未成熟有关，即AI的基础理论方面仍然存在很大空白。这是指导芯片如何设计的基本前提。因此，目前集中在如何更好的适应已有的数据流式处理模式进行的芯片优化设计。

      技术手段方面AI市场的第一颗芯片包括现成的CPU，GPU，FPGA和DSP的各种组合。虽然新设计正在由诸如英特尔、谷歌、英伟达、高通，以及IBM等公司开发，但目前还不清楚哪家的方法会胜出。似乎至少需要一个CPU来控制这些系统，但是当流数据并行化时，就会需要各种类型的协处理器。       

       Cadence高级架构师以及深度学习小组总监Samer Hijazi说：“如果你优化网络、优化问题、最小化位数，并使用为卷积神经网络定制的硬件，那么你可以实现功率降低2~3倍的改进。效率来自软件算法和硬件IP。”

       谷歌正尝试改变这个公式。谷歌开发了Tensor处理单元（TPU），这是专门为机器学习而创建的ASIC。为了加快AI的发展，谷歌在2015年开源了TensorFlow软件。很多公司拥有自己的平台。但这些都不是最终产品。这是进化的过程，没有人能确定未来十年AI将如何发展。部分是因为AI技术的使用案例正在逐渐被发现。在某个领域里有效的AI技术（如视觉处理）不一定适用于另一个领域（例如确定某种气味是危险的还是安全的，抑或是二者的组合）。

 

       华为AI芯片麒麟970在非AI芯片同样拥有 CPU/GPU/ISP/DSP的基础之上，首次集成 NPU（Neural Network Processing Unit）专用硬件处理单元，创新设计了 HiAI 移动计算架构，其 AI 性能密度大幅优于 CPU 和 GPU。通过更高效灵活的异构计算来最大化发挥 CPU/GPU/ISP/DSP/NPU 的性能，同时首次集成专门用于神经网络任务处理的 NPU（Neural Network Processing Unit）计算单元，其加速性能和能效比大幅优于 CPU 和 GPU。

       

华为AI芯片麒麟970与非AI芯片相比，加入嵌入式神经网络处理器（NPU）之后，其功耗与性能得到极大提升。其中，功耗降低了 20%；图形处理性能提升 20%、能效提升 50%。为高性能的手机提供的处理器支持。

      英特尔之前收购了Nervana。Nervana开发了2.5D深度学习芯片，该芯片利用高性能处理器内核，将数据通过中介层移动到高带宽内存。 Nervana声称的目标是，与基于GPU的解决方案相比，该芯片训练深度学习模型的时间将缩短100倍。

       量子计算为AI系统增加了另一个选择。 Leti首席执行官Marie Semeria表示，量子计算是她的团队未来的方向之一，特别是AI应用。IBM Research的科学与解决方案团队副总裁Dario Gil解释说，使用经典计算，如果四张卡片三蓝一红，那么有四分之一的机会猜中那张红色的卡片。使用量子计算机和量子比特的叠加和纠缠，通过扭转纠缠，系统每次都会给出正确答案。

---

主要公司

       Nvidia的GPU已经成为在云端服务器这个领域不可或缺的一部分，称其为领跑者毫不为过。有报告显示，世界上目前约有3000多家AI初创公司，大部分都采用了Nvidia提供的硬件平台。

       Intel作为PC时代的绝对霸主，Intel已经错过了移动互联网时代，在已经到来的AI时代，也失掉了先机，但它并没有放弃，而是积极布局，准备逆袭。在云端，收购Altera之后推出了基于FPGA的专用深度学习加速卡，可以在云端使用；另外，收购Nervana，目标也是在云端。在移动端，则是收购了Movidius。

• Nervana创立于2014年，位于圣地亚哥的初创公司Nervana Systems已经从20家不同的投资机构那里获得了2440万美元资金，而其中一家是十分受人尊敬的德丰杰风险投资公司（Draper Fisher Jurvetson，DFJ）。The Nervana Engine（将于2017年问世）是一个为深度学习专门定做和优化的ASIC芯片。

• Movidius专注于研发高性能视觉处理芯片。现任CEO是原来德州仪器OMAP部门的总经理，它的技术指导委员会也是实力强大，拥有半导体和处理器行业的元老级人物——被苹果收购的 P.A.Semi 创始人丹尼尔·多伯普尔（Daniel Dobberpuhl），卡内基梅隆大学计算机科学/计算机视觉专家金出武雄，以及前苹果 iPhone 和 iPod 部门工程副总裁、资深工程师大卫·图普曼（David Tupman）三人坐镇。

      IBM很早以前就发布过watson，早就投入了很多的实际应用中去。除此之外，还启动了对类人脑芯片的研发，那就是TrueNorth。TrueNorth是IBM参与DARPA的研究项目SyNapse的最新成果。SyNapse全称是Systems of Neuromorphic Adaptive Plastic Scalable Electronics（自适应可塑可伸缩电子神经系统，而SyNapse正好是突触的意思），其终极目标是开发出打破冯•诺依曼体系的硬件。

     Google在2016年宣布独立开发一种名为TPU的全新的处理系统。TPU是专门为机器学习应用而设计的专用芯片。通过降低芯片的计算精度，减少实现每个计算操作所需的晶体管数量，从而能让芯片的每秒运行的操作个数更高，这样经过精细调优的机器学习模型就能在芯片上运行得更快，进而更快地让用户得到更智能的结果。Google将TPU加速器芯片嵌入电路板中，利用已有的硬盘PCI-E接口接入数据中心服务器中。     

     ARM刚推出全新芯片架构DynamIQ，通过这项技术，AI的性能有望在未来三到五年内提升50倍。ARM的新CPU架构将会通过为不同部分配置软件的方式将多个处理核心集聚在一起，这其中包括一个专门为AI算法设计的处理器。芯片厂商将可以为新处理器配置最多8个核心。同时为了能让主流AI在自己的处理器上更好地运行，ARM还将放出一系列软件库。

     CEVA是专注于DSP的IP供应商，拥有为数众多的产品线。其中，图像和计算机视觉 DSP 产品 CEVA-XM4 是第一个支持深度学习的可编程 DSP，而其发布的新一代型号 CEVA-XM6，具有更优的性能、更强大的计算能力，以及更低的耗能。

      Eyeriss事实上是MIT的一个项目，还不是一个公司，但是因为获得了大量的媒体报道，故把它单独拿出来进行介绍。从长远来看，如果进展顺利，很可能孵化出一个新的公司。

      中星微电子率先推出中国首款嵌入式神经网络处理器（NPU）芯片，这是全球首颗具备深度学习人工智能的嵌入式视频采集压缩编码系统级芯片，取名“星光智能一号”。这款基于深度学习的芯片运用在人脸识别上，最高能达到98%的准确率，超过人眼的识别率。该NPU采用了“数据驱动”并行计算的架构，单颗NPU（28nm）能耗仅为400mW，极大地提升了计算能力与功耗的比例。

       寒武纪有中科院背景，面向深度学习等人工智能关键技术进行专用芯片的研发，可用于云服务器和智能终端上的图像识别、语音识别、人脸识别等应用。寒武纪深度学习处理器采用的指令集DianNaoYu由中国科学院计算技术研究所陈云霁、陈天石课题组提出。模拟实验表明，采用DianNaoYu指令集的寒武纪深度学习处理器相对于x86指令集的CPU有两个数量级的性能提升。

      Horizon Robotics（地平线机器人）由前百度深度学习研究院负责人余凯创办，致力于打造基于深度神经网络的人工智能“大脑”平台-包括软件和芯片，可以做到低功耗、本地化的解决环境感知、人机交互、决策控制等问题。其中，软件方面，地平线做了一套基于神经网络的OS，已经研发出分别面向自动驾驶的的“雨果”平台和智能家居的“安徒生”平台，并开始逐步落地。硬件方面，未来地平线机器人还会为这个平台设计一个芯片——NPU（Neural Processing Unit），支撑自家的OS，到那时效能会提升2-3个数量级（100-1000倍）。

      深鉴科技由清华团队创办，其产品称作“深度学习处理单元”（Deep Processing Unit，DPU），目标是以ASIC级别的功耗，来达到优于GPU的性能，目前第一批产品基于FPGA平台。

---

发展展望

       展望未来，是否可以在AI芯片中真正的实现像人类的DNA+大脑核心控制一般的集“感知、处理、决策”于一体的核心控制硬件，需要伴随AI技术的算法、大数据等各方面技术更加成熟之后同步提升，属于更加遥远的未来。目前仍然在算力提升阶段。

---

参考资料

唐氏二少：http://baijiahao.baidu.com/s?id=1577506619090059109&wfr=spider&for=pc

Ed Sperling：http://www.elecfans.com/rengongzhineng/495270.html

知乎Van Teddy：https://zhuanlan.zhihu.com/p/26129672

---

善用智能之道：行业动态、技术前沿、产业服务，欢迎关注联系：九三智能控

PS：可申请进入微信群交流，不定期分享资料，拓展行业人脉。添加微信：yan_kylin，注明名字+研究领域/专业/学校/公司，或在公众号留言。