深度学习理论与技术的重点研究方向

1.下一代深度学习理论与技术

背景与目标

面向泛在（如移动计算）、高风险（如精准医疗）、高可靠性（如智能交通）等应用场景，突破深度学习理论基础薄弱、模型结构单一、资源消耗过高、数据依赖性强的瓶颈。

研究下一代深度学习理论基础；非神经网络、资源节约型深度学习模型、方法及高效优化技术；适于小样本/无监督样本、强化/博弈学习的深度学习方法与技术。

具体研究内容

• 针对深度学习模型高度非线性、参数空间分层且巨大等复杂特性，建立一套揭示深度学习工作机理的理论框架、形成一组深度学习模型分析工具与方法

• 研制出一系列基于非神经网络结构的新型机器学习模型、方法与技术，在深度学习模型可解释性、高扩展性、易配置性上取得突破

• 提出存储和计算资源消耗低的多种深度学习模型与方法，设计快速高效、适用于非凸深度学习训练的新型梯度与非梯度优化技术，大幅提升深度学习技术部署能力

• 研制面向小样本、无监督样本、弱标记样本、非单标记样本的深度学习方法与技术，降低深度学习对于大规模高质量标注数据的严重依赖

• 拓广深度学习应用领域，提出适用于在线学习、强化学习、博弈学习的深度学习方法与技术。

2.深度神经网络处理器的新原理、新结构和新方法

背景与目标

深度神经网络已在多种云端和终端应用中起到了关键性支撑作用。然而，现有芯片远远难以满足深度神经网络的速度和能效需求，有必要探索能高效处理大规模深度神经网络的新型处理器的设计原理、体系结构、指令集和编程语言；探索深亚微米工艺（≤16nm）对深度神经网络处理器设计方法的影响。研制新型深度神经网络处理器芯片。

具体研究内容

• 研制能处理大规模深度神经网络（包含一亿神经元和十亿突触）的深度神经网络处理器样片。支持国产深度神经网络指令集，集成硬件神经元/突触作为其运算部分，支持硬件神经元的时分复用，支持caffe、tensorflow和mxnet等主流深度神经网络编程框架，能完成MLP、CNN、LSTM、RNN、GAN和Faster-RCNN等主流深度神经网络的使用

• 设计深度神经网络处理器的基准测试集，覆盖语音、图像和自然语言理解等应用。设计高效的深度神经网络处理器核和片上互联结构

• 研制面向深度神经网络处理器的编程语言、编译器和汇编器

• 研制面向深度神经网络处理器的驱动和系统软件