大数据技术的应用现状与展望

本文是我即将由嵌入式底层驱动行业转入大数据研究领域的综述文章，案例摘自《程序员》电子期刊，由于初学者知识面较窄，查看文献量较少，因此后续还会在此基础上，继续跟踪并深入研究，为论文撰写积累知识储备和素材。

• 1. 大数据技术的应用领域
• 2. 大数据技术的几个应用案例
• 3. 大数据技术的问题与挑战
• 4. 大数据技术的前景展望

1.大数据技术的应用领域

1.1 大数据研究的四项关键技术

（1）数据采集、预处理与存储技术
（2）数据分析、学习与信息挖掘技术
（3）数据安全与隐私保护技术
（4）数据的中心体系结构

1.2 大数据技术的应用领域

（1）以大数据技术为基础的现有数据处理领域，比如图像（人脸）的识别、匹配，视频压缩解码
（2）以大数据技术为基础的数据学习领域，比如语音识别、汉字等语义学习以及商用平台的信息推荐系统等
（3）以大数据技术为基础的系统连接与交互领域，比如基于智能对话的人机交互，对话系统的语言理解与分析等

2.大数据技术的几个应用案例

2.1 基于注意力机制的端到端语音识别方案——应用厂商小米

(1) 端到端语音识别只需呀一个神经网络就可以识别汉字序列。
(2) 注意力机制摒弃了传统的不准确性假设。
(3)该技术只停留在算法阶段，存在难收敛、训练速度慢和无法给出音素切分点等缺点。

2.2 面向图像分析应用得海量样本过滤方案——应用厂商苏宁

(1) 多重过滤效果明显。
(2) 利用初级特征、深度特征以及无监督聚类和深度分类器的分类方法，可提取高质量图像。
(3) 海量高质量图像样本的获取，是取得优异算法性能的重要前提。

2.3从连接到交互的智能对话交互实践及范式思考——应用厂商阿里巴巴

(1) 人和智能设备交互一定是自然语言。
(2) 人和设备交互是双向的。
(3) 人和设备对话交互的多轮的。
(4) 需要较好的上下文理解。
对话系统架构框图:

自然语言理解流程:

人机交互的几个阶段:

人机交互第二阶段实现方案:

智能对话交互生态的范式思考——开发者平台:

总结：
(1).打造语言理解的鲁棒性和领域扩展性；
(2).打造机器持续学习的能力；
(3).打造数据闭环。

3. 大数据技术的问题与挑战

(1) 大数据的数据分析需求不仅体现在海量数据的处理能力上，还体现在对新的知识类型的兴趣上。需要新型的局部数据采样进行数据分析的策略。
(2) 大数据深度学习问题：理论分析、数据特征提取以及训练和优化提取技术。
(3) 大数据隐私保护问题：需要相关政策法规的约束。
(4) 大数据质量和可用性问题：比如数据的冗余、噪声和误差的负面影响，还有数据一致性、精确性和完整性等问题。

4. 大数据技术的前景展望

(1) 大数据技术还需探索多数据源有效获得高质量数据的理论与方法。
(2) 大数据技术还需研究高效的数据过滤方法，建立多模态融合计算的理论，提高数据的可用性。
(3) 大数据技术还需解决数据恢复、定量评估和数据演化的新问题，进一步研究近似计算理论和技术，解决缺失数据的利用问题等。