资讯精选 |【深度学习框架大PK】褚晓文教授:五大深度学习框架三类神经网络全面测评(23PPT)
来源:互联网 发布:mysql主键从1000开始 编辑:程序博客网 时间:2024/05/10 19:47
本文来源于阿里云-云栖社区,原文点击这里。
香港浸会大学褚晓文教授团队在2016年推出深度学习工具评测的研究报告,并在2017年年初发布更新,引起广泛关注。见新智元报道《 基准评测 TensorFlow、Caffe、CNTK、MXNet、Torch 在三类流行深度神经网络上的表现(论文)》,2017年初版本的评测的主要发现可概括如下:
- 总体上,多核CPU的性能并无很好的可扩展性。在很多实验结果中,使用16核CPU的性能仅比使用4核或8核稍好。TensorFlow在CPU环境有相对较好的可扩展性。
- 仅用一块GPU卡的话,FCN上Caffe、CNTK和Torch比MXNet和TensorFlow表现更好;CNN上MXNet表现出色,尤其是在大型网络时;而Caffe和CNTK在小型CNN上同样表现不俗;对于带LSTM的RNN,CNTK速度最快,比其他工具好上5到10倍。
- 通过将训练数据并行化,这些支持多GPU卡的深度学习工具,都有可观的吞吐量提升,同时收敛速度也提高了。多GPU卡环境下,CNTK平台在FCN和AlexNet上的可扩展性更好,而MXNet和Torch在CNN上相当出色。
- 比起多核CPU,GPU平台效率更高。所有的工具都能通过使用GPU达到显著的加速。
- 在三个GPU平台中(GTX980,GTX1080,Tesla K80中的一颗GK210),GTX1080由于其计算能力最高,在大多数实验结果中性能最出色。
- 某种程度上而言,性能也受配置文件的影响。例如,CNTK允许用户调整系统配置文件,在运算效率和GPU内存间取舍,而MXNet则能让用户对cuDNN库的自动设置进行调整。
2017年9月7日,中国工程院信息与电子工程学部主办、浪潮集团承办的首届人工智能计算大会(AI Computing Conference,简称AICC)上,褚晓文教授发表题为《Benchmarking State-of-the-Art Deep Learning Software Tools》的报告并接受了 新智元的独家专访。他在采访中提到了这一项目的起源以及其中涉及的技术点,特别是深度学习网络的计算原理等。
褚晓文教授介绍说,其团队从2008年开始就开始从事GPU计算方面的科研工作,在2014到2015年的时候,开始接触到深度学习这个领域,那个时候为了开发一个并行的深度学习平台,对整个深度学习的原理和应用都有了一个比较深入的了解,这是一个前期的基础。
到了2016年的时候,他们就留意到,突然就很多深度学习平台开始开源了。工具多了以后,他们通过与工业界的接触了解到,大家经常会有一个困惑:工具很多,硬件也很多,各种各样的GPU卡,从4、5千块钱到4、5万都有。该如何进行选择?这个问题很复杂,也很难回答。所以他就开始跟学生一起,做了一些初步的比较的工作。
值得一提的是,这是一开源的项目,所有人都可以下载到代码和测试的数据,文档也写的很清楚,大家都可以重复实验。所以从发布至今,褚晓文教授他们也收到了大量的反馈,并对测评结果进行了优化迭代。今年最新版本的测评报告会在近期公布,新智元也将对此保持关注。
展开全文
- 资讯精选 |【深度学习框架大PK】褚晓文教授:五大深度学习框架三类神经网络全面测评(23PPT)
- 深度学习框架五大组件
- 深度学习十大框架
- 神经网络/深度学习框架
- 2017深度学习最新报告及8大主流深度学习框架超详细对比(内含PPT)
- 深度学习十大框架比较
- 深度学习框架Keras学习系列(三):Keras神经网络框架
- 机器学习和深度学习的最佳框架大比拼
- 五大主流深度学习框架比较分析:MXNET是最好选择
- PaddlePaddle, TensorFlow, MXNet, Caffe2 , PyTorch五大深度学习框架2017-10最新评测
- 资讯精选 | 忽悠神经网络指南:教你如何把深度学习模型骗得七荤八素
- 深度学习几大主流框架的对比
- 对比深度学习十大框架:TensorFlow 并非最好?
- SSH三大框架学习
- 三大框架学习总结
- 大数据 深度学习
- 深度学习大数据
- 深度学习框架TensorFlow学习(三)----线性回归
- python3+关于HTMLTestRunner报告里面出现2次错误提示的问题
- iOS并发(多线程)
- 1075. 链表元素分类(25)
- 身份证的校验码计算
- “双鸭山大学”的来源
- 资讯精选 |【深度学习框架大PK】褚晓文教授:五大深度学习框架三类神经网络全面测评(23PPT)
- Linux系统编程——管道
- 数据结构的三个问题
- QRegExp
- Term Dictionary和Index文件 (FST详细解析)-- 基于lucene4
- win7/10中以管理员身份运行bat脚本时,获取当前文件所在目录
- Java_内存
- 【半原创】Irp占坑保护文件不被删除
- Window系统下安装tomcat图文教程