微软开源深度学习工具包CNTK更新2.3版,带来多重性能改进
来源:互联网 发布:网络用语怒怼什么意思 编辑:程序博客网 时间:2024/06/05 11:08
近日微软更新了自家开源深度学习工具包CNTK,新的版本号为2.3,带来了多项性能改进。
CNTK全名为Computational Network Toolkit,与谷歌的TensorFlow、Facebook的Caffe/Caffe2一样是开源的计算平台/工具包,意在服务更多深度学习、人工智能的研究人员和开发者们。从2016年开源起,微软就宣传CNTK的性能明显高于Caffe、Theano、TensoFlow等其它的一些热门工具,当然也提供了基于英伟达cuDNN的一到多GPU加速支持。
CNTK在2.0的多个Beta和RC版本中逐步更新了面向Python、C++、C#、Java等语言的API支持,对Keras的后端支持,Python示例和教程、自动安装等等一大堆新功能,接着在2.1中把cuDNN版本升级到了6.0、支持Universal Windows Platform,在2.2中做了许多模型支持相关的改进之后,近日CNTK也发布了2.3版本。AI研习社把更新内容简单介绍如下:
CNTK 2.3 更新重点
对ONNX标准的更好支持(关于ONNX看这里http://t.cn/Rpbv0JH)
分布式训练支持切换到NCCL2,带来更好的性能(NCCL是英伟达官方的多卡训练库,详细解读看这里http://t.cn/RWciCvH)
改进了C# API 的支持
(2.2版本中必须安装OpenCV库)现在OpenCV不是必须安装的,只有当用到TensorBoard Image功能和图像读取功能时才需要安装它
多重性能改进
增加了网络优化API
更快的稀疏Adadelta
性能改进的相关项目包含
改进 C# API,提升训练和预测性能
通过自由动态轴的支持,提升带有卷积操作的网络的训练速度。对于某些模型,训练速度可以提升5倍以上;
提升验证性能,移除了许多不需要的验证检查;
CPU 卷积中更多地使用MKL-ML,AlexNet的训练速度可以提升4倍;
Linux的正式版CNTK-GPU会默认使用NCCL2,可以降低分布式训练中的聚合开销。对于Python用户来说没有什么影响,Linux的Python自己就带有NCCL支持。BrainScript版本的用户需要先自己手工安装NCCL库作为CNTK的运行环境,就像CUDA和CUDNN一样。CPU版本和Windows版本都不受影响,因为目前NCCL只支持Linux。
提升了梯度稀疏时Adadelta的更新速度。现在每次更新的运行时间和梯度中不为零的元素的数量成正比。对于在单个GPU上运行的带有高维稀疏输入(大约2百万特征)的前馈模型,性能可以提升5倍。内存需求稍有增加,每一个稀疏的输入特征会需要额外的四个字节空间(对前面提到的模型来说一共增加8MB左右的内存需求)
其它值得注意的项目
2.3版本是最后一个支持Python3.4的版本,未来版本的CNTK将不再支持Python3.4。
ONNX方面,优化标准支持的同时,ONNX标准也更新到了最新版本;目前已经覆盖了ResNet、Inception、VGG在内的多数计算机视觉模型
增加了GPU上分组卷积的支持
CNTK2.3版本此次发布了运行在Windows下的CPU、GPU、GPU+1bit-SGD、UWP等多个版本以及运行在Linux下的CPU、GPU、GPU+1bit-SGD三个版本,都支持64位系统。有需要的研究人员和开发者请到CNTK的github(http://t.cn/RbmuElb)马上更新吧。
如何选择机器学习模型?
如何提高选择算法的能力?
对于算法能力应该从哪块开始抓起?
欢迎报名算法进阶课程
算法推导+实操
双倍告诉你
▼▼▼
(不要等早鸟票过期了才后悔~)
新人福利
关注 AI 研习社(okweiwu),回复 1 领取
【超过 1000G 神经网络 / AI / 大数据,教程,论文】
微软携手亚马逊推出全新Gluon深度学习库,全面支持符号式和命令式编程
▼▼▼
- 微软开源深度学习工具包CNTK更新2.3版,带来多重性能改进
- 微软开源Microsoft Cognitive Toolkit深度学习工具包,加入强化学习元素
- 深度学习框架Caffe, MXNet, TensorFlow, Torch, CNTK性能测试报告
- 深度学习 CNTK使用笔记
- 微软发布Cognitive Toolkit 2.0 beta深度学习工具包!
- 微软发布Cognitive Toolkit 2.0 beta深度学习工具包!
- 微软亚洲研究院开源分布式机器学习工具包
- 对标Google,微软开源其人工智能CNTK
- 微软开源认知服务CNTK的测试(语音训练)
- 深度学习框架性能评测(Caffe、CNTK、MXNet、TensorFlow、Torch)
- 深度学习 工具包
- 开源的深度学习工具包,深度学习模型的python代码实现
- 深度学习和深度学习框架CNTK入门(一)
- 机器学习+深度学习+DL框架CNTK的文章列表
- 代码解析深度学习系统编程模型:TensorFlow vs. CNTK
- 代码解析深度学习系统编程模型:TensorFlow vs. CNTK
- 用 CNTK 搞深度学习 (一) 入门
- 深度学习框架Caffe/CNTK/Tensorflow/Theano/Torch的比较
- AirKiss 3.0开发,项目用AS打开的时候遇到的问题 Error: NDK integration is deprecated in the current plugin. Consider
- 一个关于MediaPlayer的坑
- scala初学之helloWorld
- 【滤波器学习笔记】一阶RC低通滤波
- 如何使用tf-slim高层封装库处理大型图像数据?| 公开课
- 微软开源深度学习工具包CNTK更新2.3版,带来多重性能改进
- 第4弹!CS231n 2017中文字幕视频:介绍神经网络
- Android Studio 无法run 之---- Invalid File slice_9.apk.
- nodejs能做什么
- HDU DFS
- 一次点击事件,触发两次异步请求
- 移动端Web页面适配方案
- imx6ul+ts校准问题
- qt中文乱码问题