MMLSpark:微软开源的用于Spark的深度学习库
来源:互联网 发布:excel同列找出重复数据 编辑:程序博客网 时间:2024/06/17 15:43
MMLSpark为Apache Spark提供了大量深度学习和数据科学工具,包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit(CNTK)和OpenCV进行无缝集成,使您能够快速创建功能强大,高度可扩展的大型图像和文本数据集分析预测模型。
MMLSpark需要Scala 2.11,Spark 2.1+,以及Python 2.7或Python 3.5+。
显着特点
从 HDFS 轻松摄取图像到Spark DataFrame(示例:301)
使用 OpenCV 进行转换的预处理图像数据(示例:302)
使用 CNTK 进行预训练的深层神经网络(示例:301)
使用来自 Keras 预先训练的双向LSTM进行医疗实体提取(示例:304)
在Azure上的N系列GPU虚拟机上训练基于DNN的图像分类模型
通过单个变换器在SparkML中的基元上方使用方便的API实现自由格式的文本数据(示例:201)
列车分类和回归模型容易通过数据的隐式特征化(示例:101)
计算一组丰富的评估指标,包括每个实例的指标(示例:102)
所有的示例可以参见:https://github.com/Azure/mmlspark/tree/master/notebooks/samples
一个简单的示例
以下是使用预先训练的CNN在CIFAR-10数据集中分类图像的简单示例的摘录。完整的代码参见:https://github.com/Azure/mmlspark/blob/master/notebooks/samples/301%20-%20CIFAR10%20CNTK%20CNN%20Evaluation.ipynb
安装
Docker
使用MMLSpark 的最简单方法是通过预先编译好的Docker container,为了使用它,你先要运行下面的命令:
docker run -it -p 8888:8888 -e ACCEPT_EULA=yes microsoft/mmlspark
然后通过浏览器访问http://localhost:8888,这里我们可以运行简单的示例代码,更详细的使用请参见官方文档:https://github.com/Azure/mmlspark/blob/master/docs/docker.md
Spark package
当然,除了在Docker container里面使用MMLSpark 之外,我们还可以直接通过--packages 选项直接在现有的Spark集群中使用MMLSpark,具体如下:
更多关于MMLSpark的使用和介绍,请参见官方文档或者到大讲台下载。
- MMLSpark:微软开源的用于Spark的深度学习库
- MMLSpark:微软开源的用于Spark的深度学习库
- Spark上的深度学习库MMLSpark 介绍
- 安装用于深度学习的CUDA环境
- Spark 深度学习的悖论实效
- 深度学习-基于spark的多层神经网络
- 深度学习-基于spark的LSTM
- 为Apache Spark准备的深度学习
- 雅虎开源CaffeOnSpark:基于Hadoop/Spark的分布式深度学习
- 雅虎开源CaffeOnSpark:基于Hadoop/Spark的分布式深度学习
- 雅虎开源CaffeOnSpark:基于Hadoop/Spark的分布式深度学习
- 基于Spark的分布式深度学习框架BigDL开源了!
- 雅虎开源CaffeOnSpark:基于Hadoop/Spark的分布式深度学习
- 深度学习用于图片的分类和检测总结
- 深度学习用于图片的分类和检测总结
- PCANet --- 用于图像分类的深度学习基准
- 深度学习CNN用于目标检测的方法总结
- 用于深度学习 的Xilinx FPGA XC7K325T PCIeX8 处理板卡
- 表单中input自动填充问题
- 创建SpringMVC项目(maven)
- 关于maven项目搭建并发布到linux(jdk)
- websocket的简单应用
- tensorflow 学习第一个例子
- MMLSpark:微软开源的用于Spark的深度学习库
- 共享新风机未来家居生活必备品新鲜空气齐分享
- 最长上升连续子序列
- 人工智能时代下的 人机视觉设计和交互方式应该是怎么样的?
- Nginx和PHP-FPM的启动、重启、停止脚本分享
- imx6ul linux4.1.15 LED驱动配置及heartbeat源码分析
- (十八)Java设计模式之迭代子模式
- 添加用户+非空判断+整数判断+敏感字符过滤+排序+奇数行变颜色
- Optimal Bus Route Design UVA 1349