spark集群上如何配置深度学习elephas框架的操作流程(shell版)
来源:互联网 发布:mac哪款粉底液好用 编辑:程序博客网 时间:2024/05/16 05:25
这个博客是回答 elephas解析第一篇 中评论区中的问题,我就把自己在一个自己的集群上面,把搭建深度学习框架elephas,theano,keras,tensorflow的操作流程post在这里。我在安装之前的集群信息如下:
- 4台ubuntu15的机器,其中一台配置host为master,其他四台为slave02,slave03,slave04.
- 在这个4台已经配置好hadoop集群,和spark集群。这一点可以在下面的shell看到,当然在这里不用管hadoop。
- 每一台上都已经安装好anaconda。一定要安装这个,不要用内置的python,因为安装这些包在anaconda会省很多力
关于下面的shell脚本说明
- 下面的shell脚本是有两个,本文只贴了master上面的shell。slave总共3台,内容都是一样的。
- master的前面是安装elephas,theano,keras,tensorflow;后面是spark submit mnist_mlp_spark_CC.py 本地 和集群。
- slave 只有安装,所以看完master,就不必看slave了。(因为之前有人问过slave上要不要配置python的依赖包)
- 我已经上传pdf文件,下载浏览更方便。(下载)https://pan.baidu.com/s/1mhQuNmK#list/path=%2F
0 0
- spark集群上如何配置深度学习elephas框架的操作流程(shell版)
- 如何基于Spark做深度学习:从Mllib到keras,elephas
- 如何基于Spark做深度学习:从Mllib到keras,elephas
- 如何基于spark做深度学习:从ML到keras、Elephas
- Spark上的深度学习框架BigDL 介绍
- 解析Spark开源框架elephas之一
- 解析Spark开源框架elephas之二
- [2]深度学习和Keras-----如何在Ubuntu上安装深度学习的框架:Keras
- Spark :工作组上的集群计算的框架
- Spark学习之在集群上运行Spark(6)
- Spark上的深度学习库MMLSpark 介绍
- spark学习笔记:集群模式下的addFile()操作(存疑)
- Caffe深度学习操作流程
- Windows7 系统上配置caffe GPU/CPU 的深度学习框架
- spark shell的学习
- spark shell的学习
- 深度学习-如何调试基于spark的LSTM
- Spark学习(一):Spark集群的搭建
- 51nod-【1106 质数检测】
- 玩转Android Material Design包
- 润乾报表v4-struts2集成(包括遇到问题)
- 斯坦福CS231n - CNN for Visual Recognition(7)-lecture6梯度检查、参数更新
- 继承自View的自定义控件的warp_content和padding属性处理
- spark集群上如何配置深度学习elephas框架的操作流程(shell版)
- 查询域名MX、A、DNS、txt、cname记录是否生效
- SpringBoot第一讲 概览
- 开源软件及国内发展现状
- +new Date是什么意思?
- Rightmost Digit
- 大数据算法概述
- zk column表头合并单元格
- Play! Framework 学习笔记(一):初识Play