TensorflowOnSpark 介绍与搭建

来源：互联网发布：拉面说知乎编辑：程序博客网时间：2024/05/16 18:38

1.介绍

TensorFlowOnSpark 为 Apache Hadoop 和 Apache Spark 集群带来可扩展的深度学习。通过结合深入学习框架 TensorFlow 和大数据框架 Apache Spark 、Apache Hadoop 的显着特征，TensorFlowOnSpark 能够在 GPU 和 CPU 服务器集群上实现分布式深度学习。

2.为了满足什么应用场景

为了利用TensorFlow在现有的Spark和Hadoop集群上进行深度学习。而不需要为深度学习设置单独的集群。

3.核心技术点是那些
轻松迁移所有现有的TensorFlow程序，<10行代码更改;
支持所有TensorFlow功能：同步/异步训练，模型/数据并行，推理和TensorBoard;
服务器到服务器的直接通信在可用时实现更快的学习;
允许数据集在HDFS和由Spark推动的其他来源或由TensorFlow拖动;
轻松集成您现有的数据处理流水线和机器学习算法（例如，MLlib，CaffeOnSpark）;
轻松部署在云或内部部署：CPU和GPU，以太网和Infiniband。

4.同类对比

相比于基于caffe的caffeOnSpark，基于TensorFlow的TensorFlowOnSpark支持更多的模型。

5.优势劣势

优势：TensorFlowOnSpark是基于google的TensorFlow的实现，而TensorFlow有着一套完善的教程，内容丰富。
劣势：开源时间不长，未得到充分的验证。

6.发展前景

由于使用TensorFlow的人数较多，当需要在Spark或Hdfs上进行深度学习时，也会更倾向于使用TensorFlowOnSpark。前景应该不错。

7.搭建
官方示例太坑了。很难搭建成功。主要说一些遇到的问题

下载git clone git@github.com:yahoo/tensorflow.git
实现官方示例
1、安装python2.7，
–安装pip –安装pydoop库（在hadoop上使用python）–安装numpy库 –安装TensorFlow库
问题：1.pip pydoop安装不上，没有安装hadoop，安装hadoop仍安装不上，可通过下载对应的包通过setup安装
2.pip TensorFlow安装不上，pip过程中会检查numpy库是否安装，由于numpy问题造成的失败可以先通过pip 安装numpy
3.import tensorflow出现glibc等版本错误，建议使用新点的系统，centenos6 只支持到glibc1.2，即使安装好了，也可能会出现GLIBC.XXX之类的错误。
4.安装pip错误，安装python过程缺少相关依赖的库（如zlib等），安装过程会有提示。安装完成即可

2、安装和编译TensorFlow w/RDMA支持            (后面链接为参考链接)     --安装protoc 3.1  （https://github.com/google/protobuf/releases）    --1下载对应的包（java）    --2 安装 ./autogen.sh  ./configure --prefix=/usr/local/protobuf  make make check make install ldconfig  (http://www.itdadao.com/articles/c15a1006495p0.html)     --编译TensorFlow的protos  （https://github.com/tensorflow/ecosystem/tree/master/hadoop）    --protoc --proto_path=/opt/TensorFlowOnSpark/tensorflow/ --java_out=src/main/java/ /opt/TensorFlowOnSpark/tensorflow/tensorflow/core/example/{example,feature}.proto  (ecosystem/hadoop/ 下执行)    --mvn clean package      mvn install    --hadoop fs -put tensorflow-hadoop-1.0-SNAPSHOT.jar

执行命令运行

${SPARK_HOME}/bin/spark-submit --master yarn-cluster --deploy-mode cluster --queue ${QUEUE} --num-executors 4 --executor-memory 1G --archives hdfs:///user/${USER}/Python.zip#Python,/root/mnist/mnist.zip#mnist TensorFlowOnSpark-master/examples/mnist/mnist_data_setup.py --output mnist/csv --format csv（http://www.jianshu.com/p/72cb5816a0f7）

4 1