TensorFlowOnSpark stuck
来源:互联网 发布:淘宝店铺几天自动收货 编辑:程序博客网 时间:2024/06/05 14:18
问题描述:
在使用TensorFlowOnSpark做测试的时候,发现任务,老是卡着并没有实际的运行。
解决方法:
1. 由于我使用的是自编译的TensorFlow,当时编译的时候有一个enable HDFS,默认是false,所以再次编译了一遍,把对应的HDFS enable设置为了true;
2. 没有严格参考官网:
官网上面在使用spark-submit提交的时候,添加了--conf参数,而我以为这个是没有问题的,所以就没加,所以就一直卡着,添加后就可以了;
3. 是否executor num的个数要设置和集群子节点个数 一致?
经过试验,发现不是,num executor的个数可以设置少于集群子节点的个数;
4. 在试验的时候,同样的设置,提交使用不同的executor-memory 及spark.yarn.executor.memoryOverhead的组合会出现诸如:
Container killed by YARN for exceeding memory limits. 52.6 GB of 50 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead
的错误,那就需要调整相应的设置,具体可以参考:https://blogs.msdn.microsoft.com/shanyu/2014/07/31/hadoop-yarn-memory-settings-in-hdinsight/ , 讲的还是很详细的;
5. 如果想使用Spark On YARN的方式调用TensorFlowOnSpark ,并且使用Java调用的话,可以参考:https://github.com/fansy1990/tensorflowonspark_usejava
分享,成长,快乐
脚踏实地,专注
转载请注明blog地址:http://blog.csdn.net/fansy1990
- TensorFlowOnSpark stuck
- TensorFlowOnSpark
- TensorflowOnSpark 安装
- name stuck
- TensorFlowOnSpark 初体验
- 如何安装Spark & TensorflowOnSpark
- TensorflowOnSpark 介绍与搭建
- TensorFlowOnSpark安装教程
- 如何安装Spark & TensorflowOnSpark
- 如何安装Spark & TensorflowOnSpark
- Tensorflowonspark standalone安装
- TensorflowOnSpark-单机版
- TensorflowOnSpark-集群版
- TensorFlowOnSpark 源码解析
- 学习笔记TF065:TensorFlowOnSpark
- 雅虎开源TensorflowOnSpark,Ubuntu配置安装TensorflowOnSpark
- <转>雅虎开源TensorflowOnSpark,Ubuntu配置安装TensorflowOnSpark
- 雅虎开源TensorflowOnSpark,Ubuntu配置安装TensorflowOnSpark
- 正则表达式验证用户登录是否合法
- 比较多个日期从中找出最早最晚时间,并统计出现次数
- Error:Plugin with id 'com.github.dcendents.android-maven' not found.
- 如何在Eclipse中显示空格(space)和制表符(tab)
- 使用GetMethod方法时,如果URL有中文报错的解决办法
- TensorFlowOnSpark stuck
- 【加密算法】 SSL常见加密算法
- Distcp方式
- ICP算法实现
- 2017年BAT名企前端面试总结分享
- js方法,将时间戳转换为yyyymmddhhmmss格式
- python在spark中的Vectors的运用
- 执行SQL语句:Command对象(二)
- 转-根据服务器返回的不同消息实现跳转到不同的控制器