Spark应用(app jar)发布到Hadoop集群的过程
来源:互联网 发布:用java计算时间差 编辑:程序博客网 时间:2024/06/06 20:20
记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。
1.绝对路径开启集群
(每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format)
我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。
/opt/hadoop/bin/hdfs namenode -format
/opt/hadoop/sbin/start-all.sh/opt/spark/sbin/start-all.sh
使用jps命令查看集群是否全部正确开启
2.绝对路径关闭集群
/opt/hadoop/sbin/stop-all.sh/opt/spark/sbin/stop-all.sh
3.Spark业务(app)发布到Hadoop YARN集群方式
这里发布一个spark本身自带的jar发到hadoop集群中(此时hadoop和spark都已开启)
cd /opt/spark
./bin/spark-submit \--class org.apache.spark.examples.SparkPi \--master yarn \--deploy-mode cluster \--driver-memory 4g \--executor-memory 2g \--executor-cores 1 \lib/spark-examples-1.6.2-hadoop2.6.0.jar \10
注意spark-examples-1.6.2-hadoop2.6.0.jar,需要根据你的版本来看自带的版本号。
4.log地址(方便查看错误信息)
/opt/hadoop/logs/
/opt/spark/logs/
5.web地址查看(可以直观的查看集群执行情况)
http://localhost:8088/cluster/apps
http://localhost:8080/
通过http://localhost:8088/cluster/apps看到执行成功SUCCEEDED
查看SparkPi运行结果,结果为Pi is roughly 3.140572。数值可能稍有不同。总之成功了!
1 0
- Spark应用(app jar)发布到Hadoop集群的过程
- 基于CentOS的Hadoop和Spark分布式集群搭建过程
- app发布到应用市场的有感
- 总结一下iOS应用发布到app store的过程和遇到的问题
- hadoop+spark+hive+mysql集群搭建过程
- Hadoop+Spark分布式集群搭建过程
- 发布应用到App Store
- IOS App开发和发布过程中用到的证书
- 发布ionic应用到App Store的完整步骤
- spark-submit提交jar包到集群找不到主类
- 提交任务到spark集群及spark集群的安装
- Spark应用如何访问带Kerberos认证的CDH Hadoop集群
- 将项目发布到Cloud Foundry应用中使用bx app push过程中报错
- 本地Spark程序提交到hadoop集群运行流程
- 搭建spark-hadoop集群
- hadoop+spark集群搭建
- Hadoop+Spark集群搭建
- Ubuntu Hadoop Spark集群
- 考虑这个简单的函数
- Oracle 11g ORA-12514:TNS:监听程序当前无法识别连接描述符中请求的服务
- CSS3渐变色彩
- CGLib动态代理(转载)
- MFC一些理解
- Spark应用(app jar)发布到Hadoop集群的过程
- 常用javascript笔记(不断追加中)
- ubuntu 下shadowsockets配置
- 命令行操作 sqlite 数据库
- pat 1004 Counting Leaves (30)
- 教你初步了解红黑树
- HDOJ 1070 Milk
- [Redis] redis入门
- zk create() 方法