Spark配置—Standlone模式
来源:互联网 发布:windows 10 虚拟显存 编辑:程序博客网 时间:2024/06/10 04:54
Step 1:
下载Spark版本:根据HDFS的版本进行下载,—–本文对应的是Spark 1.6.0 HDFS 2.6.0
http://spark.apache.org/downloads.html
Step 2:
在node11节点执行命令:
mkdir -p /opt/apps/sparkcd /opt/apps/spark
Step 3:
使用xftp将下载的spark包上传到上述路径
Step 4:
执行命令:
tar -xvf /opt/apps/spark/spark-1.6.0-bin-hadoop2.6.tgz
Step 5:
执行命令:
cp /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/slaves.template /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/slaves
Step 6:
执行命令:删除localhost,添加从节点
vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/slaves
Step 7:
执行命令:
cp /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh.template /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh
Step 8:
执行命令:
vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/conf/spark-env.sh
在文件的最下面添加如下属性:
export JAVA_HOME=/usr/java/jdk1.7.0_79export SPARK_MASTER_IP=node11export SPARK_MASTER_PORT=7077export SPARK_WORKER_CORES=1export SPARK_WORKER_INSTANCES=1export SPARK_WORKER_MEMORY=1g
Step 9:
分别在node12和node13上执行命令:
mkdir -p /opt/apps/sparkcd /opt/apps/spark
Step 10:
在node11执行命令,进行文件的分发
scp -r /opt/apps/spark/spark-1.6.0-bin-hadoop2.6 node12:/opt/apps/spark/scp -r /opt/apps/spark/spark-1.6.0-bin-hadoop2.6 node13:/opt/apps/spark/
Step 11:
在node11节点上执行命令:
/opt/apps/spark/spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
Step 12:
分别在三个节点上执行命令:
jps
Step 13:
打开浏览器,输入
192.168.80.11:8080
Step 14:
在node11节点上执行命令,运行一个示例
cd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node11:7077 --executor-memory 1G --total-executor-cores 1 ./lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
得到PI的结果
Step 15:
写一个wordcount程序,达成jar包使用xftp上传到node11中某一个路径下
在node11上执行命令:
mkdir -p /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/testcd /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/test
Step 16:
执行命令:
vi /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/test/test_word_count.txt
Step 17:
在node11节点上执行命令:——当jar包和文件在节点上时
./bin/spark-submit --class spark.WorldCount --master spark://node11:7077 --executor-memory 1G --total-executor-cores 1 /usr/hadoopsoft/wc20161025.jar /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/test/test_word_count.txt
Step 18:
在node11节点上执行命令:——当jar包和文件在hdfs上
./bin/spark-submit --class spark.WorldCount --master spark://node21:7077 --executor-memory 1G --total-executor-cores 1 hdfs://node22:8020/data/wc20161025.jar hdfs://node22:8020/data/text.txt
Step 19:
在node11节点上执行命令:——当jar包在hdfs上,文件在节点上
./bin/spark-submit --class spark.WorldCount --master spark://node21:7077 --executor-memory 1G --total-executor-cores 1 hdfs://node22:8020/data/wc20161025.jar /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/test/test_word_count.txt
Step 20:
Cluster模式
jar包和文件都在本地节点上
./bin/spark-submit --class spark.WorldCount --master spark://node11:7077 --deploy-mode cluster --executor-memory 1G --total-executor-cores 1 /usr/hadoopsoft/wc20161025.jar /opt/apps/spark/spark-1.6.0-bin-hadoop2.6/test/test_word_count.txt
Step 21:
jar包和文件都在HDFS上
./bin/spark-submit --class spark.WorldCount --master spark://node11:7077 --deploy-mode cluster --executor-memory 1G --total-executor-cores 1 hdfs://node22:8020/data/wc20161025.jar hdfs://node22:8020/data/text.txt
阅读全文
0 0
- Spark配置—Standlone模式
- spark的standlone模式安装
- 搭建Hadoop(standlone模式)-mac
- Spark standlone driver on cluster 用户权限问题
- Spark配置—HA模式
- Spark配置—Yarn模式
- spark 单机模式配置
- spark standalone模式配置
- spark独立模式配置
- Spark 入门之十二:再看Spark中的调度策略(Standlone)
- spark学习-64-源代码:schedulerBackend和taskScheduler的创建(2)-StandLone
- Windows 单机模式 Spark 安装和 配置
- spark本地模式和Standalone配置
- Spark -10:高可用模式配置
- spark配置:spark集群
- spark HA 模式搭建 (详细配置)《转载》
- Spark入门——2:spark运行模式及原理
- spark配置
- 智慧城市案例分享
- web-屏幕、浏览器、页面-width and height
- hibernate环境搭建
- CMake入门学习+实战<二> helloworld完善
- shutdown -r now 命令与reboot命令都是重新启动,有什么区别吗?
- Spark配置—Standlone模式
- tcp十一种状态及问题处理方法
- html通过js获取java传过来的cookie
- LVS FULLNAT模式下客户端真实地址的传递
- Gstreamer官方教程汇总1---Hello World
- Android 探讨一下Retrofit封装的最佳姿势
- 回显select options 下拉内容,并有选中
- 文章标题
- CentOS6.6源码安装Ansible