Spark集群搭建及测试中的问题

来源:互联网 发布:单级放大电路实验数据 编辑:程序博客网 时间:2024/05/21 21:44

hadoop成功搭建成功了,在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0,Hadoop是1.2.1,spark是1.3.0,scala是2.10.4。
将scala,spark等环境都写入了~/.bashrc中去。
在安装配置Spark应注意以下:
1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP都是master的 IP。这点切记。
2、需要在各主机上配置spark的conf下的slaves文件,需要把worker节点添加进去。(如果没有slaves文件,则创建slaves)将localhost改为Master,Slave1,Slave2。
3、启动spark集群。先启动Hadoop集群,再spark的sbin目录下启动Spark集群。
4、使用spark-shell控制台。在spark下的bin输入./spark-shell。
通过spark的shell测试spark的工作:
这里是需要将spark安装目录“README.md”复制到HDFS系统上
我这里用的命令是:
Hadoop fs -rmr README.md 删除README.md
hadoop fs -put /usr/local/spark/README.md README.md (spark安装目录“README.md”复制到HDFS系统上[路径为:hdfs://Master:9000/user/root/README.md])
Hadoop中的一些命令:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
最后spark完成了测试统计README.md里需要统计的词!

0 0
原创粉丝点击