Spark集群搭建及测试中的问题
来源:互联网 发布:单级放大电路实验数据 编辑:程序博客网 时间:2024/05/21 21:44
hadoop成功搭建成功了,在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0,Hadoop是1.2.1,spark是1.3.0,scala是2.10.4。
将scala,spark等环境都写入了~/.bashrc中去。
在安装配置Spark应注意以下:
1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP都是master的 IP。这点切记。
2、需要在各主机上配置spark的conf下的slaves文件,需要把worker节点添加进去。(如果没有slaves文件,则创建slaves)将localhost改为Master,Slave1,Slave2。
3、启动spark集群。先启动Hadoop集群,再spark的sbin目录下启动Spark集群。
4、使用spark-shell控制台。在spark下的bin输入./spark-shell。
通过spark的shell测试spark的工作:
这里是需要将spark安装目录“README.md”复制到HDFS系统上
我这里用的命令是:
Hadoop fs -rmr README.md 删除README.md
hadoop fs -put /usr/local/spark/README.md README.md (spark安装目录“README.md”复制到HDFS系统上[路径为:hdfs://Master:9000/user/root/README.md])
Hadoop中的一些命令:https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
最后spark完成了测试统计README.md里需要统计的词!
- Spark集群搭建及测试中的问题
- spark测试集群搭建
- Spark集群搭建与测试
- Spark集群搭建与测试
- 精通Spark集群搭建与测试
- Hadoop集群搭建中的问题
- Spark 集群搭建从零开始之3 Spark Standalone集群安装、配置与测试
- Mongodb Windows 集群搭建及测试
- Hadoop集群搭建及wordcount测试
- spark学习十二 hive on spark 环境搭建及测试
- 搭建spark-hadoop集群
- 搭建Spark分布式集群
- spark集群搭建
- hadoop+spark集群搭建
- 搭建Spark分布式集群
- Spark集群搭建
- 搭建spark集群
- 搭建Spark集群
- c++从SQL SERVER中读写数据、删除数据
- TCP/IP协议栈之三---------网络层
- UIControl、UIView需要注意的点
- 浅谈MySQL中优化sql语句查询常用的30种方法
- c语言变量赋值,初始化
- Spark集群搭建及测试中的问题
- 使用putty在linux主机和windows主机之间拷贝文件
- 自定义View (Android群英传)
- CMake 用法导览
- zabbix安装
- Primes on Interval
- win10 Intellij idea开发Hadoop MapReduce程序单机测试
- Spark Shuffle剖析
- CCF认证 俄罗斯方块下落问题