搭建spark-hadoop集群

来源：互联网发布：mac 窗口到屏幕外编辑：程序博客网时间：2024/05/13 13:52

1\下载工程
wget http://www.scala-lang.org/files/archive/scala-2.10.4.tgz
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.3.0/hadoop-2.3.0.tar.gz
wget http://mirror.bit.edu.cn/apache/spark/spark-1.1.0/spark-1.1.0-bin-hadoop2.3.tgz

机器之间无密码登陆通信
在A、B、C机器上生成公私钥： ssh-keygen -t rsa -f ~/.ssh/id_rsa
将A机器的 ~/.ssh/id_rsa.pub 覆盖 B C 机器的~/.ssh/authorized_keys文件即可，A机器即可免登陆到BC机器上。

2、安装Scala

sudo mkdir /usr/lib/scala
tar -zxf scala-2.10.4.tgz
sudo mv scala-2.10.4 /usr/lib/scala/
vim ~/.bashrc 编辑添加Scala全局声明：export SCALA_HOME=/usr/lib/scala/scala-2.10.4
修改生效：source ~/.bashrc
测试： scala -version

3、配置hadoop
ABC 三台机器vi etc/hadoop/core-site.xml
添加：
<property>
<name>fs.default.name</name>
<value>hdfs://10.232.132.130:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/netboy/hadoop/hadoop-2.3.0/tmp</value>
</property>
ABC 三台机器： vim etc/hadoop/hdfs-site.xml
添加：
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/netboy/hadoop/hadoop-2.3.0/tmp/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/netboy/hadoop/hadoop-2.3.0/tmp/hdfs/data</value>
</property>
配置masters和slaves：
vi etc/hadoop/masters
vi etc/hadoop/slaves

通过master是Hadoop集群文件系统格式化：
在master上：执行 hadoop namenode -format
在master上启动集群：
sh sbin/start-all.sh

4、配置spark
vim ~/.bashrc 编辑添加spark全局声明：export SPARK_HOME=/home/netboy/spark/spark-1.1.0-bin-hadoop2.3
mv conf/spark-env.sh.template conf/spark-env.sh
vi conf/spark-env.sh

vi conf/spark-defaults.conf

5、启动使用单机单核模式

../bin/spark-submit --class "com.netboy.spark.demo.SimpleApp" --master local[1]

使用 spark的自身集群模式启动

../bin/spark-submit --class "com.netboy.spark.demo.SimpleApp" --master spark://10.**.**.189:7077

具体可以参看wiki http://spark.apache.org/docs/1.0.2/

0 0