Ubuntu 14.04下jdkHadoop2.8集群安装配置教程并运行wordcount实例
来源:互联网 发布:mac安装silverlight 编辑:程序博客网 时间:2024/09/21 06:32
Ubuntu 14.04下jdk1.8+Hadoop2.8集群安装配置教程并运行wordcount实例
环境
- 系统: Ubuntu 14.04 64bit
- Hadoop版本: hadoop 2.8
- JDK版本: jdk1.8
- 集群环境: 三台主机,一台作为Master,局域网IP为192.168.1.106;两台作为Slave,Slave1局域网IP为192.168.1.108;Slave1局域网IP为192.168.1.109
网络配置
我使用了两台主机搭建集群,主机名与IP地址对应如下:
Master 192.168.1.106
Slave1 192.168.1.108
Slave2 192.168.1.109
首先选定哪台主机要作为Master(比如我选择的是ip为 192.168.1.106 这台),然后在该主机的 /etc/hostname
中,修改机器名为Master,将其他主机命令为Slave1、Slave2等。接着在 /etc/hosts
中,把所有集群的主机信息都写进去。
sudo pico /etc/hostnamesudo pico /etc/hosts
完成后,如下图所示(/etc/hosts 中只能有一个127.0.0.1,对应为localhost,否则会出错)。最好重启一下,在终端中才会看到机器名的变化。
注意,该网络配置需要在所有主机上进行
如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2等) 和 /etc/hosts(一般跟 Master 上的配置一样) 这两个文件进行相应的修改!
SSH无密码登陆节点
这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。
首先生成 Master 的公匙,在 Master 节点终端中执行:
cd ~/.ssh # 如果没有该目录,先执行一次ssh localhostssh-keygen -t rsa # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa
Master 节点需能无密码 ssh 本机,这一步还是在 Master 节点上执行:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
完成后可以使用 ssh Master
验证一下。接着将公匙传输到 Slave1 节点:
scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
scp时会要求输入Slave1上hadoop用户的密码(hadoop),输入完成后会提示传输完毕。
接着在 Slave1节点
上将ssh公匙保存到相应位置,执行
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
如果有其他 Slave 节点,也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。
最后在 Master 节点上就可以无密码SSH到Slave1节点了。
ssh Slave1
配置集群/分布式环境
集群/分布式模式需要修改 etc/hadoop 中的5个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1, 文件 slave
cd /usr/local/hadoop/etc/hadoopvim slaves
将原来 localhost
删除,把所有Slave的主机名写上,每行一个。例如我只有一个 Slave节点,那么该文件中就只有一行内容: Slave1。
2, 文件 core-site.xml
,将原本的如下内容:
<property></property>
改为下面的配置。后面的配置文件的修改类似。
<property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value></property><property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description></property>
3, 文件hdfs-site.xml
,因为只有一个Slave,所以dfs.replication
的值设为1。
<property> <name>dfs.namenode.secondary.http-address</name> <value>Master:50090</value></property><property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property> <name>dfs.replication</name> <value>1</value></property>
4, 文件mapred-site.xml
,这个文件不存在,首先需要从模板中复制一份:
cp mapred-site.xml.template mapred-site.xml
然后配置修改如下:
<property> <name>mapreduce.framework.name</name> <value>yarn</value></property>
5, 文件yarn-site.xml
:
<property> <name>yarn.resourcemanager.hostname</name> <value>Master</value></property><property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value></property>
配置好后,将 Master 上的 Hadoop 文件复制到各个节点上
如果之前有跑过伪分布式模式,建议切换到集群模式前先删除之前的临时文件:
rm -r /usr/local/hadoop/tmp
切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次 bin/hdfs namenode -format
,再次启动试试。
然后在Master节点
上就可以启动hadoop了。
cd /usr/local/hadoop/bin/hdfs namenode -format # 首次运行需要执行初始化,后面不再需要sbin/start-dfs.shsbin/start-yarn.sh
通过命令jps
可以查看各个节点所启动的进程。
可以看到Master节点启动了NameNode
、SecondrryNameNode
、ResourceManager
进程。
Slave节点则启动了DataNode
和NodeManager
进程。
另外也可以在Master节点
上通过命令bin/hdfs dfsadmin -report
查看DataNode是否正常启动。例如我这边一共有1个Datanodes。
有时Hadoop集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:
- 启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
- 每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
- 一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。
也可以通过Web页面看到查看DataNode和NameNode的状态,http://master:50070/
关闭Hadoop集群也是在Master节点上执行:
sbin/stop-dfs.shsbin/stop-yarn.sh
- Ubuntu 14.04下jdkHadoop2.8集群安装配置教程并运行wordcount实例
- CentOS安装Hadoop并运行WordCount实例
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(1)
- Spark教程-构建Spark集群-配置Hadoop单机模式并运行Wordcount(2)
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- ubuntu系统下eclipse配置hadoop开发环境并运行wordcount程序
- Ubuntu中安装配置hadoop 2.6.0并编译运行WordCount
- Ubuntu系统下安装并配置Hadoop-2.2.0集群
- ubuntu 安装本地版storm并运行WordCount
- hadoop下运行实例wordcount
- Ubuntu下安装Komoto Edit 并配置运行python代码
- Ubuntu与Centos的Hadoop安装以及编译运行MapReduce,Hadoop集群安装配置教程
- Ubuntu 安装Zookeeper并使用集群配置
- Ubuntu 14.04下安装并配置 TeXLive2014
- Ubuntu系统下的Hadoop集群(5)_Hadoop集群安装配置教程
- Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04
- windows下idea编写WordCount程序,并打jar包上传到hadoop集群运行
- Eclipse 运行WordCount实例 (连接Linux下的Hadoop集群)
- 欢迎使用CSDN-markdown编辑器
- 安利20个有用的PHP类库
- 第八周项目3对称矩阵压缩存储的实现与应用(2)
- 前端(一) jQuery 、 Js 、Ajax
- 蒙特卡洛树搜索(MCTS)算法
- Ubuntu 14.04下jdkHadoop2.8集群安装配置教程并运行wordcount实例
- 【队内胡策】令咒
- 安卓如何优雅的加载图片问题探究
- leetcode---partition-list---链表
- 基础知识(面试用)
- PullToRefreshScrollView
- 使用Vue制作幻灯片
- 2017CCPC<哈尔滨站> 赛后总结
- [PL/SQL] oracle sql语句 存储过程执行慢,单独执行快