[参考]大数据之快速搭建hadoop2.6集群指南
来源:互联网 发布:淘宝直播端口 编辑:程序博客网 时间:2024/05/01 14:43
分类: HADOOP
本文详细介绍了在RedHat6.2以上版本的Linux服务器之上快速搭建hadoop2.6版本的集群方法。以下操作步骤是笔者在安装hadoop集群的安装笔记,如有对hadoop感兴趣的博友可按照本文操作进行无障碍搭建。博主可以确认以下所有操作步骤的准确性和可行性,如在搭建过程中遇到任何问题欢迎随时交流。
OK话不多说啦,具体操作详见如下操作步骤~~
在部署hadoop2.6之前的前置任务:
1、禁止selinux
setenforce 0
修改vi /etc/selinux/config的参数如下:
SELINUX=disabled
2、关闭防火墙
iptables -F
service iptables save
service iptables stop
chkconfig --level 2345 iptables off
########################################################
一:配置域名解析
-------------------------------------------------------
分别在三台机器上的/etc/hosts文件最后添加如下信息:
------------------------------------------------
128.230.5.113 hbase01
128.230.5.114 hbase02
128.230.5.115 hbase03
二、添加hadoop的管理账号
[root@hbase01 ~]# groupadd -g 1000 hadoop
[root@hbase01 ~]# useradd -u 1000 -g 1000 hadoop
三、设置互信机制
[root@hbase01 ~]# su - hadoop
[hadoop@hbase01 ~]$ ssh-keygen -t rsa
scp id_rsa.pub hadoop@ip2:~/.ssh/authorized_keys
scp id_rsa.pub hadoop@ip2:~/.ssh/authorized_keys
如果互信无法成功请修改如下文件的权限即可
chmod 700 .ssh
chmod 0600 authorized_keys
四、配置环境变量
#vim /home/hadoop/.bash_profile --设置环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_40
export JAR_HOME=/usr/java/jdk1.8.0_40/jre
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAR_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export HBASE_HOME=/usr/local/hbase-0.98.9-hadoop2
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/hbase-0.98.9-hadoop2/bin
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export HBASE_HOME=/usr/local/hbase-0.98.9-hadoop2
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/hbase-0.98.9-hadoop2/bin
export PATH
五、测试hadoop环境变量生效
hadoop version
六、配置hadoop集群
######################################################################################################
1、配置core-site.xml文件
------------------------------------------------------------------------------------------------------
fs.default.name
hdfs://hbase01:9000
hadoop.tmp.dir
/usr/local/hadoopdata/tmp
io.file.buffer.size
4096
hadoop.native.lib
true
2、配置vim hadoop-env.sh文件
------------------------------------------------------------------------------------------------------
export JAVA_HOME=/usr/java/jdk1.8.0_40
3、配置vim hdfs-site.xml
------------------------------------------------------------------------------------------------------
dfs.nameservices
hadoop-cluster1
dfs.namenode.secondary.http-address
hbase01:50090
dfs.namenode.name.dir
file:///usr/local/hadoopdata/dfs/name
dfs.datanode.data.dir
file:///usr/local/hadoopdata/dfs/data
dfs.replication
2
dfs.webhdfs.enabled
true
4、配置vim mapred-site.xml
------------------------------------------------------------------------------------------------------
mapreduce.framework.name
yarn
mapreduce.jobtracker.http.address
hbase01:50030
mapreduce.jobhistory.address
hbase01:10020
mapreduce.jobhistory.webapp.address
hbase01:19888
5、格式化namenode的namespace和dataspace
------------------------------------------------------------------------------------------------------
hadoop namenode -format
6、创建相关目录
------------------------------------------------------------------------------------------------------
mkdir -p /usr/local/hadoopdata/dfs/data
mkdir -p /usr/local/hadoopdata/dfs/name
mkdir -p /usr/local/hadoopdata/dfs/tmp
chown -R hadoop:hadoop /usr/local/hadoopdata
7、启动hadoop集群
------------------------------------------------------------------------------------------------------
#su -hadoop
#start-all.sh
若在namenode显示如下信息:
[hadoop@hbase01 dfs]$ jps
16393 NameNode
16906 Jps
16622 ResourceManager
在datanode显示如下信息:
29697 DataNode
29911 Jps
29805 NodeManager
请直接跳到最后访问hadoop集群的web控制台即可管理和监视hadoop集群的运行
8、输入jps发现hadoop集群没有成功被启动只有jps进程
------------------------------------------------------------------------------------------------------
9、分析诊断日志
------------------------------------------------------------------------------------------------------
tail -f hadoop-hadoop-namenode-hbase01.log
发现端口被占用,通过ps发现另一hadoop进程已经被root账号启用kill掉相关hadoop进程,重新启动hadoop集群
#stop-all.sh
#start-all.sh
再次执行jps发现此次比上次多了一个java进程,离成功更接近了一步。我们再次通过分析日志发现对hadoop的分布式文件系统没有写权限
14848 Jps
14595 ResourceManager
/usr/local/hadoopdata/dfs/name
10、解决方法:停止hadoop集群
------------------------------------------------------------------------------------------------------
stop-all.sh
11、解决方法:创建相关目录并赋权
------------------------------------------------------------------------------------------------------
mkdir -p /usr/local/hadoopdata/dfs/data
mkdir -p /usr/local/hadoopdata/dfs/name
chown -R hadoop:hadoop /usr/local/hadoopdata
12、访问hadoop的web页面,验证hadoop集群是否成功搭建完成
------------------------------------------------------------------------------------------------------
http://128.230.5.113:50070/dfshealth.html#tab-overview
#http://192.168.1.110:50070/dfshealth.html#tab-overview
OK话不多说啦,具体操作详见如下操作步骤~~
在部署hadoop2.6之前的前置任务:
1、禁止selinux
setenforce 0
修改vi /etc/selinux/config的参数如下:
SELINUX=disabled
2、关闭防火墙
iptables -F
service iptables save
service iptables stop
chkconfig --level 2345 iptables off
########################################################
一:配置域名解析
-------------------------------------------------------
分别在三台机器上的/etc/hosts文件最后添加如下信息:
------------------------------------------------
128.230.5.113 hbase01
128.230.5.114 hbase02
128.230.5.115 hbase03
二、添加hadoop的管理账号
[root@hbase01 ~]# groupadd -g 1000 hadoop
[root@hbase01 ~]# useradd -u 1000 -g 1000 hadoop
三、设置互信机制
[root@hbase01 ~]# su - hadoop
[hadoop@hbase01 ~]$ ssh-keygen -t rsa
scp id_rsa.pub hadoop@ip2:~/.ssh/authorized_keys
scp id_rsa.pub hadoop@ip2:~/.ssh/authorized_keys
如果互信无法成功请修改如下文件的权限即可
chmod 700 .ssh
chmod 0600 authorized_keys
四、配置环境变量
#vim /home/hadoop/.bash_profile --设置环境变量
export JAVA_HOME=/usr/java/jdk1.8.0_40
export JAR_HOME=/usr/java/jdk1.8.0_40/jre
export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAR_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export HBASE_HOME=/usr/local/hbase-0.98.9-hadoop2
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/hbase-0.98.9-hadoop2/bin
export HADOOP_HOME=/usr/local/hadoop-2.6.0
export HBASE_HOME=/usr/local/hbase-0.98.9-hadoop2
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/hbase-0.98.9-hadoop2/bin
export PATH
五、测试hadoop环境变量生效
hadoop version
六、配置hadoop集群
######################################################################################################
1、配置core-site.xml文件
------------------------------------------------------------------------------------------------------
fs.default.name
hdfs://hbase01:9000
hadoop.tmp.dir
/usr/local/hadoopdata/tmp
io.file.buffer.size
4096
hadoop.native.lib
true
2、配置vim hadoop-env.sh文件
------------------------------------------------------------------------------------------------------
export JAVA_HOME=/usr/java/jdk1.8.0_40
3、配置vim hdfs-site.xml
------------------------------------------------------------------------------------------------------
dfs.nameservices
hadoop-cluster1
dfs.namenode.secondary.http-address
hbase01:50090
dfs.namenode.name.dir
file:///usr/local/hadoopdata/dfs/name
dfs.datanode.data.dir
file:///usr/local/hadoopdata/dfs/data
dfs.replication
2
dfs.webhdfs.enabled
true
4、配置vim mapred-site.xml
------------------------------------------------------------------------------------------------------
mapreduce.framework.name
yarn
mapreduce.jobtracker.http.address
hbase01:50030
mapreduce.jobhistory.address
hbase01:10020
mapreduce.jobhistory.webapp.address
hbase01:19888
5、格式化namenode的namespace和dataspace
------------------------------------------------------------------------------------------------------
hadoop namenode -format
6、创建相关目录
------------------------------------------------------------------------------------------------------
mkdir -p /usr/local/hadoopdata/dfs/data
mkdir -p /usr/local/hadoopdata/dfs/name
mkdir -p /usr/local/hadoopdata/dfs/tmp
chown -R hadoop:hadoop /usr/local/hadoopdata
7、启动hadoop集群
------------------------------------------------------------------------------------------------------
#su -hadoop
#start-all.sh
若在namenode显示如下信息:
[hadoop@hbase01 dfs]$ jps
16393 NameNode
16906 Jps
16622 ResourceManager
在datanode显示如下信息:
29697 DataNode
29911 Jps
29805 NodeManager
请直接跳到最后访问hadoop集群的web控制台即可管理和监视hadoop集群的运行
8、输入jps发现hadoop集群没有成功被启动只有jps进程
------------------------------------------------------------------------------------------------------
9、分析诊断日志
------------------------------------------------------------------------------------------------------
tail -f hadoop-hadoop-namenode-hbase01.log
发现端口被占用,通过ps发现另一hadoop进程已经被root账号启用kill掉相关hadoop进程,重新启动hadoop集群
#stop-all.sh
#start-all.sh
再次执行jps发现此次比上次多了一个java进程,离成功更接近了一步。我们再次通过分析日志发现对hadoop的分布式文件系统没有写权限
14848 Jps
14595 ResourceManager
/usr/local/hadoopdata/dfs/name
10、解决方法:停止hadoop集群
------------------------------------------------------------------------------------------------------
stop-all.sh
11、解决方法:创建相关目录并赋权
------------------------------------------------------------------------------------------------------
mkdir -p /usr/local/hadoopdata/dfs/data
mkdir -p /usr/local/hadoopdata/dfs/name
chown -R hadoop:hadoop /usr/local/hadoopdata
12、访问hadoop的web页面,验证hadoop集群是否成功搭建完成
------------------------------------------------------------------------------------------------------
http://128.230.5.113:50070/dfshealth.html#tab-overview
#http://192.168.1.110:50070/dfshealth.html#tab-overview
0 0
- [参考]大数据之快速搭建hadoop2.6集群指南
- (大数据之hadoop)hadoop2.2.0集群搭建
- (大数据之hadoop)hadoop2.4.1集群搭建
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- 基于Hadoop2.6.0搭建的大数据集群
- 搭建hadoop2.6-yarn-spark1.6大数据集群详细步骤
- 搭建hadoop2.6集群
- 跟上大数据的步伐:快速搭建Spark集群
- 大数据 hadoop2.6.0 高可用集群搭建(HA集群搭建)--亲测可用,入门必备
- 大数据分布式集群搭建(6)
- hadoop2.7.2集群搭建之虚拟机安装
- Hadoop2.7.2之集群搭建(单机)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(单机)
- Hadoop2.7.2之集群搭建(三台)
- Hadoop2.7.2之集群搭建(单机)
- 大数据 hadoop2.5.2伪分布式搭建
- C++学习笔记——STL
- Android 问题集合
- java内部类的继承
- java——Scanner用法注意
- 局部加权线性回归
- [参考]大数据之快速搭建hadoop2.6集群指南
- 文章标题 CSU 1815 : Enterprising Escape(BFS--优先队列)
- Java经典算法——百钱百鸡
- OpenCV_Find Contours (提取图像轮廓)
- Android 编程技巧之 ----- 用 ConstraintLayout 构建响应式 UI
- Android上下文Context的最好解释
- tween.js和css3变形的使用
- 排序算法(Java)
- 啊啊啊