hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
来源:互联网 发布:d3.js 拓扑图 编辑:程序博客网 时间:2024/06/05 16:12
服务器3台,可以用3个虚拟机代替.
操作系统.
CentOS 6.3 64
hadoop版本
hadoop 1.1.0 rpm
以下所有的操作,都是用 root 身份执行
以下安装,需要在每台机器上面安装.
下载好 jdk-7u9-linux-x64.rpm 和 hadoop-1.1.0-1.x86_64.rpm
vim /etc/sysconfig/network(分别修改为)HOSTNAME=namenode1HOSTNAME=datanode1HOSTNAME=datanode2
vim /etc/hosts(添加以下内容)192.168.10.137 namenode1192.168.10.138 datanode1192.168.10.139 datanode2
ping namenode1
ping datanode1ping datanode2
rpm -ivh jdk-7u9-linux-x64.rpm
java -version 马上有反应,方便!
rpm -ivh hadoop-1.1.0-1.x86_64.rpm
(CentOS 6.3默认已经安装了openssh和rsync)
2.2 配置Master无密码登录所有Salve
1)SSH无密码原理
Master(NameNode | JobTracker)作为客户端,要实现无密码公钥认证,连接到服务器Salve(DataNode | Tasktracker)上时,需要在 Master上生成一个密钥对,包括一个公钥和一个私钥,而后将公钥追加到所有的Slave的authorized_keys文件上。当Master通过SSH连接Salve时,Salve就会生成一个随机数并从authorized_keys找到Master的公钥,然后用这个公钥对随机数进行加密,并发送给Master。Master收到加密数之后再用私钥解密,并将解密数回传给Slave,Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程,其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。
以下操作,在 namenode1上面执行
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys ( 使本机程序可以通过ssh登录本机)
2. 密钥生成完成以后,追加namenode的公钥到其他2台 datanode 上面,使得 namenode能访问其它 datanode
cat ~/.ssh/id_rsa.pub | ssh root@datanode1 "cat >>~/.ssh/authorized_keys"cat ~/.ssh/id_rsa.pub | ssh root@datanode2 "cat >>~/.ssh/authorized_keys"
vim /etc/ssh/sshd_config
service sshd restart
3. 验证ssh 不要密码登陆是否成功
ssh namenode1ssh datanode1ssh datanode2
如果SSH访问出现问题的话,可以试试下面的
1)修改文件"authorized_keys"
chmod 644 ~/.ssh/authorized_keys
2.3 配置所有Slave无密码登录Master
和Master无密码登录所有Slave原理一样,就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中,记得是追加(>>)
用root登录datanode1
1. 创建 ssh 密钥,就是不用密码登陆目标主机,以下命令直接敲默认回车,不用输入任何信息.
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys ( 使本机程序可以通过ssh登录本机)
2. 密钥生成完成以后,追加本机的公钥到其他2台机器上面
cat ~/.ssh/id_rsa.pub | ssh root@namenode1 "cat >>~/.ssh/authorized_keys"cat ~/.ssh/id_rsa.pub | ssh root@datanode2 "cat >>~/.ssh/authorized_keys"
vim /etc/ssh/sshd_config
service sshd restart
3. 验证ssh 不要密码登陆是否成功
ssh namenode1
ssh datanode2
1)修改文件"authorized_keys"
chmod 644 ~/.ssh/authorized_keys
2.4 配置所有Slave无密码登录Master
和Master无密码登录所有Slave原理一样,就是把Slave的公钥追加到Master的".ssh"文件夹下的"authorized_keys"中,记得是追加(>>)
用root登录datanode2
1. 创建 ssh 密钥,就是不用密码登陆目标主机,以下命令直接敲默认回车,不用输入任何信息.
ssh-keygen -t rsacat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys ( 使本机程序可以通过ssh登录本机)
2. 密钥生成完成以后,追加本机的公钥到其他2台机器的authorized_keys上
cat ~/.ssh/id_rsa.pub | ssh root@namenode1 "cat >>~/.ssh/authorized_keys"cat ~/.ssh/id_rsa.pub | ssh root@datanode1 "cat >>~/.ssh/authorized_keys"
vim /etc/ssh/sshd_config
service sshd restart
3. 验证ssh 不要密码登陆是否成功
ssh namenode1
ssh datanode1
1)修改文件"authorized_keys"
chmod 644 ~/.ssh/authorized_keys
---------------------------------------------------------------------------------------------------------------------------------------------
2.5 配置Hadoop
每个节点都要进行以下的配置
mkdir -p /usr/hadoop/tmp
5. 配置hadoop 运行环境.进入 /etc/hadoop 目录下面,修改hadoop的默认配置.
首先修改 master 文件. master 文件很容易理解错误,master 文件是指 hadoop 机器里面的secondarynamenode.不是指本机(测试用所以配置上,实际上namenode和secondarynamenode放在同一个机子上不能增加可靠性,没什么意义!)
vim /etc/hadoop/master
(改为如下)
192.168.10.137
vim /etc/hadoop/slave
(改为如下)
192.168.10.138
192.168.10.139
这里的IP实际上可以用主机名来代替,但当网格的DNS出问题的,就不能访问了,直接用IP就不用依赖DNS,提高集群可靠性!
<configuration><!-- global properties --><property><name>hadoop.tmp.dir</name><value>/usr/hadoop/tmp</value></property><!-- file system properties --><property><name>fs.default.name</name><value>hdfs://namenode1:9000</value></property></configuration>
3)配置hdfs-site.xml文件
修改Hadoop中HDFS的配置,配置的备份方式默认为3,这里只有2个datanode,所以数据最大复制2份!
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
7. 设置 mapred-site.xml 件内容如下
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口。
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>namenode1:9001</value>
</property>
</configuration>
vim /etc/hadoop/hadoop-env.sh
修改如下行内容为
export JAVA_HOME=/usr/java/jdk1.7.0_09
11. 设置每个节点上面的 服务为自动启动
chkconfig --add hadoop-namenode
chkconfig --add hadoop-jobtracker
chkconfig hadoop-namenode on
chkconfig hadoop-jobtracker on
4.3 启动及验证
1)格式化HDFS文件系统
在"Master.Hadoop"上使用普通用户hadoop进行操作。(备注:只需一次,下次启动不再需要格式化)
hadoop namenode -format
2)启动hadoop
在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。
service iptables stop
不知道为什么root用户访问start-all.sh会提示无权限,所以直接修改了其所在文件夹的访问权限!(谁知道原来回复一下我,谢谢)
chmod -R 777 /usr/sbin/
启动 namenode
start-all.sh
可以通过以下启动日志看出,首先启动namenode 接着启动datanode1,datanode2,…,然后启动secondarynamenode。
再启动jobtracker,然后启动tasktracker1,tasktracker2,…。
启动 hadoop成功后,在 Master 中的 tmp 文件夹中生成了 dfs 文件夹,在Slave 中的 tmp 文件夹中均生成了 dfs 文件夹和 mapred 文件夹。
stop-all.sh
(2)验证方式二:用"hadoop dfsadmin -report"
用这个命令可以查看Hadoop集群的状态。
4.4 网页查看集群
1)访问jobtracker"http:192.168.1.2:50030"
2)访问DFS : "http:192.168.10.137:50070"
到此,Hadoop配置完毕,最大的感悟是rpm方式安装软件真是太方便了!
- hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
- hadoop-1.1.0 rpm + centos 6.3 64虚拟机 + JDK7 搭建分布式集群
- CentOS hadoop 分布式集群的搭建
- Hadoop集群全分布式安装(CentOS)
- Hadoop全分布式集群模式的搭建实验
- 虚拟机搭建hadoop的全分布式集群-in detail (2)
- 虚拟机搭建hadoop的全分布式集群-in detail (3)
- 虚拟机搭建hadoop的全分布式集群-in detail (4)
- 基于CentOS的Hadoop和Spark分布式集群搭建过程
- Hadoop集群完全分布式搭建教程-CentOS
- Hadoop集群完全分布式搭建教程-CentOS
- Hadoop集群完全分布式搭建教程-CentOS
- hadoop分布式集群的搭建
- hadoop分布式集群的搭建
- Hadoop系统完全分布式集群搭建方法
- hadoop备战:一台x86计算机搭建hadoop的全分布式集群
- hadoop分布式集群搭建
- hadoop分布式集群搭建
- 文章1004
- 文章1003
- 文章1002
- MFC 树形控件 实现选择分组下面成员全选
- 文章1001
- hadoop-1.1.0 rpm + centos 6.3 64 + JDK7 搭建全分布式集群的方法
- android 参数传递
- 设计模式
- 一个PS高手的话
- [原型扩展] 实用型功能函数集合 [使用说明]
- C++—类型转换(Type Casting)
- CMP指令
- Android 道面试题(一)
- Cocos2D-X SimpleGame 如何添加一个cocos2d-x精灵 (1) ----版本cocos2d-2.0-x-2.0.3