CentOS下安装hadoop

下载hadoop

http://apache.fayea.com/hadoop/common/hadoop-2.6.4/hadoop-2.6.4-src.tar.gz 

http://apache.fayea.com/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

SSH无密码验证配置

安装以下两个的服务

查看以下两个服务是否已安装

           rpm –qa | grep openssh

           rpm –qa | grep rsync

假设没有安装ssh和rsync，可以通过下面命令进行安装

           yuminstall ssh 安装SSH协议

           yum install rsync （rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件）

启动服务

           service sshd restart

配置Master无密码登录所有Salve

生成密钥对

           ssh-keygen -t rsa -P ''

把id_rsa.pub追加到授权的key里面去

           cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

修改文件authorized_keys权限

           chmod 600~/.ssh/authorized_keys

设置SSH配置 vim /etc/ssh/sshd_config

           RSAAuthentication yes # 启用 RSA 认证

           PubkeyAuthentication yes# 启用公钥私钥配对认证方式

           AuthorizedKeysFile.ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

重启SSH服务

           service sshd restart

把公钥复制所有的Slave机器上

           scp ~/.ssh/id_rsa.pubhadoop@192.168.1.3:~/

修改文件夹".ssh"的用户权限

           chmod 700 ~/.ssh

另外一台机器追加到授权文件"authorized_keys"

           cat~/id_rsa.pub >> ~/.ssh/authorized_keys

           chmod 600~/.ssh/authorized_keys

另外一台机器用root用户修改"/etc/ssh/sshd_config"

           RSAAuthentication yes # 启用 RSA 认证

           PubkeyAuthentication yes# 启用公钥私钥配对认证方式

           AuthorizedKeysFile.ssh/authorized_keys # 公钥文件路径（和上面生成的文件同）

Hadoop集群安装

配置hadoop-env.sh

# set java environment

export JAVA_HOME=/usr/java/jdk1.6.0_31

配置core-site.xml文件即配置HDFS的地址和端口号

在/usr/programs/hadoop/hadoop-1.2.1/目录下建立tmp文件夹

<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

       <value>/usr/programs/hadoop/hadoop-1.2.1/tmp</value>

        <description>A base for othertemporary directories.</description>

    </property>

<!--file system properties -->

    <property>

       <name>fs.default.name</name>

       <value>hdfs://192.168.1.166:9000</value>

    </property>

</configuration>

配置hdfs-site.xml文件

修改Hadoop中HDFS的配置，配置的备份方式默认为3

<configuration>

    <property>

       <name>dfs.replication</name>

       <value>1</value>

        (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)

 

    </property>

<configuration>

配置mapred-site.xml文件即配置JobTracker的地址和端口。

<configuration>

    <property>

       <name>mapred.job.tracker</name>

       <value>http://192.168.1.166:9001</value>

    </property>

</configuration>

配置masters文件

去掉"localhost"，加入Master机器的IP：192.168.1.2

因为万一忘记配置"/etc/hosts"局域网的DNS失效，这样就会出现意想不到的错误，但是一旦IP配对，网络畅通，就能通过IP找到相应主机。

 

参考链接：

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html