SSH无密码登陆及Hadoop1.2.1环境搭建

参考“虾皮Hadoop”，非常感谢虾皮大哥！

 

#生成公钥/私钥
【1】$ssh-keygen –t rsa –P ''
【2】$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
【3】$scp ~/.ssh/id_rsa.pub 远程用户名@远程服务器IP:~/
     注意事项：/etc/ssh/sshd_config修改配置，PasswordAuthentication验证为yes
【4】$cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
【5】ssh 远程服务器IP 验证是否成功。

JDK安装
对于.tar.gz格式的文件，linux对其进行安装、解压使用 tar -zxvf 命令
对于.bin格式的文件，linux对其进行安装、解压使用 ./ 命令
对于linux中的可执行文件，如果我们需要运行它，也是使用的 ./ 命令
配置环境变量/etc/profile
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31/
export JRE_HOME=/usr/java/jdk1.6.0_31/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
使配置生效 source /etc/profile

安装Hadoop
cp /home/hadoop/hadoop-1.0.0.tar.gz /usr
cd /usr #进入"/usr"目录
tar –zxvf hadoop-1.0.0.tar.gz #解压"hadoop-1.0.0.tar.gz"安装包
mv hadoop-1.0.0 hadoop #将"hadoop-1.0.0"文件夹重命名"hadoop"
chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户
rm –rf hadoop-1.0.0.tar.gz                 #删除"hadoop-1.0.0.tar.gz"安装包
mkdir /usr/hadoop/tmp
/***注意权限#chown -R hadoop:hadoop /usr/hadoop/tmp***/
vim /etc/profile
# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin
使配置生效 source /etc/profile

配置Hadoop
【1】配置hadoop-env.sh
vim /usr/hadoop/conf/hadoop-env.sh
# set java environment
export JAVA_HOME=/usr/java/jdk1.6.0_31
【2】配置core-site.xml文件
<configuration>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/hadoop/tmp</value>

        （备注：请先在 /usr/hadoop 目录下建立 tmp 文件夹）

        <description>A base for other temporary directories.</description>

    </property>

<!-- file system properties -->

    <property>

        <name>fs.default.name</name>

        <value>hdfs://192.168.1.2:9000</value>

    </property>

</configuration>
【3】配置hdfs-site.xml文件
<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

        (备注：replication 是数据副本数量，默认为3，salve少于3台就会报错)

    </property>

<configuration>
【4】配置mapred-site.xml文件
<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>http://192.168.1.2:9001</value>

    </property>

</configuration>
【5】配置masters文件
vim /usr/hadoop/conf/masters
去掉localhost换成ip地址
192.168.1.2
【6】配置slaves文件（Master主机特有）
vim /usr/hadoop/conf/slaves
去掉localhost
加入所有slave机器的IP
【7】现在在Master机器上的Hadoop配置就结束了，剩下的就是配置Slave机器上的Hadoop。
第一种：分别安装
第二种：传送文件。scp -r /usr/hadoop root@服务器IP:/usr/
修改权限。chown -R hadoop:hadoop（用户名：用户组） hadoop（文件夹）
在"Slave1 .Hadoop"上修改"/etc/profile"文件（配置 java 环境变量的文件）
# set hadoop environment
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH :$HADOOP_HOME/bin

/****命令无法执行********/
#echo $PATH
#export PATH=$PATH:
/usr/local/bin
:/usr/bin
:/bin
:/usr/local/sbin
:/usr/sbin
:/sbin
/***********************/

启动及验证
1）格式化HDFS文件系统
$hadoop namenode -format
2）启动hadoop
service iptables stop
$start-all.sh
3）验证hadoop
验证方法一：用"jps"命令
验证方式二：用"hadoop dfsadmin -report"