hadoop环境配置

来源：互联网发布：日本历史书籍推荐知乎编辑：程序博客网时间：2024/06/06 19:28

1.增加用户与用户组
   groupadd hadoop //添加一个组

　　useradd hadoop -g hadoop //添加用户

2.设置用户密码
   如果是超级用户，可以用下列形式指定任何用户的口令：
   # passwd sam
   New password:*******
   Re-enter new password:*******


3.实现SSH的无密码连接
   a、 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa //生成密钥(这里密码为空）文件如：id_dsa id_dsa.pub

   b、 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys    //加入受信列表

   c、 chmod 755 ~/.ssh/authorized_keys

   d、 ssh localhost 或者 ssh matraxa　　　　//第一次需输入"yes"，成功就能无密码访问这个是进行的本地测试

   e、把localhost上的id_dsa.pub 文件追加到数据节点的authorized_keys 内：
       $ scp id_dsa.pub hadoop@192.168.0.16:/home/hadoop
       登录数据节点(192.168.0.16)，进入/home/hadooop目录执行：$ cat id_dsa.pub >> .ssh/authorized_keys //可以在localhost上不输入密码直接访问数据节点了

4.设置配置文件
   修改hadoop目录下的conf/hadoop-env.sh文件

　　加入java的安装路径export JAVA_HOME=/opt/java/jdk

　　把hadoop目录下的conf/core-site.xml文件修改成如下：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>

       <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/hadoop-2.5.2/dhfs/tmp</value>
       </property>
   </configuration>

   把hadoop目录下的conf/ hdfs-site.xml文件修改成如下：

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
   </configuration>

   把hadoop目录下的conf/ slaves文件修改成如下：
   hadoop16 //加入数据节点的服务器

0 0