Hadoop2.7.1——NFS部署

Hadoop2.7.1——NFS部署

第一步：关闭本机的NFS与RPCBIND服务（centos6），若是CentOS5（关闭NFS与portmap服务）

命令：(centos 6)

Ø  service nfs stop

Ø  service rpcbind stop

命令：(centos 5)

Ø  service nfs stop

Ø  service portmap stop

第二步：修改core-site.xml与hdfs-site.xml

在core-site.xml添加

<property>

       <name>hadoop.proxyuser.root.groups</name>

       <value>*</value>

       <description>允许所有用户组用户代理</description>

  </property>

  <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>localhost</value>

      <description>允许挂载的主机域名</description>

  </property>

说明：name标签中的root是用户名称，这是表示可以超级用户访问。*表示所有的用户组，有时还需要创建超级用户组，否则会用警告提示。

命令：groupadd supergroup

在hdfs-site.xml中增加如下操作

<property>

                   <name>nfs.dump.dir</name>

                   <value>/tmp/.hdfs-nfs</value>

         </property>

        

         <property>

                   <name>nfs.rtmax</name>

                   <value>1048576</value>

                   <description>Thisis the maximum size in bytes of a READ request supported by the NFS gateway. Ifyou change this, make sure you also update the nfs mount's rsize(add rsize= #of bytes to the mount directive).</description>

         </property>

        

         <property>

                   <name>nfs.wtmax</name>

                   <value>65536</value>

                   <description>Thisis the maximum size in bytes of a WRITE request supported by the NFS gateway.If you change this, make sure you also update the nfs mount's wsize(add wsize=# of bytes to the mount directive).</description>

         </property>

        

         <property>

                   <name>nfs.exports.allowed.hosts</name>

                   <value>*rw</value>

                   <description>允许所有主机对文件有rw权限</description>

         </property>

第三步：启动相关操作

前提：在配置了环境变量下，（没有配置环境变量，进入Hadoop主目录/bin下启动），Hadoop可以已格式化后正常启动。

若在启动时想看到相关的启动详细信息，在hadoop主目录/etc/Hadoop/log4j.property中添加如下信息：

log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG

log4j.logger.org.apache.hadoop.oncrpc=DEBUG

 

启动顺序如下：

Ø  启动Hadoop：start-all.sh

Ø  启动portmap:     hdfs portmap &

Ø  启动nfs3:         hdfs nfs3 &

第四步：查看相关信息和加载目录

Ø  查看是否启动成功 ： showmount  -e  ip或localhost

显示以上信息说明启动成功了。

Ø  rpcinfo -p ip或localhost

Ø  加载命令：mkdir -p/mnt/hdfs

mount -t nfs -o vers=3,proto=tcp,nolocklocalhost:/ /mnt/hdfs

将hadoop根目录加载到/mnt/hdfs中

第五步：测试

1、往hdfs上复制文件：

[root@ hanyan ~] # time cp jdk.tar.gz /mnt/hdfs/

 从上面的测试来看，在目前这个环境中：上传速度约为：20m/s

 

 2、从hdfs上复制文件到本地目录：

[root@ hanyan ~] # time cp /mnt/hdfs/test.txt /home/hanyan

从上面的测试来看，在目前这个环境中：下载速度约为：30m/s，当下载的文件在hdfs的缓存中时，下载速度非常快。