伪分布式文件系统设置（hdfs）

aiface用户配置(若配置权限不够，使用sudo配置，前提在visudo文件为用户加入sudo权限)1、安装jdka)下载jdk-8u65-linux-x64.tar.gz(二进制文件)b)创建文件夹$>mkdir ~/Downloads   放下载的文件$>sudo mkdir /soft    放安装好的文件c)修改文件夹访问组权限$>chown aiface:aiface /softd)把文件拷贝到$>cp /mnt/hgfs/jdk-8u65-linux-x64.tar.gz ~/Downloadse)tar开文件$>cd ~/Downloads$>tar -xzfv jdk-8u65-linux-x64.tar.gzf)移动tar开文件到/soft下$>mv ~/Downloads/jdk-1.8.0.65 /softg)创建符号连接$>cd /soft$>ln -s jdk-1.8.0.65 jdkh)验证jdk安装是否成功,出现版本信息则成功$>/soft/jdk/bin/java -version2、配置java环境变量a)sudo nano /etc/profileb)在文档最低下添加配置export JAVA_HOME=/soft/jdkexport PATH=$PATH:$JAVA_HOME/binc)更新变量source /etc/profiled)在非jdk/bin目录下测试，有出现版本信息则成功$>java -version3、安装hadoopa)下载hadoop-2.7.3.tar.gz(二进制文件)b)c)d)把文件拷贝到$>cp /mnt/hgfs/hadoop-2.7.3.tar.gz ~/Downloadse)tar开文件$>cd ~/Downloads$>tar -xzfv hadoop-2.7.3.tar.gzf)移动tar开文件到/soft下$>mv ~/Downloads/hadoop-2.7.3 /softg)创建符号连接$>cd /soft$>ln -s hadoop-2.7.3 hadooph)验证hadoop安装是否成功,出现版本信息则成功$>/soft/hadoop/bin/hadoop version4、配置hadoop环境变量a)sudo nano /etc/profileb)在文档最低下添加配置export HADOOP_HOME=/soft/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinc)更新变量source /etc/profiled)在非hadoop/bin目录下测试，有出现版本信息则成功$>hadoop version5、配置无秘SSHa)检查是否安装了ssh$>yum list installed | grep ssh出现下面信息则已经安装，否则通过yum安装这些libssh2.x86_64                             1.4.3-10.el7_2.1            @anacondaopenssh.x86_64                             7.4p1-11.el7                @anacondaopenssh-clients.x86_64                     7.4p1-11.el7                @anacondaopenssh-server.x86_64                      7.4p1-11.el7                @anacondayum安装$>sudo yum install openssh-clients$>sudo yum install openssh-serverb)检查是否启动sshd进程，测试是否可用$>ps -ef | grep sshd出现下面信息则启动了root       1068      1  0 15:18 ?        00:00:00 /usr/sbin/sshd -D$>ssh localhostpassword:-------c)在client生成公私密匙对（第一次使用ssh远程登陆时会自动在~/.ssh生成相对应的隐藏文件夹）$>cd ~/.ssh$>ssh-keygen -t rsa -P '' -f ~/.ssh生成公私密钥对：id_rsa（私钥）id_rsa.pub(公钥)d)在~/.ssh文件夹复制公钥文件内容追加到到本目录下的authorized_keys文件中$>cat id_rsa.pub >> authorized_keyse)centos需要修改authorized_keys访问权限$>chmod 664 authorized_keysf)通过ssh localhost测试是否设置成功，第一次需要密码，第二次就无需设置密码6、配置伪分布模式a)cd $HADOOP_HOME/etc/hadoopb)编辑core-site.xml$>sudo nano core-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>c)编辑hdfs-site.xml$>sudo nano hdfs-site.xml<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property></configuration>d)编辑mapred-site.xml$>sudo nano mapred-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>e)编辑yarn-site.xml$>sudo nano yarn-site.xml<?xml version="1.0"?><configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>f)配置hadoopenv.sh文件（不配置在下面格式化的时候会出现找不到JAVA_HOME）$>nano /soft/hadoop/etc/hadoop/hadoop-env.sh在文档尾部添加java jdk文件目录export JAVA_HOME=/soft/jdkg)配置profile文件$>nano /etc/profile在文档尾部添加export HADOOP_INSTALL=$HADOOP_HOMEexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeh)使用namenode -format格式化(Exittion with status 0是成功，Exittion with status 1是失败)切换成root账号$>hdfs namenode -formati)接着开启NameNode和DataNode守护进程$>start-dfs.sh$>start-all.sh若出现SSH提示“Are you sure you want to continue connecting",输入yesj)通过jps判断是否成功启动$>jps出现NameNode,DataNode,SecondaryNameNode则启动成功k)在客户机和服务器上通过web界面打开http://localhost:50070查看NameNode和Datanode信息，还可以在线查看HDFS中的文件