安装hadoop

pwd 当前目录
cd-----进入根目录
cd TEST  进入当前
cd /usr
cd ..










一、首先安装jdk


 1、解压
 tar -xzvf jdk-8u131-linux-x64.tar.gz
 2、配置环境变量
 vi /etc/profile
  
 export JAVA_HOME=/usr/localhost/jdk1.8.0_131（jdk解压出来的位置）


 export PATH=$JAVA_HOME/bin:$PATH


 推出按Esc   :   wq保存加退出    q!强制退出


 3、 source /etc/profile


 java   javac




hadoop官方网站


配置
http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html


二、安装hadoop


  1、unzip hadoop-2.7.3.zip \ tar -xzvf hadoop-2.7.3.tar.gz
  
  2、vi hadoop-2.7.3/etc/hadoop/hadoop-env.sh


     export JAVA_HOME=/usr/localhost/jdk1.8.0_131


  3、SSH 免密码登录
     ssh localhost
     ssh-keygen -t rsa 
     ssh-copy-id localhost


  4、配置etc/hadoop/core-site.xml


<configuration>
    <property>
<name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>




  5、配置etc/hadoop/hdfs-site.xml


<configuration>
    <property>
<name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>


6、格式化namenode
  bin/hdfs namenode -format
ps：在hadoop根目录下操作


7、启动文件系统-----Hadoop根目录下操作
  cd sbin/
  sh start-dfs.sh


8、配置Mapreduce及Yarn


vi etc/hadoop/mapred-site.xml


<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>


vi etc/hadoop/yarn-site.xml


<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>


9、启动Yarn-----Hadoop根目录下操作
  cd sbin/
  sh start-yarn.sh


10、使用hadoop实例进行单词计数统计


bin/hdfs dfs -help   文件系统命令


（1）在/usr/localhost/hadoop-2.7.3/下
mkdir data  
cd data
touch word
vi word   （写些单词）  保存退出（wq）
（2）将文件上传到文件系统
bin/hdfs dfs -put /usr/localhost/hadoop-2.7.3/data/ /data
（3）对文件进行计算
bin/hadoop jar /usr/localhost/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /data/data/word /out123