linux 安装hadoop 笔记（二）伪分布模式（非YARN）

我的hadoop安装在 /home/hadoopor/hadoop  用户名为hadoopor  JAVA_HOME=/usr/local/jdk1.8.0_45
伪分布步骤：
1、
cd /home/hadoopor/hadoop
编辑 core-site.xml文件
vi etc/hadoop/core-site.xml
加入如下内容
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
</property>
2、
编辑hdfs-site.xml
vi etc/hadoop/hdfs-site.xml
加入如下内容
<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
3、
编辑hadoop-env.sh文件，找到 JAVA_HOME那行 换成实际路径
vim etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_45
4、
hadoop/bin/hdfs namenode -format
sbin/start-dfs.sh
jps
//hadoop伪分布的datanode 和namenode默认存在 /tmp/hadoop-hadoopor/dfs 下。hdfs namenode -format 经常执行会导致start-dfs.sh时datanode没启动
//解决办法是将/tmp/hadoop-hadoopor/dfs/data/current/VERSION 文件里的clusterID换成跟/tmp/hadoop-hadoopor/dfs/name/current/VERSION 文件里的clusterID一致
5、
打开网址查看一下
http://localhost:50070/   (http://192.168.0.231:50070/ 这是我自己的服务器地址)
6、
创建 input 和output目录  创建前先删除一下 output已经存在的话，执行任务时好像会报错
bin/hdfs dfs -rmr /input
bin/hdfs dfs -rmr /output
bin/hdfs dfs -mkdir /input
bin/hdfs dfs -put /home/hadoopor/hadoop/input/* /input      （/home/hadoopor/hadoop/input/* 是我自己存放测试数据文件地址，用put命令加到hdfs中）
bin/hadoop fs -ls /input  （查看加到input的文件）
7、
执行示例
bin/hadoop jar /home/hadoopor/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output
bin/hdfs dfs -cat /output/*   （查看结果）
8、
执行自定义业务
//bin/hadoop jar /home/hadoopor/hadoop/myjar/hadoopTest-1.0-SNAPSHOT.jar com.zkd.hadoop.test.Test5 hdfs://localhost:9000/input/t1.txt
9、
关闭服务
sbin/stop-dfs.sh