Hadoop2.6.4伪分布式安装

单机模式

1、配置HADOOP_HOME

修改文件/etc/profile

exportHADOOP_HOME=/opt/software/hadoop-2.6.4source/etc/profile

2、运行MapReduce程序

--参考官方文档

$ cd /opt/software/hadoop-2.6.4$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep input output 'dfs[a-z.]+'$ cat output/*

--统计以dfs开头的单词个数

伪分布式

1、创建hadoop用户

--用root用户操作

useradd-d /home/hadoop -m hadooppasswd hadoopadduser hadoop sudo

2、安装SSH、配置SSH无密码登陆

apt-get install openssh-server

3、测试ssh连接到localhost

ssh localhost

--如果没有配置过，会显示拒绝连接

4、配置ssh面登陆

--以hadoop用户操作

--生成密钥

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
--复制为私钥

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

--该文件权限644

--如果还是拒绝连接，查看ssh服务是否启动，用root用户启动

/etc/init.d/ssh start

--此外检查一下防火墙

5、配置hadoop配置文件

--配置etc/hadoop/hadoop-env.sh:

修改JAVA_HOME路径

可以修改日志路径

--配置etc/hadoop/core-site.xml:

<configuration>    <!-- 指定NameNode主机名与端口号 -->    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property>    <property>        <name>hadoop.tmp.dir</name>        <value>/home/hadoop/hdfs</value>    </property></configuration>

--配置etc/hadoop/hdfs-site.xml:

<configuration>    <!--复制份数 -->    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <!-- 是否进行权限检查 -->     <property>        <name>dfs.permissions</name>        <value>false</value>    </property></configuration>

--配置etc/hadoop/mapred-site.xml:

<configuration>    <!--指定JobTracker主机与端口号-->    <property>        <name>mapred.job.tracker</name>        <value>localhost:9001</value>    </property></configuration>

6、启动hadoop

--格式化hadoop

$ bin/hdfs namenode -format

--启动dfs

$ sbin/start-dfs.sh

--首先启动NameNode，在启动DataNode，在启动SecondaryNameNode

$HADOOP_LOG_DIR directory(defaults to $HADOOP_HOME/logs)

http://localhost:50070/

7、测试hadoop

--在hadoop中创建目录$ bin/hdfs dfs -mkdir /test$ bin/hdfs dfs -mkdir /test/input--上传文件$ bin/hdfs dfs -put etc/hadoop/* /test/input$ bin/hdfs dfs -ls /test/input--运行一个MapReduce$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar grep /test/input /test/output 'dfs[a-z.]+'--查看结果$ bin/hdfs dfs -cat /test/output/*$ bin/hdfs dfs -get /test/output/* output

8、YARN配置

--配置etc/hadoop/mapred-site.xml:

<configuration>    <property><name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

--配置etc/hadoop/yarn-site.xml:

<configuration>    <property><name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration>

--启动YARN

$ sbin/start-yarn.sh

首先启动ResourceManager，在启动NodeManager

--查看结果

http://localhost:8088/