hadoop2.7.3伪分布式安装

准备：一台安装好的linux虚拟机，JDK安装包，hadoop2.7.3安装包

1、安装SSH、配置SSH无密码登陆

安装 SSH server

sudo apt-get install openssh-server

使用如下命令登陆本机

ssh localhost

退出刚才的 ssh localhost

exit                          

使用如下命令进入目录

 cd ~/.ssh/     

生成ssh密钥               

ssh-keygen -t rsa            

 加入授权

cat ./id_rsa.pub >> ./authorized_keys  

2、安装Java环境

将java jdk解压到/usr/java中

sudo  tar  -zxf  ~/jdk-8u121-linux-i586.tar.gz  -C  /usr/java

修改配置文件/etc/profile

使配置生效

source  /etc/profile

检验一下是否设置正确

java -version

3、安装hadoop

将hadoop解压到/usr/local中

sudo tar -zxf ~/hadoop-2.7.3.tar.gz -C /usr/local

将文件夹名改为hadoop

 cd /usr/local/

 sudo mv ./hadoop-2.6.0/ ./hadoop

修改文件权限

sudo chown -R hadoop ./hadoop 

检查 Hadoop 是否可用

cd /usr/local/hadoop

./bin/hadoop version

4、修改HDFS配置文件

配置hadoop-env.sh

使用source hadoop-env.sh使其生效

配置yarn-env.sh

使用source  yarn-env.sh 使其生效

修改配置文件 core-site.xml

修改配置文件 hdfs-site.xml

配置mapred-site.xml

配置yarn-site.xml

配置slaves文件

4、启动HDFS

配置完成后，执行 NameNode 的格式化

./bin/hdfs namenode -format

接着开启 NameNode 和 DataNode 守护进程。

./sbin/start-dfs.sh

成功启动后，可以访问 Web 界面 http://localhost:50070 查看 NameNode和 Datanode信息，还可以在线查看 HDFS中的文件。

4、修改YARN配置文件

修改配置文件 mapred-site.xml

重命名

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

修改配置文件 yarn-site.xml

4、启动 YARN

./sbin/start-yarn.sh

开启历史服务器，才能在Web中查看任务运行情况

./sbin/mr-jobhistory-daemon.sh start historyserver

通过 Web 界面http://localhost:8088查看任务的运行情况

参考文章：http://www.powerxing.com/install-hadoop/