redHat6.4-x86_64下Hadoop 2.7.2 伪分布式安装

来源：互联网发布：手机报表软件编辑：程序博客网时间：2024/04/30 04:40

今天在虚拟机上搭建hadoop伪分布式环境，以做学习之用，特此记录。

环境：win7 64位、VMware 10.0.1、Red Hat Enterprise Linux 6.4 64bit、jdk1.8.0_73;

1、jdk安装步骤在这里有提到，这里不做赘述。

2、ssh 免密匙登录

2.1、检查是否可以免密匙登录

<span style="font-family:Courier New;font-size:14px;">[root@master sbin]# ssh localhostThe authenticity of host 'localhost (::1)' can't be established.ECDSA key fingerprint is 7b:10:e3:b5:ea:7d:29:be:77:83:1c:c0:1d:85:de:ba.Are you sure you want to continue connecting (yes/no)? yesWarning: Permanently added 'localhost' (ECDSA) to the list of known hosts.[root@localhost's password:Last login: Sat Apr  2 22:32:44 2016</span>

2.2、配置免密匙登录

2.2.1生成密钥

输入命令 ssh-keygen -t rsa 然后一路回车即可

2.2.2复制到公共密钥中

cp /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys

2.2.3再次登录，即可免密匙

[root@master ~]# ssh localhost
Last login: Thu Oct 20 15:47:22 2016 from 192.168.1.61

3 安装hadoop

3.1下载解压

从hadoop官网下载包，我选择的是hadoop-2.7.2.tar.gz。

将包放到soft目录下(若未创建，请先在根目录下创建soft目录)，进入soft目录，执行tar -zxvf hadoop-2.7.2.tar.gz解压。

3.2修改hadoop-env.sh 增加JAVA_HOME路径

export JAVA_HOME=/usr/java/jdk1.8.0_73

3.3编辑core-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>    <property>        <name>fs.defaultFS</name>        <value>hdfs://localhost:9000</value>    </property></configuration></span>

3.4辑hdfs-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>    <property>        <name>dfs.replication</name>        <value>1</value>    </property></configuration></span>

3.5格式化

进入hadoop路径下，输入bin/hdfs namenode -format

3.6开启mapreduce

进入hadoop路径下，输入sbin/start-dfs.sh

启动后访问http://192.168.1.249:50070/

如图

3.7停止mapreduce

进入hadoop路径下，输入sbin/stop-dfs.sh

3.8配置mapred-site.xml

进入hadoop路径下，执行mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

然后编辑mapred-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration></span>

3.9配置yarn-site.xml

<span style="font-family:Courier New;font-size:14px;"><configuration>    <property>        <name>yarn.nodemanager.aux-services</name>        <value>mapreduce_shuffle</value>    </property></configuration></span>

3.10启动yarn

进入hadoop路径下，输入sbin/start-yarn.sh
启动完毕后打开http://192.168.1.249:8088/

如图

至此Hadoop伪分布式安装完成

0 0