Linux上的伪分布式hadoop安装

在Linux上安装hadoop

1)配置安装并配置JDK    JDK下载路径  根据Linux系统的版本选择64位或32位下载，官方现提供rpm和tar.gz两种版本下载。

上传至linux 服务器并解压  

tar -zxvf jdk-8u144-linux-x64.tar.gz

将解压好的JDK文件夹移动至 /usr/local/ 目录下

mv jdk1.8.0_144/  /user/local/

进入jdk目录中 使用命令 pwd 得到当前路径  

复制路径，使用 vi 编辑器编辑 /etc/profie（需要切换成root用户 或有操作权限的用户）在末尾添加以下代码

JAVA_HOME=/usr/local/jdk1.8.0_144 

PATH=$JAVA_HOME/bin:$PATH

保存退出 然后使该文件立即生效（source /etcprofile）  

使用 java -version 查看是否安装成功，出现如下信息表示JDK安装成功

2)修改IP

1.通过 ifconfig 命令查看Linux服务器ip地址

2.vi /etc/sysconfig/network-scripts/ifcfg-ens33 编辑这个文件

(设置静态ip,之后重启Linux 保证ip不变,在不变的网络环境下)，在文件末尾加上

IPADDR="192.168.1.166"(这里的值为IP地址)
NETMASK="255.255.255.0"
GATEWAY="192.168.1.1"        

3)修改主机名和IP的映射关系

使用 vi /etc/hosts   在文件末尾加上
192.168.1.166  hadoop   (前面为IP地址,后面为自定义主机名,可以通过主机名连接Linux)

使用 vi /etc/hostname 将文件中的localhost更改为 hadoop(自定义主机名,与hosts文件中的主机名一致)

保存重启Linux生效(曾因未重启导致耗费大量时间)

3)   安装hadoop     

官方Hadoop下载       百度云下载(密码:z3qq)

下载后解压到 /user/local/ 目录下 : tar -zxvf hadoop-2.4.1.tar.gz -C /usr/local/

解压完成后进入 hadoop 的etc配置目录中 /usr/local/hadoop-2.4.1/etc/hadoop 

4)  配置hadoop

1.hadoop-env.sh

更改 第27行默认的JAVA_HOME,修改为java安装的真实路径,我采用注释重新添加的方式

2.core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --><property><name>fs.defaultFS</name><value>hdfs://hadoop:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop-2.4.1/tmp</value>                </property>

3.hdfs-site.xml  

<!-- 指定HDFS副本的数量 --><property><name>dfs.replication</name><value>1</value>                </property>

4.mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

<!-- 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value>                </property>

5.yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 --><property><name>yarn.resourcemanager.hostname</name><value>hadoop</value>                </property><!-- reducer获取数据的方式 -->                <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>                </property>

5.设置hadoop环境变量.  在/etc/profile 文件中加入

保存后 source /etc/profile

6.为hadoop集群运维账户配置ssh免密码登录

ssh-keygen -t rsa

ssh-copy-id-i ~/.ssh/id_rsa.hadoop@hadoop

7.格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)

4）启动hadoop

1.使用 start-dfs.sh 若command not found 则hadoop环境变量未配置成功

2.使用jps命令查看java进程，若如下所示，则hadoop伪分布式集群配置成功