首秀Hadoop伪分布式集群搭建流程

伪分布式的集群指的是单主机的环境,之所以这样搭建就是为了了解Hadoop组成.
Hadoop实现了一个分布式文件系统,简称HDFS.
HDFS高容错性:高可用
Hadoop组成:MapReduce ,HDFS,YARN

---

配置主机环境:必须配置了JDK,假设我的主机名:hadoop-alone

1、修改主机名称
vim /etc/hosts
vim/etc/hostname
reboot
2、SSH免登陆连接
rm -r ~/.ssh //删除已有的ssh配置
ssh-keygen -t rsa //生成新的ssh-key
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //本机公钥注册
ssh root@hadoop-alone //测试ssh连接,连接一次就不用在连接啦

3,安装Hadoop
wget http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz //网上下载
tar xzvf /srv/ftp/hadoop-2.8.0.tar.gz -C /usr/local/ //ftp上传,解压缩
mv /usr/local/hadoop-2.8.0/ /usr/local/hadoop //修改解压后的文件名

配置路径
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin
source /etc/profile //配置生效

Hadoop手工配置一下JDK
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk

测试,进行单词统计
mkdir -p /usr/test/hadoop/input //设置一个文本保存目录
cp /usr/local/hadoop/README.txt /usr/test/hadoop/input/ //把一个文本放入
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.8.0-sources.jar org.apache.hadoop.examples.WordCount /usr/test/hadoop/input /usr/test/hadoop/output //统计操作
cat /usr/test/hadoop/output/part-r-00000 //查看输出目录

4.搭建Hadoop伪分布式集群
在实际的开发中,肯定不能像之前一样进行一个简单程序执行就运行,那么实际的运行只用需要自己去搭建Hadoop环境,同时自己进行程序的开发.本次采用伪分布式环境搭配,也就是说所有的分析进程和储存进程都要求在同一主机上运行.
mkdir -p /usr/data/hadoop/tmp //建立一个保存临时目录的路径
vim /usr/local/hadoop/etc/hadoop/core-site.xml //编辑core-site.xml文件

HDFS分布式储存的配置,网路环境不能变
mkdir -p /usr/data/hadoop/dfs/name//namenode进程的保存路径
mkdir -p /usr/data/hadoop/dfs/data//datanode进程的保存路径
vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml//编辑配置文件

修改,yarn-site.xml ,yarn分析结构使用的
vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

由于是单主机伪分布式开发,还需要修改一下从节点配置文件
vim /usr/local/hadoop/etc/hadoop/slaves
格式化name data两个目录
hdfs namenode -format
启动Hadoop进程
start-all.sh
修改windows主机的hosts配置文件
C:\Windows\System32\drivers\etc\hosts
ip hadoop-alone
http://hadoop-alone:50070/