Hadoop伪分布式环境搭建

来源：互联网发布：政治考试软件编辑：程序博客网时间：2024/04/29 11:03

Hadoop伪分布式环境搭建

一.环境准备

虚拟机VM，Linux系统iso文件，JDK，Hadoop文件。

二.正式搭建流程

步骤一：Linux环境准备

1.linux系统安装（虚拟机内），该处使用CentOS进行测试
2.网络配置：
①点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok
②回到windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.1.100 子网掩码：255.255.255.0 -> 点击确定
③在虚拟软件上 –My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
3.修改IP地址：
界面修改：点击屏幕上方双电脑图标，右键选择Edit，选择IPV4Setting, method选择手动，添加IP：192.168.1.101 子网掩码：255.255.255.0 网关：192.168.1.1。apply即可生效
terminal配置：vim /etc/sysconfig/network-scripts/ifcfg-eth0进入配置文件。修改相关的OOTPROTO=static 以及IP地址，网关等。
4.修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=主机名 ###
4.修改主机名与IP地址的映射
vim /etc/hosts 进入配置文件，添加ip 主机名
5.关闭防火墙
可以先查看防火墙当前的状态：service iptables status
关闭防火墙：service iptables stop
查看防火墙开机启动状态：chkconfig iptables –list
关闭防火墙开机启动：chkconfig iptables off
6.重启机器即可生效 reboot

步骤二：java环境装备

1.上传JDK，并解压到相应文件夹
此处解压到/home/hadoop/app目录下
tar -zxvf jdk-xx.tar.gz -C /home/hadoop/app
2.将JAVA配置到环境变量中
vim /etc/profile 添加
export JAVA_HOME=/home/hadoop/jdk-xxx
export PATH=$PATH：$JAVA_HOME/bin
刷新配置 source /etc/profile

步骤三：hadoop环境配置

1.上传hadoop安装包到/home/hadoop/目录下，并解压
2.修改配置文件
hadoop-env.sh – expport JAVA_HOME=/home/hadoop/jdk-xxx
core-site.xml :
<property> <name>fs.defaultFS</name> <value>hdfs://主机名:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.4.1/tmp</value> </property>
hdfs-site.xml:
 <property> <name>dfs.replication</name> <value>1</value> </property>
mapred-site.xml:
 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
yarn-site.xml:
<property> <name>yarn.resourcemanager.hostname</name> <value>weekend-1206-01</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
3.将hadoop添加到环境变量中
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/hadoop/hadoop-2.4.1
export PATH=、$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
4格式化namenode
hdfs namenode -format
5.启动hadoop
先启动hdfs :start-dfs.sh
再启动yarn:start-yarn.sh
6.使用JPS命令查看是否启动成功

附加：使用ssh免密码登录

生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、 id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost

0 0