在centos7配置jdk+hadoop环境

本次实验是在centos7上配置运行于vmware

1、安装jdk

（1）创建文件夹：# mkdir /usr/java（创建jdk的存放位置）

（2）解压 tar -zxvf jdk的文件名 -C /usr/java/

（3）将java添加到环境变量中

vim /etc/profile#在文件最后添加export JAVA_HOME=/usr/java/jdk1.7(安装文件的路径)export PATH=$PATH:$JAVA_HOME/bin

（4）#刷新配置(该步必须进行，不然配置文件将不起作用)

source /etc/profile

（5）判断jdk是否安装成功echo $JAVA_HOME

2、配置Hadoop

（1）修改主机名以及ip地址(实验机器的ip地址为固定未修改)
第一种方式通过Linux图形界面进行修改：
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择IPv4 -> method选择为manual -> 点击add按钮 -> 添加IP：192.168.8.118 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply
第二种：修改配置文件方式

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"BOOTPROTO="static"               ###HWADDR="00:0C:29:3C:BF:E7"IPV6INIT="yes"NM_CONTROLLED="yes"ONBOOT="yes"TYPE="Ethernet"UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"IPADDR="192.168.8.118"           ###NETMASK="255.255.255.0"          ###GATEWAY="192.168.8.1"    

（2）修改主机名与IP的映射关系

vim /etc/hosts

添加：192.168.8.118 itcast01

（3）重启centos reboot
（4）重启后解压hadoop包
首先在根目录创建一个目录itcast

mkdir /itcast

解压：

tar -zxvf hadoop-1.1.2.tar.gz -C /itcast/

（5）配置hadoop的配置文件
第一个：hadoop-env.sh

vim hadoop-env.sh#第27行export JAVA_HOME=/usr/java/jdk1.7.0_65(jdk的安装位置)

第二个：core-site.xml

<property>   <name>fs.defaultFS</name>   <value>hdfs://itcast01:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录 --><property>   <name>hadoop.tmp.dir</name>   <value>/itcast/hadoop-2.4.1/tmp</value></property>

第三个：hdfs-site.xml

<property>   <name>dfs.replication</name>   <value>1</value></property>

第四个：mapred-site.xml

先将文件改名：mv mapred-site.xml.template mapred-site.xml

打开后修改：

<property>   <name>mapreduce.framework.name</name>   <value>yarn</value></property>

第五个：yarn-site.xml

<property>   <name>yarn.resourcemanager.hostname</name>   <value>itcast01</value></property><!-- reducer获取数据的方式 --><property>   <name>yarn.nodemanager.aux-services</name>   <value>mapreduce_shuffle</value></property>

（6）将hadoop添加到环境变量
打开文件vim /etc/proflie(i 启用编辑)
添加以下内容：

export JAVA_HOME=/usr/java/jdk1.7.0_65export HADOOP_HOME=/itcast/hadoop-2.4.1export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使用ESC退出编辑 并使用：x保存文件

更新环境：

source /etc/profile

（7）格式化namenode

hdfs namenode -format

旧版本可以使用hadoop namenode -format

（8）启动hadoop

#先启动HDFSsbin/start-dfs.sh#再启动YARNsbin/start-yarn.sh

（9）验证是否启动成功
可以使用jps命令验证

同时可以使用浏览器打开
http://192.168.8.118:50070 （HDFS管理界面）
http://192.168.8.118:8088 （MR管理界面）
（10）配置ssh免登陆
生成ssh免登陆密钥

#进入到我的home目录cd ~/.ssh

ssh-keygen -t rsa （需要四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上

ssh-copy-id localhost