hadoop2.6.0搭建(简洁明了10分钟完全搞定)

hadoop2.6环境搭建


1,准备环境:虚拟机hadoop01，修改ip地址master (192.168.111.10)
slaves1(192.168.111.11)  slave2192.168.111.12) 
2,修改主机名字
sudo gedit /etc/hostname(三个主机都要该)




一、安装jdk(1.7)   注意:jdk版本必须要和系统的版对应(比如64位系统对应64位jdk)
1,将解压后的jdk1.7.0_07目录移动到/opt/java/目录下
命令:sudo tar zxvf ./jdk-7u79-linux-x64.tar.gz 


命令:sudo mv ./jdk1.7.0_79/ /opt/java/


修改文件夹的名字
命令:sudo mv jdk1.7.0_79/ jdk1.7/


2,配置环境变量
在终端输入如下:
命令:sudo gedit ~/.bashrc  或者(vi ~/.bashrc)


在该文件的末尾添加一下几行代码
export JAVA_HOME=/opt/java/jdk1.7
export CLASSPATH=${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH


为了让更改立即生效，在终端执行如下命令
source ~/.bashrc


查看是否安装成功
java -version


二、ssh免验证


1，修改主机名字
sudo gedit /etc/hostname(三个主机都要改)


2,修改映射文件hosts增加对应的主机(每一台主机都需要配置映射)
sudo gedit /etc/hosts


192.168.111.10 hadoop01
192.168.111.11 hadoop02
192.168.111.12 hadoop03


安装ssh(全部安装,有些虚拟机自带，没有就要安装)
sudo apt-get install openssh-server
(或者 yum install openssh-server)


启动ssh服务 service sshd start


如果发现 sshd 和 ssh-agent 即表明 ssh服务基本运行正常
ps -e | grep ssh


如果在hadoop01中无法输入cd ~/.ssh，提示没有此目录，可以输入ssh localhost
接着在hadoop01输入:ssh-keygen -t rsa 
生成秘钥




紧接着hadoop01中继续输入：cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys




确保hadoop01能无密码登录到A中。可以使用ssh localhost来验证(ssh localhost要免密码登陆需要给authorized_keys 600权限)


如何没有提示输入密码，则hadoop01验证成功，否则重新执行以上生成秘钥操作


还是在hadoop01中进行秘钥验证(验证很多方法，这里最简单粗暴)
scp -r ~/.ssh/* luffy@hadoop02:/home/luffy/.ssh
如果出现没有权限，必须修改其他节点中的.ssh的权限问题,改成755(再改回来)
然后进行登录验证
ssh hadoop02
成功过通过
其它节点同样的操作




ssh免验证完成




三、hadoop2.6安装


1,解压hadoop安装包 tar -xzvf hadoop-2.6.0.tar.gz 


2，move到指定的目录下
mv  hadoop-2.6.0 ~/opt/ 


进入hadoop-2.6.0
cd hadoop-2.6.0
可以查看当前目录下的文件
bin  etc      lib      LICENSE.txt  README.txt  share
dfs  include  libexec  NOTICE.txt   sbin        tmp


3,配置之前，现在本地文件系统创建一下文件夹
~/hadoop-2.6.0/tmp
~/dfs/data
~/dfs/name


主要涉及的配置文件有7个:都在hadoop-2.6.0/etc/hadoop文件目录下


~/hadoop-2.6.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.6.0/etc/hadoop/yarn-env.sh
~/hadoop-2.6.0/etc/hadoop/slaves
~/hadoop-2.6.0/etc/hadoop/core-site.xml
~/hadoop-2.6.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.6.0/etc/hadoop/mapred-site.xml(如果没有可以按照模板拷贝一个)
~/hadoop-2.6.0/etc/hadoop/yarn-site.xml


++++++++一下文件修改都是通过sudo gedit ***+++++++++++


3.1、配置hadoop-env.sh文件-->>修改JAVA_HOME
export JAVA_HOME=/opt/java/jdk1.7


3.2、配置yarn-env.sh文件-->>修改JAVA_HOME
export JAVA_HOME=/opt/java/jdk1.7

3.3、配置slaves文件-->>增加slave节点

hadoop01

hadoop02
hadoop03


3.4、配置core-site.xml文件-->>增加hadoop核心配置(hdfs文件端口号是9000
、file:/home/luffy/opt/hadoop-2.6-0/tmp、)


<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop01:9000</value>
 </property>
 <property>
  <name>io.file.buffer.size</name>
  <value>131072</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>file:/home/luffy/opt/hadoop-2.6.0/tmp</value>
  <description>Abasefor other temporary directories.</description>
 </property>
 <property>
  <name>hadoop.proxyuser.luffy.hosts</name>
  <value>*</value>
 </property>
<property>
  <name>hadoop.proxyuser.luffy.groups</name>
  <value>*</value>
 </property>
</configuration>


3.5、配置hdfs-site.xml文件-->>增加hdfs配置信息(namenode、datanode端口号和目录位置)


<configuration>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop01:9001</value>
 </property>


  <property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/home/luffy/opt/hadoop-2.6.0/dfs/name</value>
 </property>


 <property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/home/luffy/opt/hadoop-2.6.0/dfs/data</value>
  </property>


 <property>
  <name>dfs.replication</name>
  <value>3</value>
 </property>


 <property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
 </property>
</configuration>


3.6、配置mapred-site.xml文件-->>增加mapreduce配置(使用yarn框架、jobhistory使用地址以及web地址)
<configuration>
 <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop01:10020</value>
 </property>
 <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop01:19888</value>
 </property>
</configuration>


3.7、配置yarn-site.xml文件-->>增加yarn功能


<configuration>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
  </property>
  <property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
   <name>yarn.resourcemanager.address</name>
   <value>hadoop01:8032</value>
  </property>
  <property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>hadoop01:8030</value>
  </property>
  <property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>hadoop01:8035</value>
  </property>
  <property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>hadoop01:8033</value>
  </property>
  <property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>hadoop01:8088</value>
  </property>
</configuration>


4、将配置好的hadoop文件copy到另一台slave机器上(完成copy一定要检查环境变量的配置)
scp -r /opt/hadoop-2.6.0/ luffy@hadoop02:~/opt/


四、验证
1,格式化namenode:
在hadoop01中操作
进入 cd hadoop-2.6.0
命令:./bin/hdfs  namenode -format




5、启动hdfs
 命令:./sbin/start-dfs.sh 


 命令:jps


4947 NameNode
5438 Jps
5068 DataNode
5216 SecondaryNameNode


配置hadoop命令


vi ~/.bashrc


export JAVA_HOME=/home/chao/jdk1.7.0_79
export HADOOP_HOME=/home/chao/hadoop-2.6.0
export CLASSPATH=${JAVA_HOME}/lib
export PATH=.:$HADOOP_HOME/bin:${JAVA_HOME}/bin:$PATH


hadoop搭建完成