4、配置hadoop2.6.0

来源:互联网 发布:java循环阶乘 编辑:程序博客网 时间:2024/05/22 16:59

前面将ip和ssh配置好了,下面配置hadoop的配置文件:


在/etc并没有发现mapred.site.xml这个文件,只有个模板文件,那就自己创建个

推荐看官网的配置步骤,现在网上配置2.6.0比较混乱

http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html

1、配置 etc/hadoop/hadoop-env.sh   配置jdk

    2.6.0默认的都是64位系统的,如果用32位的机器会出现警告,但不影响


# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71

2、配置etc/hadoop/core-site.xml      配置namenode,nameode是记录各节点信息的几点,相当master

<configuration>
  <property>     
                <name>fs.default.name</name>     
                <value>hdfs://192.168.159.131:9000</value>     
        </property>  
</configuration>

3、创建mapred.site.xml直接vi mapred.site.xml就可以创建   配置jobtracker各任务节点

   复制模板上的内容,并修改,namenode也可作为tracker节点

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.159.131:9001</value>
</property>
</configuration>

4、修改hdfs-site.xml  分布式文件系统,datanode节点

<configuration>
<property>  
                <name>dfs.replication</name>  
                <value>2</value>  
        </property>
</configuration>

5、masters 2.6.0里面也没有masters有slaves

配置masters:

vi masters

skx1


6、配置slaves

skx2

skx3


7、将配置好的hadopop目录拷贝到skx2和skx3中,

     3台jdk的路径相同

     scp -r ./hadoop-2.6.0 skx2:/home/hadoop
    scp -r ./hadoop-2.6.0 skx3:/home/hadoop


8、格式化 namenode   131节点上

 bin/hadoop namenode -format


9、启动

sbin/start-all.sh 

发现出现以下异常:using builtin-java classes where applicable

网上查了原因说,hadoop使用32位编译的,而我的电脑是64位的,是不是有点坑爹,赶明下载源码重新编译;


网上下载64位的hadoop,重新执行以上操作,能够启动

$ sbin/stop-all.sh 

0 0
原创粉丝点击