4、配置hadoop2.6.0
来源:互联网 发布:java循环阶乘 编辑:程序博客网 时间:2024/05/22 16:59
前面将ip和ssh配置好了,下面配置hadoop的配置文件:
在/etc并没有发现mapred.site.xml这个文件,只有个模板文件,那就自己创建个
推荐看官网的配置步骤,现在网上配置2.6.0比较混乱
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html
1、配置 etc/hadoop/hadoop-env.sh 配置jdk
2.6.0默认的都是64位系统的,如果用32位的机器会出现警告,但不影响
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_71
2、配置etc/hadoop/core-site.xml 配置namenode,nameode是记录各节点信息的几点,相当master
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.159.131:9000</value>
</property>
</configuration>
3、创建mapred.site.xml直接vi mapred.site.xml就可以创建 配置jobtracker各任务节点
复制模板上的内容,并修改,namenode也可作为tracker节点
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>192.168.159.131:9001</value>
</property>
</configuration>
4、修改hdfs-site.xml 分布式文件系统,datanode节点
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
5、masters 2.6.0里面也没有masters有slaves
配置masters:
vi masters
skx1
6、配置slaves
skx2
skx3
7、将配置好的hadopop目录拷贝到skx2和skx3中,
3台jdk的路径相同
scp -r ./hadoop-2.6.0 skx2:/home/hadoop
scp -r ./hadoop-2.6.0 skx3:/home/hadoop
8、格式化 namenode 131节点上
bin/hadoop namenode -format
9、启动
sbin/start-all.sh
发现出现以下异常:using builtin-java classes where applicable
网上查了原因说,hadoop使用32位编译的,而我的电脑是64位的,是不是有点坑爹,赶明下载源码重新编译;
网上下载64位的hadoop,重新执行以上操作,能够启动
$ sbin/stop-all.sh
- 4、配置hadoop2.6.0
- hadoop2.6.0配置模板
- hadoop2.6.0+eclipse配置
- Hadoop2.6.0集群配置
- hadoop2.6.0 集群配置
- Hadoop2.6.0配置过程
- Hadoop2.6.0+eclipse安装配置
- hadoop2.6.0集群环境配置
- hadoop2.6.0集群环境配置
- ubuntu上配置Hadoop2.6.0
- unbuntu14.04配置hadoop2.6.0的过程
- Hadoop2.6.0分布式集群环境配置
- hadoop2.6.0的maven的pom配置
- Hadoop2.6.0在Win7下的配置
- 一、Hadoop2.6.0 单机模式配置
- Hadoop2.6.0完全集群安装配置
- Hadoop2.6.0配置参数查看小工具
- Spark1.6.0-Hadoop2.6配置过程
- 神经网络BP的简单实现
- myEclipse8.5破解方法
- Build OpenCV from source with CUDA support
- 【Java.Spring.DataAccess】ORM Data Access - JPA
- 设计模式之工厂方法模式
- 4、配置hadoop2.6.0
- MAC OSX10.9 下编译使用OGRE1.9及CEGUI 0.8.3(一)OGRE依赖库的编译
- redis 安装配置与研究
- 杭电OJ(HDOJ)1063题:Exponentiation(大数操作——幂运算)
- shell指令
- checking if Berkeley DB version supported by BDB/HDB backends... yes **checking for Berkeley DB link
- 编译CEGUI时field has incomplete type Ogre::TexturePtr错误
- Python中的引号
- redhat linux如何打开终端命令窗口