ubuntu-14.04.1+hadoop2.4完全分布式搭建要点
来源:互联网 发布:腾讯云 centos pptp 编辑:程序博客网 时间:2024/06/04 19:13
最近帮公司搭建hadoop集群,现在总结一下相关要点:
1、没有搭建过hadoop的,建议先搭建一个伪集群体验一下
2、建议最少集群机器配置:5台。 1台NameNode 1台 ResourceManager 3台DataNode
3、完全分布集群搭建的重点、难点就是无密SSH登录,很多人会卡在这里。
重点:
<1> 各个服务器创建同一个账号,同一个用户组
<2> ssh-keygen -t rsa生成无密密钥文件
<3> cat id_rsa.pub >> ./authorized_keys把公钥追加到authorized_keys,注意重点使用>>,这样可以把公钥追加进去,而不是覆盖。网上很多教程,都是用scp命令从master向所有slave
传输authorized_keys,但是你会发现resourcemanager主机并不能ssh无密访问datanode。解决方案就是在resourcemanager主机再做一次cat id_rsa.pub >> ./authorized_keys,然后把authorized_keys scp到所有datanode。
4、一般经过以上配置后,namenode和resourcemanager都很容易就启动起来,但很多人会碰到datanode不能启动。一般原因就是datanode id跟集群ID不一致。处理方案就是删除version文件夹,重新格式化dfs。
5、hadoop集群终于启动起来,在namenode主机使用eclipse能正常上传文件和跑mapreduce程序。但是,win7主机上,使用eclipse开发hadoop程序,发现跑起来报错:
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
设置了系统变量 HADOOP_HOME发现不行,最后只能这样:System.setProperty("hadoop.home.dir", "D:/hadoop-2.4.0");
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
缺少winutils.exe,找到后放到$hadoop_home/bin里面。(文章提供附件下载)
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
缺少hadoop.dll,找到后放到$hadoop_home/bin和system32里面。(文章提供附件下载)
以上问题都解决了,就可愉快地开发hadoop了。
- ubuntu-14.04.1+hadoop2.4完全分布式搭建要点
- Hadoop2.5.2完全分布式搭建
- hadoop2.4.1完全分布式搭建
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1)
- [大数据]-hadoop2.8和spark2.1完全分布式搭建
- ubuntu 16.04搭建hadoop2.7.2(Vmware 12.0搭建完全分布式三台虚拟机)
- hadoop2.2.0完全分布式集群搭建
- centos7搭建hadoop2.7.2完全分布式集群
- hadoop2.x 完全分布式详细集群搭建
- 搭建Hadoop2.5.2+Hbase1.1.6完全分布式
- Hadoop2.5.2完全分布式环境搭建
- hadoop2.6完全分布式环境搭建(上)
- 搭建hadoop完全分布式(hadoop2.2)
- Hadoop2.7.3完全分布式集群搭建
- hadoop2.x完全分布式环境搭建
- CentOS7下搭建hadoop2.7.3完全分布式
- hadoop2.x完全分布式环境搭建
- 002——DispatchAction的应用
- μC/OS-II微小内核简单运用
- Extended WPF toolkit 安装使用指南 —— V1.6版本【2016-06-19】版本
- Ubuntu12.04升级C++11标准
- java的pattern类和matcher类的使用详解
- ubuntu-14.04.1+hadoop2.4完全分布式搭建要点
- Oracle练习题
- Oracle面试题1
- Hive JDBC运行连接注意事项
- 理解Angular中的$apply()以及$digest()
- 1054. The Dominant Color (20)
- ECSHOP如何解决Deprecated: preg_replace()报错
- 更新被拒绝,因为您当前分支的最新提交落后于其对应的远程分支
- Android中PopupWindow的使用