hadoop完全分布式过程中遇到的一些问题和总结
来源:互联网 发布:中国制造业数据 编辑:程序博客网 时间:2024/05/18 19:42
最近接触在配置nutch,接触到一些hadoop方面的知识,自己想配置一个完全分布式的hadoop系统,配置过程中遇到了很多的问题,这里将自己遇到的问题进行总结一下。
(1)首先是Exception in thread "main" java.io.IOException: Call to /XXX.XXX.XX.XXX:9000 failed on local exception: java.io.EOFException。该问题是由于9000端口被使用造成的,因为全面配置nutch的时候占用的9000端口,所以运行程序的时候出现了这个问题。可以将配置文件core-sites.xml文件的fs.default.name端口改为其他值。
(2)系统在配置过程中遇到不能登录本地机器的情况,本以为本机登录本机不需要设置,但是这是错误的想法,要想本机无密码登录本地机器,也需要对本地机器进行无密码ssh设置。
下面介绍一下昨天看hadoop权威指南的一下收获:
(1)首先reduce输出路径在任务运行前应该不存在,这样设计的目的是为了防止结果被覆盖。
(2)map和reduce输出类型相同,都有setoutputkeyclass和setOutputValueClass指定。
(3)关于配置文件,core-site.xml配置文件负责配置Common组建属性,hdfs-site.xml配置问津啊负责配置hdfs属性,mapred-site.xml配置文件负责MapReduce属性配置。
(4)配置ssh要确保用户能够无密码登录本地机器。
(5)HDFS的意思是分布式文件系统。
(6)hadoop是基于数据流的程序驱动运行过程。
(7)hadoop分布式运行的关键是如何正确配置属性和正确运行守护程序。
- hadoop完全分布式过程中遇到的一些问题和总结
- Hadoop安装过程中遇到的一些问题
- hadoop为分布式遇到的问题总结
- WTL学习过程中遇到的一些问题总结
- Cocos2d-x项目过程中遇到的一些问题总结
- Cocos2d-x项目过程中遇到的一些问题总结
- jquerymobile1.4开发过程中遇到的一些问题总结
- 开发过程中 遇到的一些小问题 总结一下
- sublime2使用过程中遇到的一些问题总结
- Hadoop学习过程遇到的问题总结
- 在hadoop全分布式配置过程中编辑/etc/hosts时遇到权限的问题
- 搭建hadoop伪分布式遇到的一些问题
- 学习Hadoop中遇到的一些问题
- hadoop中遇到的一些问题
- hadoop启动过程中遇到的问题
- hadoop 搭建过程中遇到的问题
- 安装Hadoop 2.7.3的过程中遇到的一些问题及解决方法。
- 开发过程中遇到的一些问题
- 产品生产的各个阶段:DV,EV,PV ········是什么意思
- 流血冲突已造成叙上万人死亡
- OpenStack对象存储——Swift
- flex4控件联动显示与隐藏效果
- Hadoop Mapreduce优先级调度
- hadoop完全分布式过程中遇到的一些问题和总结
- Linux 7天系列 Day 2(转)
- mysql日期加秒、天、月
- 工作中linux上装数据库经常用到的命令
- Android应用程序键盘(Keyboard)消息处理机制分析
- LinkedIn用户平均收入远超Facebook
- ibatis案例1
- UML类图之咬文嚼字(转载)
- Android APK反编译详解(附图)