安装配置hadoop和eclipse插件遇到的坑和解决办法
来源:互联网 发布:mac dare you diva 编辑:程序博客网 时间:2024/05/21 06:57
本人在安装配置Hadoop2.8.0版本时遇到了一些问题,有个别问题最长的卡了1周时间才解决,通过在官网和各大论坛查找解决方案,解决了目前遇到的所有问题,特总结一下,给自己也给别人提供方便。
Hadoop安装过程参考:http://blog.csdn.net/uq_jin/article/details/51451995,我总结一下一个干净的hadoop服务器安装主要有以下几步:安装Linux操作系统--安装JDK--配置环境变量--修改/etc/hosts--关闭防火墙--配置无密码ssh登录--修改$HADOOP_HOME/etc/hadoop目录下的xml和env配置--重启linux--format hdfs--启动dfs和yarn;
一坑:一定要format,否则namenode不会启动,这玩意不启动,其他都白瞎。
二坑:core-site.xml配置fs.defaultFS的value时,不要用localhost。理由:除非你只希望本机能访问hadoop,否则请用IP或hostname
三坑:配好后,运行wordcount没问题,但是sort会提示你的txt不是SequenceFile。原因:官方example中sort只接受二进制文件内容排序,所以,普通的txt不支持,可以通过官方工具来生成二进制文件:hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar randomwriter rand,不过这个命令生成的是10个1G的文件,在单机上可是要执行很久的。。。
四坑:eclipse插件,如果是windows,记得下载hadoop-bin.zip包,里面有winutils.exe和hadoop.dll等文件,要解压到%HADOOP_HOME%/bin目录下,其中hadoop.dll要拷贝到%WINDOWS%\System32目录,并重启windows系统;
五坑:eclipse的hadoop插件,配置“Hadoop Location”时,要修改“Advanced parameters”-“fs.defaultFS”的值与core-site.xml一致;
附录:
hadoop配置文件可配置属性参考:
http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/core-default.xml
http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
http://hadoop.apache.org/docs/r2.8.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
http://hadoop.apache.org/docs/r2.8.0/hadoop-yarn/hadoop-yarn-common/yarn-default.xml
- 安装配置hadoop和eclipse插件遇到的坑和解决办法
- eclipse上hadoop插件的安装和配置
- Eclipse的安装和Hadoop的配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- eclipse maven 插件的安装和配置
- hadoop学习【6】——CentOS下eclipse安装和hadoop插件安装配置
- maven的安装和配置(手动和eclipse插件)
- maven的安装和配置(手动和eclipse插件)
- Eclipse离线安装Maven插件遇到的问题及解决办法
- 2.1hadoop伪分布式----eclipse的安装和配置
- Hadoop eclipse插件安装和在eclipse运行wordcount程序
- 前端开发要注意的浏览器兼容性问题整理
- 关于RXJAVA的取消订阅的理解
- centos6.8安装开发环境2之hadoop伪分布式搭建
- 今天看了《海马记忆法》这本书
- QT Creator 使用seetaface
- 安装配置hadoop和eclipse插件遇到的坑和解决办法
- 深度学习论文(九)---DeepLabV2-Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution,
- 推荐使用的几种单例模式
- spacy-入门02-helloworld
- C++ primer阅读笔记---------------IO
- 内核字节对齐 ping Error -- Unhandled fault: alignment exception
- 小程序tabBar的一些用法
- JAVA SE --接口
- 笔试题:利用素数定理计算100以内素数的个数