hadoop新手的系列问题总结
来源:互联网 发布:分层时序记忆网络 编辑:程序博客网 时间:2024/05/16 10:20
1、安装hadoop的简单方法。直接下载较高版本,并解压到linux一个目录中。具体步骤参见:http://blog.csdn.net/aalbertini/article/details/4664758
2、安装完成之后启动hadoop,检查几个进程是否都已正常启动 。jps一下,如果正常,单机模式至少存在namenode、secondaryNamenode、dataNode、JobTracker、TaskTracker被启动。其中namenode存放hdfs元信息,datanode存放实际数据。但通常在几次format namenode之后可能出现datanode启动不起来的情况。异常参见:http://blog.sina.com.cn/s/blog_4c248c5801014nd1.html。我遇到这个问题是删除hdfs的目录并重新format之后成功的。
3、eclipse插件问题:多数已编译的插件在各种版本的eclipse上表现不同,使用源码编译和eclipse版本兼容的插件,为了快速上手可以在网上下载现成的已编译插件(保证hadoop插件版本和hadoop部署版本一致,否则rpc报版本不同,无法连接)。具体步骤参见:http://blog.csdn.net/arbel/article/details/7674750
4、向hdfs上传文件异常,多数是授权的问题,直接修改hdfs根目录的权限。方法是 ./hadoop fs -chmod 777 /。权限问题就此解决。
5、eclipst连接不上远程hadoop的问题,或者出现执行mapreduce程序报try connection 10次后失败的问题。先检查m/r端口和dfs端口是否颠倒,如果配置正常,请检查core-site.xml和mapred-site.xml中是否使用了localhost,将他改成实际的ip(具体原因未知)。
总之,hadoop在初次安装使用时有很多问题,但网上有很多热心的朋友分享了他们的经验。有些问题今后不断学习过程中再理解体会原理。
- hadoop新手的系列问题总结
- 新手都会遇到的问题 该学hadoop?还是spark?
- Linux新手问题总结
- 新手小问题总结
- 新手前端问题总结
- 给Hadoop新手的一封信
- hadoop为分布式遇到的问题总结
- Hadoop学习过程遇到的问题总结
- android开发新手问题总结
- centos新手,总结一下解决的小问题。
- java新手的一些常见基础问题总结下
- 新手小白安装OpenCV的问题总结
- hadoop学习问题总结
- hadoop 配置问题总结
- Hadoop 问题总结 常见问题
- hadoop 安装问题总结
- Tomcat之一系列新手问题全解决
- QT中常见的问题总结系列
- php-fcgi进程数超过预设值问题的解决
- java中list、set和map 的区别
- J2EE框架(Struts&Hibernate&Spring)的理解
- C++解析XML
- 黑马程序员_内部类
- hadoop新手的系列问题总结
- 实现MapFragment
- 站在明天看今天
- 如何在 Eclipse 中显示行号
- Camera 插值
- Android排错:has leaked window com.android.internal.policy.impl.PhoneWindow$ that was originally added
- MR_monkey runner下图片比对
- 投票协议:基于文本的表示方法
- 我自己用的Android-Log封装,功能算好用吧...