在win7的idea访问centos部署的hadoop2.7.1问题集锦

来源:互联网 发布:什么是风险管理知乎 编辑:程序博客网 时间:2024/04/30 17:38

hadoop程序安装包:/opt/package/hadoop-2.7.1;(具体hadoop安装请参考hadoop的安装教程!

问题1::jps查看进程,没有datanode?

             文件格式化$HADOOP_HOME/bin/hdfs namenode -format后,没有删除对应的元数据目录以及权限分配,可以监控hadoop启动日志(/opt/package/hadoop-2.7.1/log/hadoop-root-datanode-lee.localdomain.log),监控日志很快可以排查问题,尽量不要出现问题就百度,这样会误导自己,虽然网上也很多人遇到类似问题,但是每个人的环境不同,有些事网络配置导致,先尝试自己分析日志

 

问题2:window系统连接hadoop需要配置对应版本的hadoop的winutils.exe?

         需要配置对应的window下连接hadoop对应版本的winutil.exe,版本必须得对应上,否则会访问会报错。

 

问题3:hadoop的core-site.xml,mapred-site.xml的ip换成正式局域网ip,否则会连接拒绝?

         由于是远程连接,配置localhost导致远程客户端访问不到,idea连接过去会出现connection refuse的异常!

 

问题4:HDFS配置的目录权限?

       如果没配置权限,启动会报错,导致datanode进程丢失。

 

总结:接触新事情,要多留意框架的日志,先尝试自己分析,在百度!

 

 注:附件的hadoop2.7.1的win下的winutil工具!

      

原创粉丝点击