hadoop 启动的各种问题解决
来源:互联网 发布:下载官方手机短信软件 编辑:程序博客网 时间:2024/05/22 04:53
hadoop 为一个分布式系统基础架构,由Apache基金会开发。本人使用最新的hadoop-1.2.0,和0.20.2 ,两个版本 装在三个虚拟机上,系统为centos ,遇到启动的各种问题,总结如下
一,hadoop 的配置问题
1.namenode 无法启动
hadoop,tmp 文件夹的问题,有时默认format 之后,清空了tmp文件。需要 在core-site.xml配置
<property>
<name>hadoop.tmp.dir</name>
<value>hadoop120_tmp</value>
<description>A base for other temporary directories</description>
</property>
不加/的话,从hadoop 的目录开始,算一级目录
2.datanode 无法启动,
删除 dfs-site.xml 配置的dfs 系统存放的文件夹,比如:
<property>
<name>dfs.data.dir</name>
<value>datadir</value>
</property>
需要删除掉datanode 节点中的datadir文件夹,重新启动hadoop 就成功了。
3. mkdir , libexec/../logs, -.pid ,导致主节点,namenode ,secondnamenode , jobtracker无法启动,报permission denied之流。
这个是相关的文件夹没有权限。通常的情况下,master节点,在/tmp文件夹下,会生成-jobtracker.pid,-datanode.pid 等文件和文件夹
所以在master 节点,hadoop的文件夹,和 /tmp 这两个文件夹,chown一下权限,使用root用户,执行命令
chown -R 用户名:组 文件夹名
如
chown -R tom.luo:root /tmp
这样就解决了。
第二,linux 相关的问题
1.ssh 的配置,无密码, 这个不赘述了。网上有,错误在 ssh 配置的无密码。需要 注意,是对应哪个用户的无密码,比如,在tom 这个用户下配了ssh 无密码,然后却通过root来进入hadoop 启动,报错,root 和tom是两码事,是tom用户配置了无密码而不是root,自然root启hadoop会有问题
2. WARNING: POSSIBLE DNS SPOOFING DETECTED!处理方法 ,
这个直接将 ~/.ssh 文件夹下的known_hosts 删除便行,连的和被连的,一定有一方出了问题,删了便好
3. shell 显示 -bash-4.1$,而不显示
到你自己家目录拷贝.bashrc和.bash_profile 到 / home / 用户名 文件夹下
- hadoop 启动的各种问题解决
- hadoop启动dfs的warn问题解决
- Hadoop的DataNode无法启动问题解决
- hadoop启动不正常问题解决
- Hadoop namenode无法启动问题解决
- Hadoop NodeManager无法启动问题解决
- 【问题解决】hadoop datanode无法启动
- Hadoop启动后Jobtracker一直是initializing状态的问题解决
- 两个hadoop的问题解决
- ubuntu14.04系统JBossAS Tools在eclipse启动的各种问题解决办法
- 电脑出现的各种问题解决
- 开启VPN的各种问题解决。
- 分布式hadoop-1.0.3搭建以及各种变态问题解决
- Hadoop--有关Hadoop的启动
- Hadoop的安装及问题解决
- hadoop需要的各种包
- hadoop内的各种join
- hadoop的启动配置
- Andorid APK反逆向解决方案:梆梆加固原理探寻
- VM下安装Centos6.4发ping外网时出现"network is unreachable"解决
- 接口与抽象类区别
- 【转】随机算法全面总结
- ROW_NUMBER数据库分页方案
- hadoop 启动的各种问题解决
- VC++6.0下新建工程中有17个选项,都是做什么用的?
- java学习路线
- webp开发
- mysql优化之explai
- 设计模式六大原则之依赖倒置原则
- sql server 2005 日期格式转换的方法
- 利用多核多线程进行程序优化
- 未能添加对XXX的引用