关于hadoop无法启动的问题

来源:互联网 发布:淘宝宝贝排名下降 编辑:程序博客网 时间:2024/06/01 07:55



在hadoop上搭spark,首先搭了scala环境,然后spark下载配置。弄好之后,想启动例子试一把。


首先启动hadoop···接着就没有然后了·hadoop一直启不来,shell打印的也没有不正常的:

[vdc@compute-02-04-71 hadoop-2.6.0]$ sbin/start-dfs.sh 
15/06/27 10:00:08 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [compute-02-04-71.local]
compute-02-04-71.local: starting namenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-namenode-compute-02-04-71.local.out
compute-02-04-71.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-71.local.out
compute-02-04-73.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-73.local.out
compute-02-04-75.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-75.local.out
compute-02-04-74.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-74.local.out
compute-02-04-72.local: starting datanode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-datanode-compute-02-04-72.local.out
Starting secondary namenodes [compute-02-04-72.local]
compute-02-04-72.local: starting secondarynamenode, logging to /home/vdc/hadoop/hadoop-2.6.0/logs/hadoop-vdc-secondarynamenode-compute-02-04-72.local.out
15/06/27 10:00:25 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

有个WARN,不过这个一般都是本地库和版本不对应照成的,去lib/native里去用file命令看了具体库的信息,发现也没什么不对应的,也是64位的,如果不是的话,就需要自己去重新编译一个对应的本地库。


那么不是这个原因又是啥原因呢,猜测是自己搭spark的时候影响到了它(虽然可能性很低,但也试一把),所以把scala和spark都删掉,结果还是启动不了!


重新检查了hadoop的搭建环境,也没找到不对的地方,然后又重新格式化了hadoop,还是起不来(这里一般会照成/tmp/hadoop-你的用户名/dfs中,/name/current中的集群ID和data/current中的集群ID不对应,这个要把/name/current中的ID覆盖掉data/current中的,否则会导致datanode启不来)。


然后!我又创建用户自己搭了一套hadoop,结果还是悲惨的发现无法启动····


到这里就下班了,然后灵光一现,因为五台物理机好几个人都在用(学习目的),有同组的一个人也去创建了一个用户,并且搭建了自己的hadoop(设置和之前hadoop一样)。而她的hadoop是一直在集群中跑着的,所以应该是主节点只能启一个master,否则配置一样,到底怎么管理从节点。(这里是在用web UI看集群运行情况时想到的)


所以大周六去验证自己的想法,结果还真是!把她的关掉之后,别的用户再启就没有问题了!(所以以后如果没有必要一定要关掉!)


接着就去搭自己的spark了,开始真正实践学习spark!

0 0
原创粉丝点击