Hadoop学习(一)
来源:互联网 发布:win7系统无法连接网络 编辑:程序博客网 时间:2024/04/27 11:51
今天刚刚从hadoop网址下载了edition 0.21,上传到公司内网 server上试了一把。
跟着官方网站走了一趟,在执行
Format a new distributed-filesystem:
$ bin/hadoop namenode -format
后执行
Start the hadoop daemons:
$ bin/start-all.sh
时报错:
2011-03-01 14:08:25,278 INFO org.apache.hadoop.security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBa
sedUnixGroupsMapping; cacheTimeout=300000
2011-03-01 14:08:25,881 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.
at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:214)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:237)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1440)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1393)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1407)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1552)
2011-03-01 14:08:25,885 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down DataNode at cloudface04/9.186.62.74
************************************************************/
这个问题原因是fs.defaultFS没有配置。可以参照
conf/core-site.xml:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property></configuration>
conf/hdfs-site.xml:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property></configuration>
conf/mapred-site.xml:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property></configuration>
对hadoop进行基本配置。默认并没有配置。
配置好后,重新执行:
$ bin/start-all.sh 启动正常。
hadoop默认的NameNode 和 JobTracker
- NameNode - http://localhost:50070/
- JobTracker - http://localhost:50030/
- Hadoop学习(一)
- Hadoop学习(一)
- hadoop 学习 (一)
- Hadoop学习(一)
- Hadoop学习(一)
- hadoop 学习笔记(一)hadoop 数据流
- Hadoop学习(一) — 初识Hadoop
- Hadoop学习笔记(一)初识Hadoop
- Hadoop学习笔记(一)
- 一步一步学习hadoop(一)
- Hadoop 学习笔记(一)
- Hadoop学习杂记(一)
- hadoop学习笔记(一)
- hadoop学习工作总结(一)
- Hadoop学习笔记(一)
- Hadoop源码学习(一)
- Hadoop学习笔记(一)
- Hadoop学习笔记(一)
- 腾讯发布QQ影像软件 山寨picasa/美图
- Hello,Views教程
- 系统研究Java--容器(六)--Collections工具类
- new start
- rtsp交互命令简介及过程参数描述
- Hadoop学习(一)
- Dual CA [ZZ]
- Qt安装入门级
- 微软向用户免费发Windows 7 SP1正式版
- php5学习笔记之函数
- 地铁采用一次换乘到达sql
- ubuntu 熟悉感受
- Android 中的拿来主义(编译,反编译,AXMLPrinter2,smali,baksmali)!
- Ubuntu10.10下安装osd-lyrics