Hadoop伪分布续

来源:互联网 发布:Python 图形界面编程 编辑:程序博客网 时间:2024/06/06 04:30

(1)设置本机的Java环境
Hadoop-env.sh:
export JAVA_HOME=“你的java安装地址”
(2)设置3个对应的xml文件,
conf/core-site.xml:


fs.default.name
hdfs://localhost:9000


hadoop.tmp.dir
/home/u/hadoop/hadoop-dir/tmp/


这是hadoop核心的配置文件,这里配置的是hdfs(hadoop的分布式文件系统)的地址及端口号,hadoop.tmp.dir表示配置hadoop中的零时文件存储位置,默认会指向系统的临时文件路经(有可能会造成Hadoop其中失败,建议配置)
conf/hdfs-site.xml:


dfs.replication
1


这是hadoop中hdfs的配置,配置的备份方式,默认为3,在单机版hadoop中,建议将其改为1。
conf/mapred-site.xml:


mapred.job.tracker
localhost:9001


这是hadoop中mapreduce的配置文件,配置的是jobtracker的地址及端口
(3)格式化NameNode和启动Hadoop
接下来,启动hadoop前,需格式化hadoop的文件系统hdfs(这点与windows是一样的,重新分区后的卷总是需要格式化的),进入hadoop文件夹
输入命令:
bin/hadoop namenode –format
格式化文件系统,接下来,启动hadoop
输入命令:
bin/start-all.sh(全部启动)
最后,验证hadoop是否安装成功
打开浏览器,分别输入网址
http://localhost:50030 (mapreduce的web页面)
http://localhost:50070 (hdfs的web页面)
如果都能查看,说明hadoop已经安装成功。

0 0
原创粉丝点击