伪分布式hadoop环境搭建
来源:互联网 发布:上海知恩服饰有限公司 编辑:程序博客网 时间:2024/05/01 18:40
官网上的教程版本不符,还过于简单(很多必要的步骤没提到),
所以自行网上找教程.
在这里整理一下:
假设java_home已经配置完成,ssh也可连通
1.修改配置文件
以下文件均在 %HADOOP_HOME%/conf/ 下
core-site.xml: Hadoop Core的配置项,例如HDFS和MapReduce常用的I/O设置等。
hdfs-site.xml: Hadoop 守护进程的配置项,包括namenode,辅助namenode和datanode等。
mapred-site.xml: MapReduce 守护进程的配置项,包括jobtracker和tasktracker。
预先建立好文件目录:
~/hadoop$ mkdir tmp
~/hadoop$ mkdir hdfs
~/hadoop$ mkdir hdfs/name
~/hadoop$ mkdir hdfs/data
配置内容:
core-site.xml
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-1.2.1/tmp</value> </property></configuration>
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/hadoop/hadoop-1.2.1/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/hadoop/hadoop-1.2.1/hdfs/data</value> </property></configuration>
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property></configuration>
2.格式化
[root@localhost hadoop-1.2.1]# bin/hadoop namenode -format
3.开启
[root@localhost hadoop-1.2.1]# bin/start-all.sh
测试:
jps
使用web浏览器查看:
http://localhost:50030/ - Hadoop 管理介面
http://localhost:50060/ - Hadoop Task Tracker 状态
http://localhost:50070/ - Hadoop DFS 状态
4.执行map-reduce示例
创建hdfs上的input
[root@localhost hadoop-1.2.1]# bin/hadoop dfs -mkdir input
配置拷上去
[root@localhost hadoop-1.2.1]# hadoop dfs -copyFromLocal conf/* input
执行java文件
[root@localhost hadoop-1.2.1]# hadoop jar hadoop-examples-1.2.1.jar wordcount input output
完成:
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- 伪分布式hadoop环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- Hadoop伪分布式环境搭建
- hadoop伪分布式环境搭建
- iOS——创建Xcode 的Hello World
- 做葡萄酒全过程
- Linux/ubuntu 截图工具的使用
- 【leetcode每日一题】24.Swap Nodes in Pairs
- 本人是一名专科学生,现自学java,记录学习。希望能够大家多多提提意见
- 伪分布式hadoop环境搭建
- Leetcode #260 Single Number III
- 黑马程序员---------Java基础------------多线程简单总结
- T-SQL 公用表表达式(CTE)
- Calendar实现得到指定月的第一天和最后一天
- 多态
- 错误纪录1
- 文件上传下载
- PowerDesigner——配置模板(一)