hadoop的伪分布式安装
来源:互联网 发布:淘宝达人自我简述 编辑:程序博客网 时间:2024/04/29 09:13
1. 安装Hadoop到/home/yang/hadoop:
$ tar -zxvf hadoop-0.20.2.tar.gz
2. 创建目录:
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hadooptmp
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hdfs/data
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hdfs/name
$ mkdir /home/yang/hadoop/hadoop-0.20.2/mapred/local
$ mkdir /home/yang/hadoop/hadoop-0.20.2/mapred/system
3. 修改~/hadoop/hadoop-0.20.2/conf/下的配置文件:
(1)hadoop-env.sh:
export JAVA_HOME=/usr/local/java/jdk1.6.0_32
(2)core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hadooptmp</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hdfs/data</value>
</property>
</configuration>
(4)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/mapred/system</value>
</property>
</configuration>
(5)masters
localhost
(6)slaves
localhost
4. 格式化HDFS文件系统:
$ ./bin/hadoop namenode -format
5. 启动Hadoop:
$ ./bin/start-all.sh
6. 验证Hadoop是否安装成功:
打开浏览器,分别输入网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDFS的Web页面)
7. 关闭Hadoop:
$ ./bin/stop-all.sh
8. 特别注意:
(1)不要以root身份运行Hadoop,否则会涉及到Java虚拟机的-jvm选项问题,导致Hadoop启动失败。
(2)每次重启Hadoop之前,务必先删除hadooptmp文件夹,防止因hadoop的错误退出导致的启动namenode和jobtracker失败。
(3)单机伪分布式部署启动失败可以尝试格式化HDFS文件系统。
(4)有用的命令:$ jps
$ tar -zxvf hadoop-0.20.2.tar.gz
2. 创建目录:
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hadooptmp
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hdfs/data
$ mkdir /home/yang/hadoop/hadoop-0.20.2/hdfs/name
$ mkdir /home/yang/hadoop/hadoop-0.20.2/mapred/local
$ mkdir /home/yang/hadoop/hadoop-0.20.2/mapred/system
3. 修改~/hadoop/hadoop-0.20.2/conf/下的配置文件:
(1)hadoop-env.sh:
export JAVA_HOME=/usr/local/java/jdk1.6.0_32
(2)core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hadooptmp</value>
</property>
</configuration>
(3)hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/hdfs/data</value>
</property>
</configuration>
(4)mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/yang/hadoop/hadoop-0.20.2/mapred/system</value>
</property>
</configuration>
(5)masters
localhost
(6)slaves
localhost
4. 格式化HDFS文件系统:
$ ./bin/hadoop namenode -format
5. 启动Hadoop:
$ ./bin/start-all.sh
6. 验证Hadoop是否安装成功:
打开浏览器,分别输入网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDFS的Web页面)
7. 关闭Hadoop:
$ ./bin/stop-all.sh
8. 特别注意:
(1)不要以root身份运行Hadoop,否则会涉及到Java虚拟机的-jvm选项问题,导致Hadoop启动失败。
(2)每次重启Hadoop之前,务必先删除hadooptmp文件夹,防止因hadoop的错误退出导致的启动namenode和jobtracker失败。
(3)单机伪分布式部署启动失败可以尝试格式化HDFS文件系统。
(4)有用的命令:$ jps
阅读全文
0 0
- hadoop的安装-----伪分布式
- hadoop 伪分布式的安装
- hadoop的伪分布式安装
- Hadoop 伪分布式安装
- hadoop 伪分布式安装
- Hadoop 伪分布式安装
- HADOOP伪分布式安装
- hadoop伪分布式安装
- Hadoop伪分布式安装
- Hadoop伪分布式安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- 伪分布式Hadoop安装
- hadoop伪分布式安装
- hadoop伪分布式安装
- Hadoop 伪分布式安装
- 伪分布式安装Hadoop
- 伪分布式安装hadoop
- 有趣的逻辑数字题
- CentOS7下安装MySQL5.7安装与配置(YUM)
- 【计算机网络】彻底明白IP地址——计算相关地址
- 自制裸眼3D图【推荐】
- iOS9 新特性 常见关键字
- hadoop的伪分布式安装
- C 语言面向对象-- 继承
- 【精】浅谈搜索引擎与社会文化
- 浅谈sqoop
- §--------算法分界线--------§
- 高级java高并发,高性能,分布式,高可用,负载均衡,系统架构实战
- Android学习笔记十五之TableLayout表格布局
- sqoop参数详解
- 自定义多行RadioGroup控件实现记录