Hadoop 的三种运行模式以及伪分布式模式配置
来源:互联网 发布:word彩页用什么软件 编辑:程序博客网 时间:2024/06/17 01:44
一 三种模式
1 单机模式
2 伪分布式模式
3 完全分布式模式
二 单机模式特点
默认模式
不对配置文件进行修改
使用本地文件系统
Hadoop的守护进程未启动
用于对MapReduce程序的逻辑进行调试
三 伪分布式模式
在一台主机模拟多台主机
每个守护进程都以Java进程的形式运行
在单机模式之上增加了代码调试功能,允许检查内存使用情况,HDFS输入输出,以及其他的守护进程交换
修改3个配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml
格式化文件系统
四 完全分布式模式
多台主机
所有主机安装JDK和Hadoop
设置SSH免密码登录
修改3个配置文件:core-site.xml,hdfs-site.xml,mapred-site.xml
格式化文件系统
五 伪分布式安装实例
1、进入Hadoop的配置文件夹
[root@localhost ~]# cd /opt/hadoop-1.2.1/conf
[root@localhost conf]# ls
capacity-scheduler.xml hadoop-policy.xml slaves
configuration.xsl hdfs-site.xml ssl-client.xml.example
core-site.xml log4j.properties ssl-server.xml.example
fair-scheduler.xml mapred-queue-acls.xml taskcontroller.cfg
hadoop-env.sh mapred-site.xml task-log4j.properties
hadoop-metrics2.properties masters
2、对core-site.xml进行配置
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3、对hdfs-site.xml进行配置
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、格式化hdfs文件系统
[root@localhost conf]# hadoop hdfs -format
Warning: $HADOOP_HOME is deprecated.
Error: Could not find or load main class hdfs
[root@localhost conf]# hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
17/12/10 06:52:28 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = localhost.localdomain/127.0.0.1
STARTUP_MSG: args = [-format]
STARTUP_MSG: version = 1.2.1
STARTUP_MSG: build =https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG: java = 1.7.0_141
************************************************************/
Re-format filesystem in /hadoop/dfs/name ? (Y or N) y
Format aborted in /hadoop/dfs/name
17/12/10 06:52:49 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
************************************************************/
5、启动程序
[root@localhost bin]# start-all.sh
6、检测启动是否成功
[root@localhost bin]# jps
3234 TaskTracker
2751 NameNode
3016 SecondaryNameNode
3292 Jps
3093 JobTracker
2893 DataNode
阅读全文
0 0
- Hadoop 的三种运行模式以及伪分布式模式配置
- HADOOP伪分布式模式 配置
- Hadoop伪分布式模式配置
- 3、Hadoop运行模式的设置(伪分布式)
- 2.4.0版 hadoop伪分布式模式在mac上的配置和运行
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- Hadoop伪分布式模式安装配置步骤
- Hadoop伪分布式模式的安装和配置
- Ubuntu下伪分布式模式Hadoop的安装及配置
- hadoop的安装与配置(伪分布式模式安装)
- Hadoop伪分布式模式的安装和配置
- Ubuntu下伪分布式模式Hadoop的安装及配置
- hadoop的伪分布式模式配置与安装
- 伪分布式运行模式
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
- HADOOP三种安装模式:单机模式,伪分布式,真正分布式
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
- Spark性能调优-Shuffle调优[转]
- 洛谷p1804
- 密码(GCD有关)
- 还有3天,公布下目前后台收到的点赞数较高的几位...
- 约瑟夫环(非递推版)
- Hadoop 的三种运行模式以及伪分布式模式配置
- “风暴”洗礼后,暴风冯鑫和迅雷陈磊会怎样回顾这内忧外患一年
- 科大讯飞会是典型的AI泡沫吗
- Octave教程四:Plotting Data
- 常见的排序算法
- 迅雷玩客币更名为"链克";朱啸虎回应ofo摩拜是否合并;科学家计划在月球附近建国际空间站丨价值早报
- Faster-RCNN笔记
- Codeforces Round #448 (Div. 2) A 暴力前缀和 B 二分上下界
- comparison conpared contrast