初始Hadoop 2
来源:互联网 发布:centos配置lamp环境 编辑:程序博客网 时间:2024/05/16 17:02
Hadoop支持三种模式的配置
Standalone Operation 独立模式
默认模式,Hadoop被配置非分布式模式下运行,作为一个单一的Java程序来进行运行,便于调试。
Pseudo-Distributed Operation 伪分布式模式
以单一节点的形式伪分布,每一个Hadoop后台程序在一个单独的Java进程中运行。
Fully-Distributed Mode 完全分布式模式
通常情况下,集群中的一台机器被指定为NameNode,另一台机器指定为ResourceManager。
配置两种不同的Java配置文件,默认只读配置文件,包括 core-default.xml, hdfs-default.xml, yarn-default.xml, mapred-default.xml
站点配置文件包括 etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml, etc/hadoop/mapred-site.xml
Hadoop提供由管理员可以配置节点管理器来运行一个管理员定期提供的脚本,以确定是否一个节点健康与否的机制。
管理员可以确定节点是处于健康状态在脚本执行他们选择的任何检查。如果该脚本检测节点的状态为不健康,节点会被列入ResourceManager黑名单中。没有进一步的任务将被分配给该节点。如果该节点再次变得健康,它将被从上ResourceManager中的黑名单节点自动删除。
Hadoop脚本命令
所有的Hadoop脚本命令由bin/Hadoop调用,不带参数的Hadoop命令会打印出所有命令的描述。
命令分为用户命令和管理员命令。
- 初始Hadoop 2
- 初始Hadoop
- hadoop--初始hadoop
- 初始Hadoop(3)
- hadoop 初始配置
- 初始Hadoop 1
- [学习笔记]初始Hadoop
- hadoop初始与简介
- Chapter02 初始Hadoop一
- Hadoop系列之初始Hadoop
- Hadoop FSImage文件初始结构
- 初始hadoop的mapreduce框架
- Hadoop初始LiveNode个数为0
- Hadoop学习笔记之初始HBase
- [学习笔记]Hadoop核心之初始HDFS
- [学习笔记]Hadoop核心之初始MapReduce
- 一、初始Hadoop之一Hadoop三大组件
- 初始窗体2
- Mac Chrome Safari打开开发者工具快捷键
- 理解mysql的slow log
- mybatis如何在控制台打印执行的sql语句
- java TreeMap源码解析
- jmeter压力测试方法
- 初始Hadoop 2
- jq 输入框值检测
- 在csdn上混了两年多,从来没做过贡献,从现在开始,每周一篇原创
- Hibernate Annotation (Hibernate 注解)
- 非Maven项目转为Maven项目
- oracle 数据泵使用
- cas取消HTTPS协议
- Grunt压缩、合并js/css文件
- MVC设计模式