Big Data （2）

019_测试环境(HDFS Shell基本命令和运行WordCount程序)

020_结合WordCount实例讲解Hadoop的数据存储和数据计算

021_Hadoop 1.x五大服务与配置文件中的对应关系

五大服务与配置文件的对应关系

所有配置文件都在conf文件夹下，

1) 配置文件

三大基础配置文件

l core-site.xml

2007年之前是Hadoop core，在2007年改名为Hadoop common工程，

配置Hadoop Common Project相关的属性配置，Hadoop1.x框架基础属性的配置

l hdfs-site.xml 配置HDFS Project文件系统相关的属性

l mapred-site.xml 配置与MapReduce框架相关的属性

额外的配置文件

l masters：主节点，

并不是配置Hadoop中的主节点的相关信息，配置HDFS辅助节点的信息

l slaves：从节点

配置Hadoop1.x中HDFS和MapReduce框架的从节点信息

2) 5大守护进程

3) 守护进程与配置文件的对应情况

022_分析Hadoop 1.x三种启动停止方式的Shell 脚本

023_去除警告【Warning$HADOOP_HOME is deprecated。】

024_Hadoop相关命令中的【--config configdir】作用

025_Hadoop 1.x目录结构

Hadoop1.20.x安装目录结构详细展示：

总结：

Hadoop的配置文件比较多，其设计原则可概括为如下两点：

Ø 尽可能模块化，即每个重要模块拥有自己的配置文件，这样使得维护以及管理变得 简单。

Ø 动静分离，即经可动态加载的配置选项剥离出来，组成独立配置文件。比如，Hadoop1.0.0版本之前，作业队列权限管理相关的配置选项被放在配置文件mapred-site,.xml中，而该文件是不可以动态加载的，每次修改后必须重启MapReduce。但从1.0.0版本开始，这些配置选项被剥离放到独立配置文件mapred-queue-acls.xml中，该文件可以通过Hadoop命令行动态加载。

 

Bin目录，运行以及管理Hadoop集群相关的脚本。几个常用的脚本：

①　Hadoop 最基本且功能最完备的管理脚本，其他大部分脚本都会调用该脚本。

②　start-all.sh/stop-all.sh 启动或停止所有节点上的HDFS和MapReduce相关服务

③　start-mapred.sh/stop-mapred.sh 单独启动或停止MapReduce相关服务

④　start-dfs.sh/stop-dgs.sh 单独启动或停止HDGS相关的服务

 

026_Eclipse导入Hadoop源码项目

|-