hadoop实战随笔_0712

来源:互联网 发布:情定三生知夏向天吻戏 编辑:程序博客网 时间:2024/06/05 03:08

org.apache.hadoop.conf: 定义了系统参数的配置文件处理API

org.apache.hadoop.fs: 定义了抽象的文件系统API

org.apache.hadoop.dfs: Hadoop分布式文件系统(HDFS)模块的实现

org.apache.hadoop.mapred: Hadoop分布式计算系统(MapReduce)模块的实现,包括任务的分发调度等

org.apache.hadoop.ipc:用于网络服务器和客服端的工具,封装了网络一部I/O的基础模块

org.apache.hadoop.io:定义了通用的I/O API,用于针对网络、数据库、文件等数据对象进行读写操作等。


可以手动添加配置文件(也可以通过代码添加配置文件?)。

当存在多个资源(配置文件)时,可从多个资源中添加属性,当不同资源中添加了相同属性,但有不同属性值时,可遵循这样的原则:后添加进来的属性取值覆盖掉前面添加进来的属性取值。

但有一个特例,被标记为final的属性不能被后面定义的属性覆盖,重写标记为final的属性通常情况下会报告配置错误。


Hadoop默认使用两个源进行配置,并按照顺序加载core-default.xmlcore-site.xml。在实际应用中可能会添加其他的源,应按照它们添加的顺序进行加载。其中,core-default.xml定系统默认的属性,core-site.xml定义在特定的地方重写。