Hadoop，hbase，hive，zookeeper，mapreduce，hdfs

安装hadoop2.4.1
先上传hadoop的安装包到服务器上去/home/hadoop/
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml

<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekend-1206-01:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-2.4.1/tmp</value>
</property>

第三个：hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个：yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>weekend-1206-01</value>
</property>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


HDFS架构

一个主节点：namenode：接受用户操作请求、维护文件系统的目录结构、管理文件与block之间的关系（维护元数据信息）
多个从节点：datanode：存储文件、文件被分成block存储在磁盘上、为保证数据安全block会有多个副本




zookeeper

配置管理，名字服务，提供分布式同步以及集群管理。
配置管理
保证配置在集群中的一致性。如果我们配置非常多，有很多服务器都需要这个配置，而且还可能是动态的话使用配置文件就不太好。
比如：在HBase中，客户端就是连接一个Zookeeper，获得必要的HBase集群的配置信息，然后才可以进一步操作。
名字服务
如果在本地保存服务的地址时非常不便，但如果我们只需访问一个大家都熟知的访问点，这里提供统一的入口，那么维护起来将方便多了。
分布式锁
在某个时刻只让一个服务去干活，当这台服务出问题的时候锁释放，立即fail over到另外的服务。这种设计叫(leader选举)。
集群管理
集群中其他机器需要感知到这种变化，然后根据这种变化做出对应的决策。

hive

1数据仓库工具(数据提取转化加载（ETL）)，存储、查询和分析，可将sql语句转换为MapReduce任务进行运行（快速实现简单的MapReduce统计），
2Hive不提供实时的查询和数据更新操作。Hive的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。
3hive延迟大

4Hive是用SQL替代写MR的编程框架，把用户提交的SQL语句做语法分析，转换成MR job提交去跑，返回结果给用户。不然每次都写MR很麻烦。

Hive 和数据库的异同
数据存储位置：Hive 是建立在 Hadoop之上的，所有 Hive 的数据都--HDFS 中的。而数据库---本地文件系统中。
数据格式：Hive 中没有定义专门的数据格式，数据格式可以由用户指定。而在数据库中，不同的数据库有不同的存储引擎，定义了自己的数据格式。 所有数据都会按照一定的组织存储，因此，数据库加载数据的过程会比较耗时。
数据更新：Hive 中不支持对数据的改写和添加，所有的数据都是在加载的时候中确定好的。而数据库中的数据通常是需要经常进行修改的
索引：Hive-没有索引-暴力扫描-访问延迟较高-但MapReduce引入。数据库-索引-少量数据-高效率-低延迟。Hive-访问延迟较高-不适合在线数据查询
执行：Hive-Hadoop提供MapReduce实现。数据库通常有自己的执行引擎。
可扩展性：Hive-Hadoop-可扩展性一致。数据库-ACID语义的严格限制-扩展行有限-扩展能力也只有 100 台左右。
数据规模:Hive-集群上-利用 MapReduce-并行计算-大规模数据。数据库-小。

(1)Hive没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive中的表，只需要在创建表的时告诉Hive数据中的列分隔符和 行分隔符，Hive就可以解析数据。
(2)Hive中所有的数据都存储在HDFS 中，Hive中包含以下数据模型：表(Table)，外部表(External Table)，分区(Partition)，桶(Bucket)。
Hive中的Table和数据库中的Table在概念上是类似的，每一个Table在 Hive中都有一个相应的目录存储数据。
Partition 对应于数据库中的 Partition 列的密集索引，但是Hive中 Partition 的组织方式和数据库中的很不相同。在Hive中，表中的一个 Partition 对应于表下的一个目录，所有的 Partition 的数据都存储在对应的目录中。


hbase

HBase-非结构化数据存储的数据库-基于列不是基于行的模式。
Hbase-利用HDFS作为文件存储系统-利用mapreduce处理海量数据-利用zookeeper作为协调工具
在HBase系统上运行批处理运算，最方便和实用的模型依然是MapReduce，HBase Table和Region的关系，类似HDFS File和Block的关系，
ClientHBase Client使用HBase的RPC机制与（HMaster和HRegionServer）进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类 操作，Client与HRegionServer（响应用户I/O请求）进行RPC
Master：为region server分配region；负责region server的负载均衡；发现失效的regionserver并重新分配其上的region。



mapreduce

JobTracker-NameNode；TaskTracker-DataNode，DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的

mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，
并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即MapTask和ReduceTask）
并将它们分发到各个TaskTracker服务中去执行
2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，
并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。
TaskTracker都需要运行在HDFS的DataNode上.


MAP引擎
解析每条数据记录，传递给用户编写的map()
将map()输出数据写入本地磁盘（如果是map-only作业，直接写入HDFS）

Reduce引擎
从Map Task上远程读取输入数据
对数据排序
将数据按照分组传递给用户编写的reduce()


map()任务处理
读取文件内容，解析成key-value键值对，对输入文件的每一行解析成key、value,对每个键值对调用一次map函数
写自己的逻辑，对输入的key、value转换成新的key、value
//对输出的key、value进行分区
//对不同分区的数据按照key进行排序、分组，相同key的value放到一个集合中
//分组后的数据进行归约（reduce）

reduce（）任务处理
//对多个map任务的输出按照不同的分区，通过网络拷贝到不同的reduce节点中(shuffle阶段)
//对多个map任务的输出进行合并、排序(sort阶段)
写自己的reduce逻辑对输入的key、value进行处理，转换成新的key、value
把reduce的输出保存到文件中