hadoop学习之总目录（1）：安装和使用完全分布式hadoop-2.7.2及其家族其他成员

前言：

1，hadoop及其家族其他成员，如hive，hbase，spark，storm构成了大数据平台的实施与开发。

2，出于学习的目的，我们使用虚拟机构建一个完全分布式的集群，集群中包含hadoop家族中的各个组件。

3，本博文是各组件的安装和使用目录，详情可能会链接到具体博客。

下面将详细介绍各个成员的安装过程和使用详情。

一，hadoop安装环境准备：

1，安装4台虚拟linux（本人使用centos7），详情参考网上教程，本文不关注。

注：规定集群中的主机名分别是node1，node2，node3，node4。其中node1为主节点，其他是从节点。

2，每台节点（机器）设置静态ip，详见本人博客：点我进入博客

3，每台机器安装配置好jdk，详见本人博客：点我进入博客

4，每台主机配置ssh免密码登陆本机，并设置其中一台机器免密码登陆其他主机，详见本人博客：点我进入博客

5，关闭centos7的防火墙，详见本人博客：点我进入博客

6，将集群中的主机ip和主机名的对应关系写入到：/etc/hosts文件末尾，详见本人博客：点我进入博客

二，安装配置和使用hadoop-2.7.2

1，安装

安装配置简单分布式hadoop，详见本人博客：点我进入博客

安装高可用（HA）分布式hadoop，详见本人博客：点我进入博客

2，使用

安装配置后，在linux上测试hadoop最基本的wordcount程序，详见本人博客：点我进入博客

如果不适应linux系统，想在windows下使用eclipse写程序，详见本人博客：点我进入博客

wordcount程序详解：点我进入博客

使用hdfs的javaAPI，详见本人博客：点我进入博客

三，hive-1.2.1的安装使用

1，安装详细过程，详见本人博客：点我进入博客

2，hive的使用，详见本人2篇博客：点我进入博客，点我进入博客

3，启动hiveserver2服务器，远程连接操作hive表，详见本人博客：点我进入博客

四，flume的安装与使用

1，详见本人博客：点我进入博客

五，azkaban的安装与使用

1，安装：点我进入博客

2，使用：点我进入博客

六，sqoop的安装与使用

1，详见本人博客：点我进入博客