Hadoop入门及其安装配置

HADOOP是apache旗下的一套开源软件平台；提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理；HADOOP的核心组件有：A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）；广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈

Hadoop生态圈

重点组件：
HADOOP（hdfs、MAPREDUCE、yarn）：元老级大数据处理技术框架，擅长离线数据分析
HDFS：分布式文件系统
MAPREDUCE：分布式运算程序开发框架
HIVE：基于大数据技术（文件系统+运算框架）的SQL数据仓库工具
HBASE：基于hadoop的分布式海量数据库，离线分析和在线业务通吃
ZOOKEEPER：分布式协调服务基础组件
Mahout：基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
Oozie：工作流调度框架
Flume：日志数据采集框架
Hive sql ：数据仓库工具，使用方便，功能丰富，基于MR延迟大
Sqoop：数据导入导出工具

Hadoop的搭建以及配置

---

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
HDFS集群：
负责海量数据的存储，集群中的角色主要有 NameNode / DataNode
YARN集群：
负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager
(mapreduce其实是一个应用程序开发包)

准备工作

3台centos6.5机器配置好网关，ip，子网掩码配置好三台机器的主机名：hadoop1，hadoop2，hadoop3配置好内网的域名映射:vim /etc/hosts                    192.168.88.88 hadoop1                    192.168.88.89 hadoop2                    192.168.88.90 hadoop3配置三台机器的ssh免密登陆配置好防火墙（直接关闭）安装配置好jdk（jdk1.7）

解压hadoop安装包

我解压到了/usr/loacl/apps下然后修改$HADOOP_HOME/etc/hadoop/下面的配置文件  最简化配置如下：vi  hadoop-env.sh# The java implementation to use.export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_51vi  core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://hdp-node-01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value></property></configuration>vi  hdfs-site.xml<configuration><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/data/name</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.secondary.http.address</name><value>hdp-node-01:50090</value></property></configuration>vi  mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>vi  yarn-site.xml<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>vi  salveshdp-node-01hdp-node-02hdp-node-03

启动集群

初始化HDFSbin/hadoop  namenode  -format启动HDFSsbin/start-dfs.sh启动YARNsbin/start-yarn.sh

测试

1、上传文件到HDFS从本地上传一个文本文件到hdfs的/wordcount/input目录下[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input[HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt  /wordcount/input2、运行一个mapreduce程序在HADOOP安装目录下，运行一个示例mr程序cd $HADOOP_HOME/share/hadoop/mapreduce/hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input  /wordcount/output