【大数据新手上路】“零基础”系列课程--Flume收集网站日志数据到MaxCompute

来源：互联网发布：红警2共和国之辉mac版编辑：程序博客网时间：2024/05/20 16:35

免费开通大数据服务：https://www.aliyun.com/product/odps

概述：大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。

任何规模的企业，每时每刻都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。

相信很多做过网站管理的人对网站访问日志（Access Log）应该不会陌生，现在主流的网站服务器（如apache,tomcat,ngxin等）都支持将日志数据记录到服务器的日志文件中。

网站的访问日志中记录了很多有用的信息，比如正常用户的访问足迹、恶意捣乱的足迹、用户的入站方式、出站页面等信息。对以上信息汇总分类后，可以得到更有价值的东西，比如可以得到搜索引擎的抓取频率和来访时间段、可以得到哪些页面是用户的热搜等。

大数据计算服务(MaxCompute)

快速、完全托管的TB/PB级数据仓库解决方案，向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。

了解更多

下面介绍一个对中小企业客户比较适合的，低成本投入的日志采集存储方案；

对于一个比较活跃的网站来说，访问日志将会是一个海量的数据，考虑到网站日志更新频繁、和海量数据的特点，我选择了Flume + MaxCompute的采集和存储方案。

525646076a3f010a912641eea9017513241fb9d2

Flume

Flume是一个分布式、高可靠、高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。

MaxCompute

MaxCompute原名是ODPS，是由阿里云自主研发的一款服务，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，它适用于海量数据的存储、计算，商业智能等领域。

flume能够支持多种Source和Sink插件，而我们今天要介绍的就是如何使用Apache flume的 Datahub sink插件将日志数据实时上传到Datahub上然后归档到MaxCompute表中。这样做不需要投入大量人力去对环境进行部署和维护，可以有效降低企业成本，并保障了数据安全，是一个方便高效的运行方案。

实验前您需要：

1）拥有Linux系统；

2）拥有一定的开发经验；

3）拥有阿里云官网实名认证账号，并且创建好账号Access Key；

本实验您将完成以下任务：

1）安装JDK和Flume；

2）开通MaxCompute(https://www.aliyun.com/product/odps)和Datahub；

3）下载并部署Datahub Sink插件；

4）创建需要上传的本地文件；

5）创建Datahub Topic；

6）配置Flume作业配置文件；

7）启动Flume，将数据上传至Datahub；