海量数据分析处理入门

Hadoop体系结构：

Hadoop技术：Hadoop是一个基于Java的分布式密集数据处理和数据分析的软件框架。其来源于Google的MapReduce技术，MapReduce工作原理是将任务分解为成百上千块的小任务，然后发送到计算机集群中。每台计算机再传送会自己那部分信息，MapReduce则迅速整合这些反馈并形成答案。

Hadoop除了核心设计思想MapReduce和HDFS（Hadoop Distributed File System）外，Hadoop还包括了从类SQL查询语言HQL，到NoSQL HBase数据库（NoSQL数据库通常用来处理非结构化的数据，包括音频、视频等。），以及机器学习库Mahout等内容。

大数据时代的热门职业：
大数据处理系统管理员
大数据处理系统管理员负责日常Hadoop集群正常运行。例如直接或间接的管理硬件，当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置，保证Hadoop与其他系统的有机结合。


大数据处理平台开发人员
大数据处理平台开发人员负责构建大数据处理平台以及用来分析数据的应用。由于其在开发领域已具备相关的经验，所以比较熟悉相关的工具或算法。这在编写、优化以及部署各种复杂的MapReduce的工作时会有所帮助。运用大数据相关技术的从业人员的作用类似传统数据库世界中DBA的定位。


数据分析和数据科学家
数据分析和数据科学家基本属于同一类别的工作，这些具备专业领域知识的人士研究相应的算法分析对应的问题，而数据挖掘也是其应掌握的重要技术。帮助创建推动业务发展的相应的大数据产品和大数据解决方案。


数据管家
企业要提高数据质量必须考虑任命数据管家。数据管家需利用Hadoop汇集企业周围的大量数据，并将数据通过ETL的过程被清洗和规范化，进入到数据仓库中，成为一个可用的版本。然后，通过报表和分析技术，数据被切片、切块，并交付给成千上万的人。担当数据管家保证市场数据的完整性，准确性，唯一性，真实性和不冗余。
虽然现今面临技术人员匮乏的状况，但也并非绝望。Cloudera公司的Omer Trajman就指出Hadoop做为大数据技术的解决方案并不像学习如何制造火箭那样困难。几年前，了解Hadoop的人还寥寥无几，但现在越来越多的人开始学习Hadoop。企业应当鼓励并培养技术人员学习Hadoop技术。