hadoop学习过程

来源：互联网发布：普华永道奥斯卡知乎编辑：程序博客网时间：2024/05/17 06:13

摘抄：

①选择一个Hadoop的版本，然后阅读文档了解Hadoop：What's Hadoop, Why Hadoop exists；

②安装Hadoop，三种方式都试下；

③在Hadoop文档里面有Hadoop Command的资料，I.hdfs command，II.job command，尽量试试这两方面的命令；

④Hadoop Files，看看Hadoop文件的概念，关注它的分布式特点，然后看看Reduce函数输出的文件；

⑤自己写WordCount与Advanced WordCount；

⑥写HDFS io，这个例子在《Hadoop In Action》里面有，讲得也不错。如copy，sequenceFile等；

⑦写Sort程序；

⑧写MRBench程序（这个网上有很多例子），了解MRBench是什么；

⑨使用RandomTextWriter；

10.模仿SequenceFileInputFormat、SequenceFileOutputFormat、SequenceFileRecordReader写自己的；

11.yahoo有一个Hadoop的教程，英文版的，里面的内容很好；

12.《hadoop权威指南》当参考书，自己实战了

0 0