mrjob开源开发包

mrjob开源开发包Mrjob是一种可在亚马逊EMR上或在你的本地机器上运行任务的开源包。 弹性MapReduce任务是在单个Python类中定义的，而其中包含了与mappers、reducers以及combiners相关的方法。 Hadoop的大部分较低层次详细信息都隐藏在mrjob抽象操作下，这是有好处的。 这个简化的模式可允许开发人员把主要精力关注在map-reduce功能的逻辑设计上。 但是，这却意味着你将受制于Hadoop API的一个子集。 如果你需要访问更多的Hadoop API，那么Dumbo 或 PyDoop可能是一个更好的选择。使用mrjob的一个重要优点就是，它不需要安装Hadoop。 开发人员可以在一台单一设备上使用Python、mrjob以及其他来编写、测试和调试弹性MapReduce程序。 一旦程序准备就绪，你就可以将其移植至EMR，而相同的代码可在Hadoop集群上正常运行且无需任何修改。 承载5700万评论、每月1.3亿以上游客浏览的社交网络仍然使用着mrjob，因此它可满足众多Hadoop用户的需求。使用Dumo进行作业处理Dumbo是另一个支持EMR的Python框架。 与mrjob类似，你可以编写mapper类和reducer类来实施弹性MapReduce任务。 除了在mrjob中的基本功能以外，Dumbo还提供了更多的任务处理选项。 它的一个任务类可允许开发人员定义多组由单一命令运行的map-reduce操作。 当对一个数据集执行多个操作时，这是非常有用的。Dumbo支持文本和序列文件格式，而通过使用用户指定的Java类，它还支持用户的自定义格式。 在缺点方面，Dumbo的相关文档较少，尤其是与mrjob的技术文档相比。Dumbo遵循着MapReduce的范式，因此在这个框架下进行核心组件开发与在mrjob和PyDoop中进行开发是类似的。 它还允许你执行partitioners，除了是在本地运行外，它与reducers类似。 它们能够减少map与reduce操作之间数据的传输量。通过使用Dumbo，开发人员还可以在启动任务时以命令行的方式控制Hadoop参数。 Hadoop默认使用纯文本的文件格式，但是用户可以通过指定一个自定义的RecordReader类来处理其他的格式。 这个类包括了初始化、下一步、关闭以及getProgress等方法。它还支持Hadoop文件系统API，它连接了一个HDFS安装和读写文件。 此外，API会检索文件、目录以及文件系统中的元数据。 当你需要以较低层次方式访问文件系统时，Dumbo API可以助你一臂之力，因为它有与HDFS API相同的功能集。使用PyDoop进行研究包访问需要访问第三方库和软件包的Python开发人员可能需要考虑使用PyDoop。 CRS4跨学科研究中心开发了这个框架并对其进行了维护。 这样做的一个好处就是，你可以对访问流行Python研究包（例如SciPy）进行计数。尽管mrjob、Dumbo以及PyDoop框架都具有不少的好处，但是它们都会增加运行开销，因此与用Java语言进行开发或者通过Hadoop流相比，你的任务的运行时间有可能会变得更长。 如果确保EMR的低成本是一个关键的考虑因素，那么比较分别用Python流和其他框架开发的MapReduce任务就可以得知运行任务所需的额外时间了。当你开发一些EMR任务时，Hadoop的Python框架是有用的。 这三个开发框架都可以在弹性MapReduce上正常运行，并能够帮助用户避免不必要的和繁琐的Java开发工作。 当你需要更多地访问Hadoop内部时，可考虑Dumbo或PyDoop。