大数据作业总结

调了很久，终于调通了。总结一下遇到的几个bug：

1 python 文件流会在每次读以后做标记，下次继续从上一位置开始读，如果每次都需要从头遍历的话，最好每次都重新打开文件，当然这个会影响程序的效率，但是目前我还没有想到什么合适的解决方案

2 读取文件的时候若文件中含有中文，要注意 中文编码问题。其实到目前为止也没想通这个编码怎么时好时不好，搞的心烦

3 Mrjob在输出的时候需要设置一下输出的协议，OUTPUT_PROTOCOL = RawProtocol，有时间阅读一下源码，看看到底是啥原因。

4 还有就是调试要耐心啊耐心，测试的时候要把所有能想到的情况都进行测试啊啊啊啊！

5 set可以看成数学意义上的无序和无重复元素的集合，因此，两个set可以做数学意义上的交集、并集等操作：

>>> s1 = set([1, 2, 3])>>> s2 = set([2, 3, 4])>>> s1 & s2set([2, 3])>>> s1 | s2set([1, 2, 3, 4])

set和dict的唯一区别仅在于没有存储对应的value，但是，set的原理和dict一样，所以，同样不可以放入可变对象，因为无法判断两个可变对象是否相等，也就无法保证set内部“不会有重复元素”。

6

Python内置的enumerate函数可以把一个list变成索引-元素对，这样就可以在for循环中同时迭代索引和元素本身：

>>> for i, value in enumerate(['A', 'B', 'C']):...     print i, value...0 A1 B2 C

上面的for循环里，同时引用了两个变量，在Python里是很常见的，比如下面的代码：

>>> for x, y in [(1, 1), (2, 4), (3, 9)]:...     print x, y...1 12 43 9