pig使用的一些注意事项

来源:互联网 发布:wps表格怎么恢复数据 编辑:程序博客网 时间:2024/04/30 00:30

1.利用python做udf时,python的list对应pig的bag。
2.宏里面对参数和返回值的引用任何时候总是带$。
3.不要让int和long进行比较因为
    java.lang.Long cannot be cast to java.lang.Integer
4.使用pig python udf的时候,不要在python里面定义很大的map或者list,可以写成字符串然后用代码解析。
5.在python udf中import 另一个含有outputSchema声明的函数的python udf时,需要把下面的代码加入到含有被import的python udf文件的第一行.


6.不要在两个pig语句之间试图通过python udf共享临时生成的数据,这是做不到的。因为两个pig语句完全可能在不同的机器上运行,是两组不同的MR任务。
7.pig不能判断一个字段是否在一个关系中,下面的语句是错误的


8.两个relation join时需要确保两个relation都不为空且join的key不为空或者null。
9.pig读入的东西传给python udf时是unicode类型的。


0 0
原创粉丝点击