pig使用的一些注意事项
来源:互联网 发布:wps表格怎么恢复数据 编辑:程序博客网 时间:2024/04/30 00:30
1.利用python做udf时,python的list对应pig的bag。
2.宏里面对参数和返回值的引用任何时候总是带$。
3.不要让int和long进行比较因为
java.lang.Long cannot be cast to java.lang.Integer
4.使用pig python udf的时候,不要在python里面定义很大的map或者list,可以写成字符串然后用代码解析。
5.在python udf中import 另一个含有outputSchema声明的函数的python udf时,需要把下面的代码加入到含有被import的python udf文件的第一行.
6.不要在两个pig语句之间试图通过python udf共享临时生成的数据,这是做不到的。因为两个pig语句完全可能在不同的机器上运行,是两组不同的MR任务。
7.pig不能判断一个字段是否在一个关系中,下面的语句是错误的
8.两个relation join时需要确保两个relation都不为空且join的key不为空或者null。
9.pig读入的东西传给python udf时是unicode类型的。
0 0
- pig使用的一些注意事项
- 使用pig的注意事项
- 使用excel的一些注意事项
- MERGE的使用一些注意事项
- 缓存使用的一些注意事项
- 使用MediaPlayer的一些注意事项
- 使用idm的一些注意事项
- LigerUI使用的一些注意事项
- 缓存使用的一些注意事项
- struts使用的一些注意事项
- 使用Opencv的一些注意事项
- pig的简单使用
- Pig的使用
- Eclipse中使用CVS 的一些注意事项
- 关于U盾使用的一些注意事项
- Matlab标定工具箱使用的一些注意事项
- WPS中使用VBA的一些注意事项
- RHEL5启用使用xdmcp的一些注意事项。
- Xcode 7 导入.h文件不联想
- 华为CE12800系列交换机 - 熟悉命令行(1)
- 黎活明给程序员的忠告
- 10. PHP 图像填充 imagefill、imagefilledarc 与 imagefilledrectangle() 函数
- 声明与鸣谢——《朱老师物联网大讲堂》
- pig使用的一些注意事项
- Android自定义图片自动轮播控件:imagecycleview
- ROS学习之 cpp时间
- PLSQL Developer连接Oracle11g 64位
- js中return false,return,return true的用法及区别
- 视图
- 二层交换与三层IP转发
- hdu 3519 Lucky Coins Sequence 矩阵快速幂
- 二叉树<一> — — 3种方式的遍历