Pig的一个小问题 (filter之后 没有数据)
来源:互联网 发布:李子树下埋死人 知乎 编辑:程序博客网 时间:2024/06/07 05:18
写Pig的时候,如果需要对数据中某个字段进行 比较或者运算,尤其是使用Filter的时候。
该字段最好是 bytearray类型,而不要用 int 或者 chararray类型。否则得不到数据
--抽取话单文件中过程号为 attach的话单 统计set job.name 'lte_kpi_user_analysis_s1mme_attatch_15min';allData = load '/user/hdfs/data/200506/20050601/000000/0B43CED07C7438B4328F918C64DACE35-merge';sel_fields = foreach allData generate FLOOR($10/300)*300+8*3600 as (time:chararray), $2 as (interface_type:chararray),$8 as (procedure_type:bytearray,$7 as (msisdn:chararray),$6 as (imei:chararray),$5 as (imsi:chararray),$1 as (city:chararray),$21 as (mme_ip:chararray),$22 as (enodeb_ip:chararray),$25 as (tac:chararray),$26 as (cell_id:chararray),$12 as (cause:int),($10-$9) as (delay:int),$11 as (procedure_status:bytearray);--抽取过程号等于1 s1mme_attach = filter sel_fields by procedure_type == 1;group_by_user = group s1mme_attach by(time, interface_type, procedure_type, msisdn,imei, imsi, city,mme_ip, enodeb_ip, tac, cell_id, cause, hour,miniute15); tmp_result = foreach group_by_user { failures = filter s1mme_attach by procedure_status>0; user_num = distinct s1mme_attach.imsi; generate FLATTEN(group), COUNT(failures) as count_fail, COUNT(user_num) as count_total, AVG(s1mme_attach.delay); };--测试输出filter_tmp = limit s1mme_attach 10;test_out = limit group_by_user 10;test_out2 = limit tmp_result 10;store filter_tmp into '/user/hdfs/xiatao/pigOutput/s1mme_attatch_15min_filter1';store test_out into '/user/hdfs/xiatao/pigOutput/s1mme_attatch_15min_1';store test_out2 into '/user/hdfs/xiatao/pigOutput/s1mme_attatch_15min_2';
如果不适用 bytearray类型,后面输出的几个文件夹中就没有数据。
0 0
- Pig的一个小问题 (filter之后 没有数据)
- 解决在拍照之后,Media数据没有及时更新问题
- 一个项目之后的小总结
- 做完一个小应用之后的总结
- 一个小程序之后的反思
- 记录一个unsigned int 的0被-1之后变成大数的小问题
- Pig Hive相关小问题学习网址
- 中时间数据查询需要注意的一个小问题
- PCL:关于pcd数据显示的一个小问题
- 一个TCP发送小数据延迟的问题
- Android刷三方rom之后 没有logcat日志的问题
- anaconda安装之后菜单栏没有图标的问题
- 写一个Transform Filter碰到的问题
- 一个Filter编码过滤的白痴问题
- 使用https加密之后的数据问题
- 注意访问器中的一个小细节,关于有访问器没有成员变量的问题
- 有关HTTP 返回200状态码 没有返回数据的小问题。
- Pig 处理大量的小文件
- JAVA线程的初步学习
- OpenCV2.1的安装和VS2008的设置
- SpringMvc + Quarzt 动态执行任务实现过程
- pig的 Replicated Join 失败
- android 自定义控件字体,解决字体偏移,卡顿,代码重复等问题
- Pig的一个小问题 (filter之后 没有数据)
- Python学习之语句、列表
- Tiled Layer层空报错问题
- 无题
- MFC打开一个文件
- cocos2dx实现电脑Enter、Escape、方向键的响应
- IllegalArgumentException异常
- BloomFilter
- C++ 基础知识