Hadoop之——Pig框架
来源:互联网 发布:ubuntu ntp设置 编辑:程序博客网 时间:2024/05/22 08:13
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/46491773
1.Pig是基于hadoop的一个数据处理的框架。
MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。
3.Pig基本数据类型:int、long、float、double、chararry、bytearray
复合数据类型:Map、Tuple、BagBag的类型如{('age',31),('name','张三')}
4.如何安装Pig
4.1 把pig-0.11.1.tar.gz复制到/usr/local下
4.2 使用命令tar -zxvf pig-0.11.1.tar.gz解压缩
4.3 使用命令mv pig-0.11.1 pig 进行重命名
4.4 编辑文件vi /etc/profile 设置环境变量
export $PIG_HOME=/usr/local/pigexport PATH =......$PIG_HOME/bin....
保存,然后执行source /etc/profile
4.5 编辑文件$PIG_HOME/conf/pig.properties
增加两行如下内容
fs.default.name=hdfs://hadoop0:9000mapred.job.tracker=hadoop0:9001
5.对wlan数据如何使用pig进行分析处理
5.1 把待处理的数据上传到HDFS中
5.2 把HDFS中的数据转换为pig可以处理的模式
A = LOAD '/wlan' AS (t0:long, msisdn:chararray, t2:chararray, t3:chararray, t4:chararray, t5:chararray, t6:long, t7:long, t8:long, t9:long, t10:chararray);
DUMP A;
5.3 把里面的有用的字段抽取出来
B = FOREACH A GENERATE msisdn, t6, t7, t8, t9;
DUMP B;
5.4 分组数据
C = GROUP B BY msisdn;
DUMP C;
5.5 流量汇总
D = FOREACH C GENERATE group, SUM(B.t6), SUM(B.t7), SUM(B.t8), SUM(B.t9);
DUMP D;
5.6 存储到HDFS中
STORE D INTO '/wlan_result';
5.7 排序
E = ORDER D BY group;
DUMP E;
0 0
- Hadoop之——Pig框架
- Hadoop学习笔记—16.Pig框架学习
- HADOOP的PIG框架
- hadoop学习——Pig
- Hadoop学习之Pig
- Hadoop之Pig
- Hadoop之Pig框架学习(笔记17)
- 处理框架—Pig Latin
- Hadoop(六)——子项目Pig
- Hadoop(六)——子项目Pig
- Hadoop(六)——子项目Pig
- Hadoop实战之路——第五章 Pig的使用
- Hadoop系列三:Hadoop之Pig篇
- 8、 Pig(hadoop计算的另一种框架)
- Mapr 安装hadoop的组件(九)——安装Pig
- hadoop pig
- hadoop pig
- hadoop 自学指南十之Pig
- json解析
- Array Pascal's Triangle
- CISC 与 RISC
- PHP5中Cookie与 Session详解
- HDOJ 2031 进制转换
- Hadoop之——Pig框架
- 玩家流失预测
- what is film faced plywood
- Android 轻松实现网络交互模板
- 彻底理解PHP的SESSION机制
- iOS 图片的处理小结
- XTU 1236 Fraction(二分)
- poj2284 That Nice Euler Circuit(欧拉定理+枚举)
- DB2编目