详细图解 Pig介绍、安装配置

来源:互联网 发布:美团外卖数据分析 编辑:程序博客网 时间:2024/05/21 07:49

写在前面一:

本文总结“Hadoop生态系统”中的其中一员——Apache Pig


写在前面二:

环境说明:


一、什么是Apache Pig

摘自官网:


1、Pig是基于hadoop的一个数据处理的框架。
     MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。
2、Pig的数据处理语言是数据流方式的,类似于初中做的数学题。
3、Pig基本数据类型:int、long、float、double、chararry、bytearray
       复合数据类型:Map、Tuple、Bag  
      Bag的类型如{('age',31),('name','张三')}

二、Pig安装配置

2.1、下载Pig

        http://pig.apache.org/

2.2、解压缩

      cd /home/yujianxin/pig
      tar -zxvf  pig-0.11.1.tar.gz

2.3、配置pig环境变量


2.4、修改$PIG_HOME/conf/pig.properties,增加如下内容


三、验证Pig安装是否成功

通过命令行


OK!


0 0
原创粉丝点击