oozie4.0 hadoop2.3编译

来源:互联网 发布:access mysql 交互 编辑:程序博客网 时间:2024/05/24 00:06
http://zhangrenhua.com博客已搬家

1:下载地址http://mirror.bit.edu.cn/apache/oozie/ 

2ext2.2.zip下载地址:http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html ooziequick start页面,往下面看就能找到直接下载链接,不用去ext官网找了~~
















解压后

tar -zxvf oozie-4.0.1.tar.gz

cd oozie-4.0.1

vim pom.xml

修改

//因为我用的是1.7所以改成1.7jdk

<javaVersion>1.7</javaVersion>
<targetJavaVersion>1.7</targetJavaVersion>

//试了下hadoop改成2.2.0不行,所以还是保留2.3.0

<hadoop.version>2.3.0</hadoop.version>

//试了下0.98.10.98.2不行,所以保留默认
<hbase.version>0.94.2</hbase.version>

//其他0.12.00.13.00.11.0不行

<hive.version>0.10.0</hive.version>

//我使用的版本,默认好像是0.10.0,我用的是0.12.1编译正常
<pig.version>0.12.1</pig.version>
<pig.classifier></pig.classifier>

//我使用的sqoop版本。默认是1.4.3,我用1.4.4编译正常
<sqoop.version>1.4.4</sqoop.version>

然后使用如下命令编译(如果maven网络老是卡着,就control +c 取消,再重新执行。)

mvn clean package assembly:single-DskipTests

这是我编译用户的环境变量,里面有我使用的软件的版本,大家可以参考下


编译好后

./oozie-4.0.1/distro/target/oozie-4.0.1-distro.tar.gz拷贝出来,这个就是编译最终生成的包。我把它tar/usr/local/oozie

目录结构如下:


这个/usr/local/oozie就是我的工作目录了。也就是OOZIE_HOME

2:配置和启动web

假如ext-2.2.zip已经下载到了/home/oozie/ext-2.2.zip

进入/usr/local/oozie/bin

执行,将ext2.2.0hadoopjar包打进新war包里,很重要哦,否则会启动会失败,可以检查下/usr/local/oozie/oozie-server/webapps/有没有 oozie.war,来验证是否成功

./addtowar.sh -inputwar/usr/local/oozie/oozie.war -outputwar/usr/local/oozie/oozie-server/webapps/oozie.war -hadoop 2.3.0 /usr/local/hadoop-extjs /home/oozie/ext-2.2.zip

接着执行下面命令,生成oozie数据库脚本文件

./ooziedb.sh create -sqlfileoozie.sql

接着执行如下命令,执行oozie数据库脚本文件,初始数据库

./oozie-setup.sh db create-run -sqlfile/usr/local/oozie/bin/oozie.sql

接着添加下oozie启停用户的环境变量吧,我新建了一个oozie用户,所以修改/home/oozie/.bashrc

添加如下环境变量,然后记得source一下/home/oozie/.bashrc

export JAVA_HOME=/usr/java/jdk1.7.0_45
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportHADOOP_HOME=/usr/local/hadoop
exportPATH=$PATH:$HADOOP_HOME/bin
exportHADOOP_INSTALL=/usr/local/hadoop
exportPATH=$PATH:$HADOOP_INSTALL/bin
exportPATH=$PATH:$HADOOP_INSTALL/sbin
exportHADOOP_MAPRED_HOME=$HADOOP_INSTALL
exportHADOOP_COMMON_HOME=$HADOOP_INSTALL
exportHADOOP_HDFS_HOME=$HADOOP_INSTALL
exportYARN_HOME=$HADOOP_INSTALL
exportHADOOP_LOG_DIR=/home/hadoop/hadoopdata/logs
export OOZIE_HOME=/usr/local/oozie
exportOOZIE_CONFIG=/usr/local/oozie/conf
exportPATH=$PATH:$OOZIE_HOME/bin


然后就可以通过一下命令启动oozie

./ooziedb.sh start


 如果启动还有错误可以查看/usr/local/oozie/logs/catalina.out里面的错误日志,一步一步调试,我很幸运的没错误。启动成功后,可以访问http:/ip:11000/oozie访问oozie的页面了~~嘿嘿~



oozie的编译安装好了。。。困难的是配置hadoophivepighbase那些东西了~~~~~




































































0 0