oozie4.0 hadoop2.3编译
来源:互联网 发布:access mysql 交互 编辑:程序博客网 时间:2024/05/24 00:06
1:下载地址:http://mirror.bit.edu.cn/apache/oozie/
2:ext2.2.zip下载地址:http://oozie.apache.org/docs/4.0.1/DG_QuickStart.html oozie的quick start页面,往下面看就能找到直接下载链接,不用去ext官网找了哦~~
解压后
tar -zxvf oozie-4.0.1.tar.gz
cd oozie-4.0.1
vim pom.xml
修改
//因为我用的是1.7所以改成1.7的jdk
<javaVersion>1.7</javaVersion>
<targetJavaVersion>1.7</targetJavaVersion>
//试了下hadoop改成2.2.0不行,所以还是保留2.3.0
<hadoop.version>2.3.0</hadoop.version>
//试了下0.98.1和0.98.2不行,所以保留默认
<hbase.version>0.94.2</hbase.version>
//其他0.12.0和0.13.0和0.11.0不行
<hive.version>0.10.0</hive.version>
//我使用的版本,默认好像是0.10.0,我用的是0.12.1编译正常
<pig.version>0.12.1</pig.version>
<pig.classifier></pig.classifier>
//我使用的sqoop版本。默认是1.4.3,我用1.4.4编译正常
<sqoop.version>1.4.4</sqoop.version>
然后使用如下命令编译(如果maven网络老是卡着,就control +c 取消,再重新执行。)
mvn clean package assembly:single-DskipTests
这是我编译用户的环境变量,里面有我使用的软件的版本,大家可以参考下
编译好后
将./oozie-4.0.1/distro/target/oozie-4.0.1-distro.tar.gz拷贝出来,这个就是编译最终生成的包。我把它tar到/usr/local/oozie
目录结构如下:
这个/usr/local/oozie就是我的工作目录了。也就是OOZIE_HOME
2:配置和启动web
假如ext-2.2.zip已经下载到了/home/oozie/ext-2.2.zip中
进入/usr/local/oozie/bin
执行,将ext2.2.0和hadoop的jar包打进新war包里,很重要哦,否则会启动会失败,可以检查下/usr/local/oozie/oozie-server/webapps/有没有 oozie.war,来验证是否成功
./addtowar.sh -inputwar/usr/local/oozie/oozie.war -outputwar/usr/local/oozie/oozie-server/webapps/oozie.war -hadoop 2.3.0 /usr/local/hadoop-extjs /home/oozie/ext-2.2.zip
接着执行下面命令,生成oozie数据库脚本文件
./ooziedb.sh create -sqlfileoozie.sql
接着执行如下命令,执行oozie数据库脚本文件,初始数据库
./oozie-setup.sh db create-run -sqlfile/usr/local/oozie/bin/oozie.sql
接着添加下oozie启停用户的环境变量吧,我新建了一个oozie用户,所以修改/home/oozie/.bashrc
添加如下环境变量,然后记得source一下/home/oozie/.bashrc
export JAVA_HOME=/usr/java/jdk1.7.0_45
exportPATH=$JAVA_HOME/bin:$PATH
exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
exportHADOOP_HOME=/usr/local/hadoop
exportPATH=$PATH:$HADOOP_HOME/bin
exportHADOOP_INSTALL=/usr/local/hadoop
exportPATH=$PATH:$HADOOP_INSTALL/bin
exportPATH=$PATH:$HADOOP_INSTALL/sbin
exportHADOOP_MAPRED_HOME=$HADOOP_INSTALL
exportHADOOP_COMMON_HOME=$HADOOP_INSTALL
exportHADOOP_HDFS_HOME=$HADOOP_INSTALL
exportYARN_HOME=$HADOOP_INSTALL
exportHADOOP_LOG_DIR=/home/hadoop/hadoopdata/logs
export OOZIE_HOME=/usr/local/oozie
exportOOZIE_CONFIG=/usr/local/oozie/conf
exportPATH=$PATH:$OOZIE_HOME/bin
然后就可以通过一下命令启动oozie了
./ooziedb.sh start
如果启动还有错误可以查看/usr/local/oozie/logs/catalina.out里面的错误日志,一步一步调试,我很幸运的没错误。启动成功后,可以访问http:/ip:11000/oozie访问oozie的页面了~~嘿嘿~
oozie的编译安装好了。。。困难的是配置hadoop和hive和pig和hbase那些东西了~~~~~
- oozie4.0 hadoop2.3编译
- oozie4.3编译安装
- Oozie4.1编译过程记录
- Oozie4.3 安装部署
- 0-0 编译hadoop2.2.0
- CentOS7.3编译Hadoop2.7.4
- oozie4.0 cdh版的安装探讨(一)
- oozie4.0 cdh版的安装探讨(二)
- hadoop2.0源码编译 错误及原因
- 在eclipse下编译hadoop2.0源码
- 在eclipse下编译hadoop2.0源码
- 在eclipse下编译hadoop2.0源码
- Linux编译Hadoop2.0生成Hadoop_X64
- hadoop2.2 源码编译
- 编译hadoop2.2.0源码
- hadoop2.2编译
- 重新编译Hadoop2.2
- hadoop2.2.0编译
- startService与bindService
- 开发者福利:iOS开发学习资源、解决方案大放送
- C++函数的默认参数
- NFC framework introduce(二)
- 指向const对象的指针和const指针小结
- oozie4.0 hadoop2.3编译
- php常用方法函数
- 紫外线消毒器:飞利浦紫外线杀菌灯TUV30W型号
- 功率谱与频谱
- Java编程思想之中间层检测类
- android获得屏幕高度和宽度
- Android NDK开发(四)——Java传递数据到C
- 优秀IT技术文章集(最新)(高质量)
- 紫外线消毒器:飞利浦紫外线杀菌灯TUVF17T8