环境搭建（五）　错误笔记

来源：互联网发布：linux解压zip 编辑：程序博客网时间：2024/05/02 01:36

hadoop-oozie配合使用有各种蛋疼问题，大多跟配置有关，部分记录如下：

１.hadoop-2.5.0-cdh5.3.0 ＝》ｏｏｚｉｅ4.4.0-cdh5.3.0

　<1>oozie对ｈａｄｏｏｐ的身份认证问题　User: xxx is not allowed to impersonate xxx

　　$HADOOP_HOME/etc/hadoop/core-site.xml中进行设置,我的设置如下

<property>
<name>hadoop.proxyuser.A.hosts</name>
<value>oozie-ip</value>
</property>
<property>
<name>hadoop.proxyuser.A.groups</name>
<value>Ａ-group</value>
</property>

　　　其中Ａ是提交oozieｊｏｂ的用户，ｏｏｚｉｅ-ip是ｏｏｚｉｅ机器所在的ｉｐ，Ａ－ｇｒoup是Ａ所在的组。

　<2>oozie提交之后一直处于ｐｒｅｐ状态

　　　job.properties中将jobtracker设置为hadoop的ｙａｒｎ的resource manager的端口，一般为８０３２

<3>ｏｏｚｉｅ的ｍａｐ-reduce任务跑完后一直处于ｒｕｎｎｎｉｎｇ,超过时间限制变为ｓｕｓｐｅｎｄ,查看ｌｏｇ有如下错误：

java.net.ConnectException: to 0.0.0.0:10020 failed on connection exception ，这是ｊｏｂｈｉｓｔｏｒｙ服务没有开启

　　在hadoop的ｍａｐｒｅｄ中添加如下内容：

　　<property>
<name>mapreduce.jobhistory.address</name>
<value>ip:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>ip:19888</value>
</property>

　　重启ｈａｄｏｏｐ,执行：

　　$HADOOP_HOME/sbin/./mr-jobhistory-daemon.sh start historyserver

　　再执行ｏｏｚｉｅｊｏｂ就好了

　<4>　配置ｓｈａｒｅlib路径

　　　<property>
　　 <name>oozie.service.WorkflowAppService.system.libpath</name>
　　 <value>hdfs://localhost:9000/user/${user.name}/share/lib</value>
　　<description>
　　 System library path to use for workflow applications.
　　 This path is added to workflow application if their job properties sets
　　 the property 'oozie.use.system.libpath' to true.
　　</description>
　　</property>

./oozie-setup.sh sharelib create -fs hdfs://master:9000 -locallib /home/root/oozie-4.0.0-cdh5.3.0/oozie-sharelib-4.0.0-cdh5.3.0-yarn.tar.gz

<5> hive　ｊｏｂ导致的ｓｈａｒｅｌｉｂ问题

　　　IllegalArgumentException: Wrong FS: file:/user/root/share/lib/lib_20150427214702/hive/jersey-server-1.9.jar, expected: hdfs://localhost:9000

=> 在ｊｏｂ.ｐｒｏｐｅｒｔｅｓ中配置oozie.libpath=${nameNode}/user/${user.name}/share/lib/lib_20150427214702/hive

<6>　ｏｏｚｉｅ的任务提交了一直处于ｒｕｎｎｉｎｇ状态，ｐｒｅｐ状态

　　＝>检查job.properties里面ｊｏｂｔｒａｃｋｅｒ属性和ｙａｒｎ的ｒｅｓｏｕｒｃｅｍａｎａｇｅｒ值是否一致

0 0

环境搭建（五） 错误笔记

环境搭建（五）　错误笔记