JVMJ9TI001E Agent library am_ibm_16 could not be opened

今天CRM的说210.52上的was无法启动，启动后直接报错：

[uathzdmapp@was]$ sh start

ADMU0116I: 正在文件           /was/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1/startServer.log           中记录工具信息ADMU0128I: 正在启动具有 AppSrv01 概要文件的工具ADMU3100I: 正在从服务器读取配置：server1ADMU3200I: 服务器已启动。正在等待初始化状态。ADMU3011E: 服务器已启动，但是初始化失败。startServer.log、SystemOut.log（或者 zOS 中的作业日志）以及           /was/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1           下的其他日志文件可能包含故障信息。

 

在server的log目录底下也没有生成Systemout.log和SystemErr.log的日志文件

[uathzdmapp@was]$ cd  /was/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1

[uathzdmapp@was]$ l

总计 0

-rw-r--r--    1 was      was            2336  8月16 14时29 startServer.log

-rw-r--r--    1 was      was               0  8月16 14时29 native_stdout.log

-rw-r--r--    1 was      was             631  8月16 14时29 native_stderr.log

 

startServer.log日志文件的内容如下，其实和输出是一样的：

[uathzdmapp@was]$ cat startServer.log

************ Start Display Current Environment ************Host Operating System is AIX, version 6.1Java version = J2RE 1.6.0 IBM J9 2.4 AIX ppc64-64 jvmap6460-20080816_22093 (JIT enabled, AOT enabled)J9VM - 20080816_022093_BHdSMrJIT  - r9_20080721_1330ifx2GC   - 20080724_AA, Java Compiler = j9jit24, Java VM name = IBM J9 VMwas.install.root = /was/IBM/WebSphere/AppServeruser.install.root = /was/IBM/WebSphere/AppServer/profiles/AppSrv01Java Home = /was/IBM/WebSphere/AppServer/java/jrews.ext.dirs = /was/IBM/WebSphere/AppServer/java/lib:/was/IBM/WebSphere/AppServer/classes:/was/IBM/WebSphere/AppServer/lib:/was/IBM/WebSphere/AppServer/installedChannels:/was/IBM/WebSphere/AppServer/lib/ext:/was/IBM/WebSphere/AppServer/web/help:/was/IBM/WebSphere/AppServer/deploytool/itp/plugins/com.ibm.etools.ejbdeploy/runtimeClasspath = /was/IBM/WebSphere/AppServer/profiles/AppSrv01/properties:/was/IBM/WebSphere/AppServer/properties:/was/IBM/WebSphere/AppServer/lib/startup.jar:/was/IBM/WebSphere/AppServer/lib/bootstrap.jar:/was/IBM/WebSphere/AppServer/lib/lmproxy.jar:/was/IBM/WebSphere/AppServer/lib/urlprotocols.jar:/was/IBM/WebSphere/AppServer/java/lib/tools.jarJava Library path = /was/IBM/WebSphere/AppServer/java/jre/lib/ppc64/default:/was/IBM/WebSphere/AppServer/java/jre/lib/ppc64:/was/IBM/WebSphere/AppServer/java/jre/lib/ppc64:/was/IBM/WebSphere/AppServer/java/jre/lib/ppc64/default:/usr/lib:/was/IBM/WebSphere/AppServer/java/jre/lib/ppc64/j9vm:/was/IBM/WebSphere/AppServer/java/jre/lib/ppc64:/was/IBM/WebSphere/AppServer/java/jre/../lib/ppc64:/was/IBM/WebSphere/AppServer/bin::/usr/libCurrent trace specification = *=info************* End Display Current Environment *************[13-8-16 14:29:36:830 CST] 00000000 ManagerAdmin  I   TRAS0017I: 启动跟踪状态是 *=info。[13-8-16 14:29:36:950 CST] 00000000 AdminTool     A   ADMU0128I: 正在启动具有 AppSrv01 概要文件的工具[13-8-16 14:29:36:951 CST] 00000000 AdminTool     A   ADMU3100I: 正在从服务器读取配置：server1[13-8-16 14:29:37:333 CST] 00000000 AdminTool     A   ADMU3200I: 服务器已启动。正在等待初始化状态。[13-8-16 14:29:37:483 CST] 00000000 AdminTool     A   ADMU3011E: 服务器已启动，但是初始化失败。startServer.log、SystemOut.log（或者 zOS 中的作业日志）以及 /was/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1 下的其他日志文件可能包含故障信息。[uathzdmapp@was]$ 

 

查看一下本地标准错误输出日志文件native_stderr.log

[uathzdmapp@was]$ cat native_stderr.log <?xml version="1.0" ?> <verbosegc version="20080724_AA"> <initialized>  <attribute name="gcPolicy" value="-Xgcpolicy:optthruput" />  <attribute name="maxHeapSize" value="0x40000000" />  <attribute name="initialHeapSize" value="0x40000000" />  <attribute name="compressedPointersDisplacement" value="0x0" />  <attribute name="compressedPointersShift" value="0x0" /></initialized> JVMJ9TI001E Agent library am_ibm_16 could not be opened (・径名支帜00不存1                                                                           JVMJ9VM015W Initialization error for library j9jvmti24(-3): JVMJ9VM009E J9VMDllMain failed</verbosegc>Could not create the Java virtual machine. 

 

发现原来was在启动时需要加载一下库文件，但是这些库文件都无法找到，所以最终导致JVM虚拟机无法初始化。在这些错误信息中，比较关键的信息是am_ibm_16这个关键字，安装使用过Tivoli的ITCAM的人可能会眼熟，没见过的就直接Google。原来是这个was安装配置了ITCAM，且前几天重启过服务器，但是不知道为什么Tivoli的ITCAM安装目录没有被自动挂载上来，所以was启动时加载ITCAM的组件就会失败。

[uathzdmapp@root]# df

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on/dev/hd4           2.00      1.78   11%    10339     3% //dev/hd2           5.00      2.30   54%    56326    10% /usr/dev/hd9var        1.00      0.63   38%     8339     6% /var/dev/hd3           2.00      1.99    1%      329     1% /tmp/dev/hd1           2.00      0.97   52%     5621     3% /home/dev/hd11admin      1.00      1.00    1%        5     1% /admin/proc                 -         -    -         -     -  /proc/dev/hd10opt       1.00      0.72   29%    10619     6% /opt/dev/livedump      1.00      1.00    1%        4     1% /var/adm/ras/livedump/dev/ptflv        10.00      1.46   86%    15583     5% /ptf/dev/bealv        10.00      8.33   17%     4286     1% /bea/dev/softlv        5.00      1.38   73%    10475     4% /soft/dev/infalv       20.00      8.40   58%     4550     1% /infa/dev/waslv        10.00      7.57   25%    36896     3% /was

 

[uathzdmapp@root]#

知道问题的所在，解决就比较容易了：

1、  挂载ITCAM安装目录/Tivoli

[uathzdmapp@root]# mount /tivoli

[uathzdmapp@root]# df /tivoli

Filesystem    GB blocks      Free %Used    Iused %Iused Mounted on

/dev/tivolilv      5.00      4.23   16%     7565     1% /tivoli

2、  现在可以启动was了

[uathzdmapp@was]$ sh start

ADMU0116I: 正在文件

           /was/IBM/WebSphere/AppServer/profiles/AppSrv01/logs/server1/startServer.log

           中记录工具信息

ADMU0128I: 正在启动具有 AppSrv01概要文件的工具

ADMU3100I: 正在从服务器读取配置：server1

ADMU3200I: 服务器已启动。正在等待初始化状态。

ADMU3000I: 为电子商务开放服务器 server1；进程标识为 7733476

[uathzdmapp@was]$

3、