Unix系统日志介绍和集中采集思路

一　日志作用

1、运行情况
      反映系统当前运行情况，系统发生了那些动作等。
2、故障预警
      预报可能发生的故障或已经发生的故障，便于及时处理。
3、故障分析处理
      对已发生故障的原因、经过，便于故障分析处理。
4、安全、审计
      记录系统登录情况、命令执行情况等。
二 常用UNIX系统日志文件
1、solaris
   /var/adm/
   /var/adm/messages

2、hp unix
   /var/adm/syslog/syslog.log
3、sco unix
   /etc/log目录

4、red hat
  /var/log目录

三 HP-UNIX日志维护工作介绍
1. 常用日志文件
/etc/rc.log 运行记录 用读取文本文件的方法，
/var/adm/syslog/syslog.log 一般系统日志 注意提示信息及对应的分析发生的相关问题。
/var/adm/sw/*.log 软件安装日志 分析发生的相关问题。
/var/adm/wtmp 用户登录信息 用last 命令查看
/var/adm/btmp 用户登录失败信息 用lastb 命令查看
/var/sam/log/samlog SAM 日志
/var/spool/mqueue/syslog sendmail 日志
/etc/shutdownlog 关机(shutdown)信息
/usr/adm/diag/LOGxxx 用工具查看的日志
/var/adm/nettl.LOG* 网络日志 由HP 工程师负责
/var/adm/crash core dump 文件 由HP 工程师负责
2、日志文件的维护
  （1）日志文件清除：
日志文件清理
执行以下命令清空日志文件：
# > 文件名   或者  
# cat /dev/null > 文件名
  注：如果删除了这些文件，将关闭登录记录功能。
  （2）日志文件定期清理
  wtmp 和 btmp 文件会无限制地增长，因此要定期检查这两个文件。请定期删除无用信息，以
防止文件过大。wtmp 和 btmp 文件不是由负责维护它们的程序创建的。如果删除了这些文件，将关闭
登录记录功能。
  （3）日志文件的安全考虑
   有些用户登录时在登录提示符处输入口令或部分口令。此类登录失败情况将记录在btmps文件中，从
而暴露了口令或部分口令。如果安全性策略要求某个用户以前的会话不能被其他用户看到，则可能还需
要更改 /var/adm/wtmp 文件的文件保护设置。由于这些原因，应该对这些文件设置文件保护，使得只
有管理员可读取该文件。
     chmod 400 /var/adm/btmp

3、HP-unix的常用的在线检测工具
（1、STM
        Support Tools Manager,这是HP-unix系统自带的一个诊断和支持工具包。STM自带了硬件测试、日志查看等工具包，日常维护中常用到的是它的日志工具---logtool。
        产生的日志文件位置：/var/stm/logs/os
        由后台进程diagmond、diaglogd支持。
   
（2、EMS
   event monitoring service，HP unix事件告警服务。可以人工设定一些告警门限，通过告警门限自动监视系统运行情况。
   配置工具：/etc/opt/resmon/lbin/monconfig
   产生的日志文件位置：/var/opt/resmon/log/event.log
   由后台进程emsagent、p_client 支持
四、 HP-unix操作系统日志文件的生成过程
1、syslogd进程
   syslogd是一个用于记录系统信息的后台进程。
   启动脚本位于/sbin/rc2.d/S220syslogd
   如果ps –ef | grep syslog无匹配记录，可以用上述脚本路径启动syslog进程。
2、配置文件syslog.conf,通过修改配置文件，可以实现：
(1. 记录到系统日志中；
(2. 写到系统控制台上；
(3. 转发给指定的用户；
(4. 转发给其他主机的syslogd。
3、syslog.conf的语法简介：
举例：
nvbrg2#[/]cat /etc/syslog.conf
# @(#)B.11.11_LR
#
# syslogd configuration file.
#
# See syslogd(1M) for information about the format of this file.
#
mail.debug              /var/adm/syslog/mail.log
*.info;mail.none        /var/adm/syslog/syslog.log
*.alert                 root
*.alert             /dev/console 
*.emerg                 *
*.info;mail.debug;*.alert;*.emerg               @133.191.3.252
nvbrg2#[/]
4、HP-unix中syslog.conf中的配置参数简介
syslog 消息采用一种包含可选优先级和设备的标准格式。
优先级指示消息的紧急程度。设备指示发布消息的子系统。
以下列出了 /usr/include/syslog.h 中定义的优先级和设备资源。
 syslog 优先级
LOG_EMERG       混乱状况，通常广播到所有用户。
LOG_ALERT       应立即更正的状况，如系统数据库损坏。
LOG_CRIT        紧急状况，如硬设备错误。LOG_ERR一般错误。
LOG_WARNING     警告消息。LOG_NOTICE不属于错误但可能需要特别注意的状况。
LOG_INFO        信息性消息。
LOG_DEBUG       该消息包含通常仅在调试程序时使用的信息。
syslog 消息采用一种包含可选优先级和设备的标准格式。
优先级指示消息的紧急程度。设备指示发布消息的子系统。
以下列出了 /usr/include/syslog.h 中定义的优先级和设备资源。
 介绍了 syslog 设备资源消息。
 syslog 设备资源消息
消息说明
LOG_KERN    由内核生成的消息。任何用户进程都无法生成这些消息。
LOG_USER    由随机用户进程生成的消息。如果未指定任何设备，则为缺省设备标  
            识符。
LOG_MAIL    来自邮件系统的消息。
LOG_DAEMON  来自 inetd、ftpd等系统守护程序的消息。
LOG_AUTH    来自 login、su、getty等授权系统的消息。
LOG_SYSLOG  由 syslogd 守护程序内部生成的消息。
LOG_LPR     来自lp、lpsched等打印机假脱机系统的消息。
LOG_NEWS    来自新闻系统的消息。LOG_UUCP来自 UUCP 系统的消息。
LOG_CRON    来自 CRON 守护程序的消息。
LOG_LOCAL0 - LOC_LOCAL7 保留供本地使用。

 5、当前基础系统组系统维护工作中的不利因素
（1、人员不足
（2、监视工作无法自动化，完全依赖于人力
（3、系统维护工作效率低下
五 UNIX系统日志集中采集思路

1、日志采集方法：
    （1）通过修改各系统日志配置文件，将日志信息保存本地一同时，转发给日志服一份。
    （2）通过脚本程序，定期将日志文件通过logger工具传入集中日志服务器。
    在日志服务器侧，将日志信息按一定方式分字段，导入mysql数据库。
    制作查询页面，根据需要，查询系统日志消息。
2、日志集中优点
（1、更易于日志文件分析－ 集中式日志可以使管理员在一台服务器上对各系统日志情况进行集中查看分析，提高效率。
（2、增强了安全性 － 日志文件在本机记录的同时，在集中日志服务器上也进行了记录，提高了日志文件保存的可靠性。
（3、简化了日志归档 － 各系统日志归档工作可以通过在集中日志服务器的一条mysql语句完成，将复杂、麻烦的工作简单化。
3、缺点：
       syslogd 仅支持使用 UDP 进行转发。UDP是一个“无连接”协议，它不提供流控制，也不保证消息送达。同样地，它可能会丢失转发的日志消息。
       syslogd目前仅能对系统级日志信息，按信息的内容自动区分字段，导入数据库。但对于各系统数据库、应用系统本身产生的告警虽然可以收集，但无法按信息内容区分字段入库，有待于在下一步工作中改进。
六 下一步工作的思考
1、    日志系统只提供了一个监视系统运行情况的工具，但分析处理具体故障，还需要根据具体问题具体分析，最终故障的解决依赖于我们维护水平的提高，今后我们还需要多学习、多思考、多总结。

2、    集中日志程序对数据库、应用系统事件日志的集中采集功能需要改进和进一步优化，方便维护工作。

3、   长远来看，不仅系统日志需要集中，各系统主机运行性能指标都需要集中，便于提高维护工作效率。