系统日志的处理方法和系统日志的处理平台

摘要

本发明公开了一种系统日志的处理方法和系统日志的处理平台。本发明实施例提供的一种系统日志的处理方法包括：访问生成系统日志的设备，从该设备采集系统日志；将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的设备类型；根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理。

说明

系统日志的处理方法和系统日志的处理平台

技术领域

[0001] 本发明涉及互联网通信技术领域，特别涉及一种系统日志的处理方法和系统日志 的处理平台。

背景技术

[0002] 在现代运维体系中，规模化的应用系统与网络设备需要自动化的监管系统进行管 理，对系统日志（syslog)信息的监管就是其中重要一环。然而在实际中，由于不同的应用 系统、网络设备对应的日志格式各不相同，这给标准化的syslog分析带来了巨大难度。

[0003] 现有系统日志的处理方案主要是将各种设备的系统日志集中存储到一个指定服 务器，通过系统的看门狗（watchdog)服务过滤和抓取日志，并对满足看门狗服务设定条件 的记录进行报警。

[0004] 然而，看门狗服务仅能实现一些比较简单的操作，使用的过滤条件较单一，无法全 面准确地区分出危险的日志，过滤效果差；并且，看门狗服务将各种类型的日志混杂在一起 进行处理，各条日志存储的格式和内容差异较大，导致后续操作中对系统日志的利用和开 发难度较大，资源利用率较低。目前亟待一种针对日志挖掘、分析和监控报警等于一体的综 合服务平台。

发明内容

[0005] 鉴于上述问题，本发明实施例提供了一种系统日志的处理方法和系统日志的处理 平台。

[0006] 为达到上述目的，本发明实施例采用了如下技术方案：

[0007] 本发明一个实施例提供了一种系统日志的处理方法，该方法包括：

[0008] 访问生成系统日志的设备，从设备采集系统日志；

[0009] 将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志对应的 设备类型；

[0010] 根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过滤；

[0011] 将过滤结果发送至服务器侧，由服务器侧对系统日志进行报警处理；

[0012] 其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系统日志格 式的条件表达式生成；

[0013] 每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的关键字 或者禁止包括的关键字生成。

[0014] 本发明又一个实施例提供了一种系统日志的处理方法，包括：接收客户端侧上报 的系统日志的过滤结果并按照预定的统一格式将过滤结果存储至数据库，该过滤结果包括 系统日志和该系统日志对应的标志位，该标志位包括第一标志位、第二标志位和第三标志 位，该方法还包括：

[0015] 当根据过滤结果获知系统日志具有第一标志位时，采用短信方式和邮件方式发送 报警消息；

[0016] 当根据过滤结果获知系统日志具有第二标志位时，不执行报警操作；

[0017] 当根据过滤结果获知系统日志具有第三标志位时，采用邮件方式发送报警消息。

[0018] 本发明又一个实施例提供了一种系统日志的处理平台，该平台包括系统日志采集 系统和系统日志管理系统，

[0019] 系统日志采集系统包括消息队列模块、模板选择器、关键字过滤器以及守护任务 和调度器DTS ;

[0020] 消息队列模块，用于访问生成系统日志的设备，从设备采集系统日志；

[0021] 模板选择器，用于将采集到的系统日志的格式与指定的设备模板进行匹配，确认 各系统日志对应的设备类型；

[0022] 关键字过滤器，用于根据各系统日志的设备类型，利用指定的关键字模板对系统 日志进行过滤，并将过滤结果发送至系统日志管理系统；

[0023] DTS，用于对消息队列模块、模板选择器和关键字过滤器进行预定与调度；

[0024] 系统日志管理系统包括数据库、数据生成器、报警模块和数据访问和控制中心 DACC ；

[0025] 数据库，用于存储平台中的数据；

[0026] 数据生成器，用于接收来自系统日志采集系统的过滤结果，并按照预定的统一格 式将过滤结果存储至数据库；

[0027] 报警模块，用于根据数据生成器中的数据进行报警；

[0028] DACC，用于对数据库、数据生成器和报警模块进行管理；

[0029] 其中，每种设备类型的所述设备模板由能够匹配该设备类型下的所有系统日志格 式的条件表达式生成；

[0030] 每种设备类型的所述关键字模板由该设备类型下系统日志中允许包括的关键字 或者禁止包括的关键字生成。

[0031] 本发明实施例通过将系统日志与所建立的设备模板相匹配的技术手段，能够区分 出不同设备的系统日志，对不同设备的系统日志进行不同处理，以及通过设备类型结合指 定的关键字模板对系统日志进行过滤的手段，提高了过滤方式的灵活性，能够全面、准确地 对日志进行过滤。

[0032] 由上，本发明实施例提供的系统日志处理方案，不但能够对不同类型的系统日志 进行区分处理和存储，极大便利了后续对系统日志的利用，满足对系统日志二次开发的需 求，提高资源利用率；而且能够提高日志过滤的精准度和灵活性，实现问题的精准定位、精 确报警和问题预警，提高系统的运维质量。

附图说明

[0033] 图1为根据本发明一个实施例的一种系统日志的处理平台结构示意图；

[0034] 图2为根据本发明一个实施例的系统日志采集系统的工作流程示意图；

[0035] 图3为根据本发明一个实施例的另一种系统日志的处理平台的结构示意图；

[0036] 图4为根据本发明又一个实施例的系统日志的处理方法流程示意图；

[0037] 图5为根据本发明又一个实施例的系统日志的处理方法流程示意图。

具体实施方式

[0038] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方 式作进一步地详细描述。

[0039] 本发明实施例实现了一种集中分析、精准定位、实时报警、面向多用户、便于查询 与深入分析的系统日志的处理平台，既可以满足不同应用、不同设备的日志分析需求，又是 一套完整的监控与报警综合服务平台。

[0040] 本发明一个实施例提供的一种系统日志的处理平台，参见图1，该平台包括系统 日志采集系统和系统日志管理系统。本实施例不对平台及其各器件的名称进行严格限定， 如系统日志的处理平台可以称之为系统日志信息采集与管理系统（Syslog Information Collection And Management System，SICMS)，SICMS 包括系统日志采集系统 100 和系统日 志管理系统200。

[0041] 系统日志米集系统100包括守护任务和调度器（Daemon Task and Scheduler, DTS)、系统日志信息采集（Syslog Information Collection, SIC)功能和系统日志信息 管理（Syslog Information Analyse，SIA)功能。SIC 中包括消息队列（Message Queue) 模块112和心跳检测（Heartbeat Monitor)模块113 ;SIA中包括模板选择器（Template Selector) 114 和关键字过滤器（Keywords Filter) 115。

[0042] 系统日志管理系统200包括数据库（Data Center) 214、数据生成器212、报警模块 213、数据访问和控制中心（Data Access&Control Centre，DACC)211。其中报警模块213可 以设置在监控中心（Monitor Center)中，并且系统日志管理系统200中还可以设置有控制 中心（Logzilia Expand) 〇

[0043] 其中，SIC功能主要用于对syslog进行检查与索引，并生成消息队列输送给SIA。

[0044] 消息队列模块112隶属于SIC,用于生成实时消息队列。

[0045] 心跳检测模块113隶属于SIC，用于检测报警那些不能正常投递日志的被采集设 备。

[0046] SIA功能主要用于处理消息队列并生成所需数据。

[0047] 模板选择器114隶属于SIA，使用相对应的设备模板对来自被米集设备的系统日 志进行匹配。

[0048] 关键字过滤器115隶属于SIA，通过多级过滤条件（如多级关键字模板）过滤数 据。

[0049] DTS111负责系统日志采集系统100中SIC和SIA功能的运行与调度。

[0050] DACC211主要对系统日志管理系统200中的器件进行管理，其功能包括等级关键 字的设置、数据库及其管理、统计与检索、监控报警等。

[0051] 数据库214隶属于DACC，用于记录格式化后的syslog、配置信息与管理日志等。

[0052] 控制中心隶属于DACC，是DACC的网络（web)控制台。

[0053] 监控中心隶属于DACC，由分级报警模块213和平台展现模块两部分组成。

[0054] 下面结合附图分别对上述各功能和单元进行具体说明。

[0055] 参见图2,显示了本发明一个实施例的系统日志采集系统的工作流程示意图。

[0056] 在开始执行对系统日志的处理操作时，消息队列模块112访问生成系统日志的设 备，从设备采集系统日志。这些设备主要为一些可能产生系统日志的进程，如防火墙设备、 路由器设备、交换机设备和负载均衡设备中的一种或多种等。

[0057] 具体地，消息队列模块112利用日志工具logtail访问需要执行日志采集的设备， 当该设备中存在系统日志时，采集该系统日志并生成消息队列形式的系统日志消息流，然 后将消息流送入模板选择器114。即本实施例采用消息队列的数据形式，以便于对系统日志 进行处理。logtail工具是部署在客户端侧（如syslog-ng日志工具）上的一个客户端脚 本，它为每个日志文件设置检测点（checkpoint)，以向SIC提供最新的syslog记录，是消息 队列模块112所使用的获取数据流的工具。本方案将系统日志采集系统设置在客户端侧， 进行系统日志的采集、过滤等操作，将系统日志管理系统设置在服务器侧，进行系统日志的 报警、二次开发等操作。

[0058] 当消息队列模块112没有从设备中采集到系统日志时，DTS111调度心跳检测模块 113向设备发送心跳消息，即心跳检测模块113会根据DTS111的调度向设备发送心跳消息， 从而触发该设备发送任意系统日志，以确定该设备的存活状态，即该设备是否处于正常工 作状态。当心跳检测模块113接收到该设备根据心跳消息返回系统日志时，将该系统日志 发送至模板选择器114,由模板选择器114进行处理。

[0059] 当心跳检测模块113接收到该设备根据心跳消息返回指示发生故障的应答，则将 该设备的信息发送至DTS111并记录，由DTS111将该设备的信息发送至系统日志管理系统 进行报警。当心跳检测模块113接收到该设备根据心跳消息返回指示正常的应答时，即该 设备正常工作但该设备不生成系统日志，则结束对该设备的操作。

[0060] DTS111对消息队列模块、模板选择器和关键字过滤器进行运行与调度。

[0061] 模板选择器114将采集到的系统日志与指定的设备模板进行匹配，确认各系统日 志对应的设备类型。系统日志经过消息队列模块112的处理后形成系统日志消息流，模板 选择器114将设备模板与消息流进行匹配。设备类型可以指示生成系统日志的设备的名 称、设备的型号等。在执行匹配操作时，模板选择器114会遍历各设备模板，将各设备模板 逐一对消息流中的系统日志（如系统日志的格式）进行匹配，当出现匹配成功的设备模板 时，终止匹配操作，将与系统日志匹配成功的设备模板对应的设备类型作为该系统日志的 设备类型。

[0062] 模板选择器114可以从系统日志管理系统获取使用的设备模板，例如，由系统日 志采集系统中的DTS向系统日志管理系统中的DACC发送请求获取设备模板的请求，DTS接 收DACC根据该请求下发的设备模板，DTS将该设备模板发送至模板选择器114。

[0063] 本实施例中，对每一种设备类型，将能够匹配该设备类型下的所有系统日志格式 的条件表达式选取为该设备类型的设备模板，则在进行设备模板与系统日志的匹配操作 时，将采集到的系统日志的格式与下述指定的设备模板进行匹配。本实施例通过对各设备 的系统日志的统计和分析，提供的指定的设备模板的示例如下：

[0064] 防火墙（FireWall)的设备模板为：

[0065] (·*? )\s ? (\w+(-\w+) {1,4}) ? \s ? \ %? \ %? (\w+[- V ] ([0-7])

[-V ]\w+(\(\w+\)) ? ): ? \s ? (. *)

[0066] 路由器与交换机（Switch and Router)的设备模板为：

[0067] (·*? )\s ? (\w+(-\w+) {1,4}) ? \s ? \ %? \ %? (\w+[- V ] ([0-7])

[-V ]\w+(\(\w+\)) ? ): ? \s ? (. *)

[0068] F5负载均衡设备的设备模板为：

[0069] (. * ? ) \s ? \w+(-\w+) {1,4} \s+(. * ? ):\s+(. *)

[0070] A10负载均衡设备的设备模板为：

[0071] (· * ? ) \s ? (alOlogd:\s+\ [\w+\])〈（ [0-7]) >\s+(· *)

[0072] Alteon负载均衡设备的设备模板为：

[0073] (\w+) \s+ (AlteonOS\s+〈\w+>) : \s+ (· *)

[0074] Juniper防火墙或路由器设备的设备模板为：

[0075] (· * ? ) \s ? [Jnpr I Juniper: ]\s+(· *)

[0076] 由上，本实施例不同设备的系统日志格式，制定的与之相符合的条件表达式，作为 设备模板。设备模板由DTS进行调度，用于在系统日志采集系统中与消息流进行匹配比对， 来确定日志来源属于何种设备，以及解析各字段含义，为后续数据生成器的格式标准化输 出所用。

[0077] 关键字过滤器115根据各系统日志的设备类型，利用指定的关键字模板对系统日 志进行过滤，并将过滤结果发送至系统日志管理系统。关键字过滤器115对系统日志的过 滤操作主要起到了将系统日志进行分类的作用，本实施例中过滤后的系统日志被分为三大 类，一类为危险的系统日志（可为其设置第一标志位），再一类为安全的系统日志（可为其 设置第二标志位），又一类为未知的系统日志（可为其设置第三标志位），按照类别将系统 日志的相关信息上报至服务器侧（如系统日志管理系统），从而使系统日志管理系统能够 对不同类别的系统日志进行不同的操作。

[0078] 图2所示的实施例中关键字过滤器115包括一级关键字过滤器和二级关键字过滤 器。关键字过滤器115使用的关键字模板包括一级关键字模板和二级关键字模板，不同设 备类型的系统日志对应的二级关键字模板不同，而所有设备类型的系统日志都可以使用相 同的一级关键字模板。

[0079] 关键字过滤器115可以从系统日志管理系统获取使用的关键字模板，例如，由系 统日志采集系统中的DTS向系统日志管理系统中的DACC发送请求获取关键字模板的请求， DTS接收DACC根据该请求下发的关键字模板，DTS将该关键字模板发送至关键字过滤器 115。

[0080] 关键字过滤器115中的一级关键字过滤器利用一级关键字模板对所有设备类型 的系统日志进行匹配，为一级关键字模板匹配成功的系统日志设置第一标志位，将匹配成 功的系统日志、该系统日志的第一标志位及设备类型上报至系统日志管理系统。本实施例 中设置的标志位为一种报警级别标记，如第一标志位可以设置为1，表示报警级别为一级。 对第一标志位的系统日志，认定为危险日志，需要报警。

[0081] 对一级关键字模板匹配失败的系统日志，二级关键字过滤器利用该系统日志的设 备类型对应的二级关键字模板对该系统日志进行匹配，为二级关键字模板匹配成功的系统 日志设置第二标志位，将匹配成功的系统日志、该系统日志的设备类型上报至系统日志管 理系统。如第二标志位可以设置为2,表示报警级别为二级。对第二标志位的系统日志，认 定为排除对象，即该类型系统日志为安全日志，不需要报警。

[0082] 关键字过滤器115为一级关键字模板和二级关键字模板都匹配失败的系统日志 设置第三标志位，将该系统日志、该系统日志的第三标志位及设备类型上报至系统日志管 理系统。如第三标志位可以设置为-1，表示未定义。通过第三标志位的系统日志可以发现 过滤条件之外未被发掘的、具有潜在价值的日志，增强系统的发现与学习能力。

[0083] 由上，考虑到具有第二标志位的系统日志不需要报警，本实施例中采用仅将设置 的第一标志位、第三标志位上报至服务器侧，而不将设置的第二标志位上报至服务器侧的 处理方式，则在服务器侧将具有第一标志位或第三标志位之外的系统日志视为具有第二标 志为的系统日志。

[0084] 又一种方式下，客户端可以将设置的第一标志位、第二标志位和第三标志位都上 报至服务器侧，便于服务器侧对不同的系统日志进行区分和操作。

[0085] 本实施例使用的一级关键字模板，参见下表1 :

[0086] 表 1

[0087]

[0088] 上述表1中的每个框格表示一个一级关键字，当一条系统日志与上述的至少一个 一级关键字相匹配时，表明该系统日志与一级关键字模板匹配成功。上述符号"\b，\s，□" 为正则表达式语法，符号"\b"表示就近匹配，符号"\s "表示空格，符号"[]"表示其中的字 符为可选。

[0089] 本实施例对不同设备使用的二级关键字模板不同，二级关键字模板的示例表示如 下：

[0090] A10负载均衡设备对应的二级关键字模板如下：

[0091] (" NTP" [Uu]ser〃 ，" Session" Service tcp" SLB server");

[0092] F5负载均衡设备对应的二级关键字模板如下：

[0093] (" ssl_" NTP" [Uu] ser" Session" HTTP" mysqlsys log-ng/7 , " crond" , " httpd" , " sshd〃 , " anacron" , " mcpd〃 , " Limiting" )；

[0094] Alteon负载均衡设备对应的二级关键字模板如下：

[0095] (" mgmt");

[0096] 防火墙设备对应的二级关键字模板如下：

[0097] (" [Dd]enied〃，" Deny" Invalid" [Pp]ower〃，" [Cc]onfigur〃 )；

[0098] 路由器与交换机设备对应的二级关键字模板如下：

[0099] (" [Cc]onfigur〃，" SHELL"，" CMD"，" SSH"，" SNMP"，" TELNET"，" VTY ","Trap" , " 0ID" , " admin");

[0100] Nokia防火墙设备对应的二级关键字模板如下：

[0101] (" BACKUP_REST0RE_C0NFIG"，" snmpd"，" r印eated"，" telnetd"，" syslo gd" , " CONFIG" ," ntpdate" , " cron:" , " ipsctl get error" ," login" ," passwd")；

[0102] juniper防火墙设备对应的二级关键字模板如下：

[0103] (" SNMP"，" INFO"，，System\(\)\[\]，，" Syslog 3835"，" Unable to resolve" , " Unable to open" )〇

[0104] 进一步的，本实施例中当模板选择器114中没有与采集到的系统日志相匹配的设 备模板时，将该系统日志的设备类型设置为未定义（undefined)设备类型；则关键字过滤 器115仅利用一级关键字模板对该系统日志进行匹配，将匹配成功的系统日志、该系统日 志的第一标志位及设备类型上报至服务器侧，将匹配失败的系统日志记录在临时文件中备 案。

[0105] 由上，本实施例采用两级的关键字结构，一级关键字模板作为报警特征使用，二级 关键字模板作为排除特征使用，即每种设备类型的一级关键字模板由该设备类型下系统日 志中禁止包括的关键字生成，而每种设备类型的二级关键字模板由该设备类型下系统日志 中允许包括的关键字生成。

[0106] 一级关键字模板作用于所有类型的设备，二级关键字模板作用于不同类型的设 备。根据关键字模板过滤出一级、二级和未定义级别的系统日志。对于标志位为1的系统 日志（认定为危险），将其设备类型连同标志位直接传递给系统日志管理系统，如先发送至 系统日志管理系统中的数据生成器，再由数据生成器对该系统日志的格式进行处理后，发 送至报警模块并存储在数据库模块中；对标志位为2的系统日志（认定为排除对象），将其 设备类型、关键字计数结果等信息提交给数据库模块；对于标志位为-1的系统日志（认定 为未定义），将其设备类型连同标志位也直接传递给系统日志管理系统。

[0107] 本实施例提供的系统日志采集系统能够依据设备型号，过滤掉不重要的垃圾信 息，同时又可以自动发现未被发掘的有价值的日志信息，实现问题的精准定位、精确报警和 问题预警，为运维人员的快速响应提供有力保障，提高运维质量。

[0108] 参见图3,显示了本发明一个实施例的另一种系统日志的处理平台的结构示意图。 该平台包括位于客户端侧（如syslog-ng日志工具）的系统日志采集系统100,以及位于服 务器侧的（如syslog-ng日志工具服务器）的系统日志管理系统200。

[0109] 系统日志采集系统100中包括DTS、关键字过滤器（包括一级关键字过滤器和二级 关键字过滤器）、消息队列模块、模板选择器和心跳检测模块，这些器件的具体工作方式可 以参见图1和图2示出的实施例中的相关内容。本实施例主要对系统日志管理系统200的 结构及运行方式进行说明。

[0110] 系统日志管理系统200包括数据库214、数据生成器212、报警模块213和 DACC211。DACC211对数据库、数据生成器和报警模块进行管理。

[0111] 数据库214存储平台中的数据。数据库214可以采用mysql数据库，其存储平台 的业务数据、配置信息和系统日志等，并为数据生成器212和DACC211所调用。

[0112] 数据生成器212接收来自系统日志采集系统100的过滤结果，并按照预定的统一 格式将过滤结果存储至数据库。数据生成器212将各条系统日志及其相关信息整理成统一 的标准格式，即对接收到的数据进行格式化，如将每条系统日志的相关数据整理为按照主 机名称-IP地址-设备类型-标志位-系统日志的次序的格式。数据生成器212将统一格 式后的系统日志存储至数据库214中。

[0113] 当进行二次开发或数据统计等，需要从数据库214中提取系统日志时，DACC接收 来自外部的日志处理指令，根据该指令按照预定的统一格式从数据库214中提取出指定设 备类型的系统日志，并按照日志处理指令进行处理，如数据统计、或者筛选未定义的有价值 的新关键字等。

[0114] 本实施例中通过根据系统日志采集系统上报的设备类型，将系统日志转换为统一 格式的技术手段，能够对不同类型的系统日志进行区分处理和存储，极大便利了后续对系 统日志的利用，满足对系统日志二次开发的需求，提高资源利用率；而且能够提高日志过滤 的精准度和灵活性，实现问题的精准定位、精确报警和问题预警，提高系统的运维质量。

[0115] 报警模块213根据数据生成器212中的数据进行报警。报警模块213针对数据生 成器212抛来的数据进行报警。报警动作包括短信报警、邮件报警两种方式。对于标志位 为1的系统日志，报警模块213同时触发这两种方式，如报警模块213向业务组发送邮件或 发送短信报警。标志位为-1的系统日志仅触发邮件报警方式，如报警模块213仅向业务组 发送邮件报警。即报警模块213当根据所述数据生成器212中的过滤结果获知系统日志具 有第一标志位时，采用短信方式和邮件方式发送报警消息；当根据所述过滤结果获知系统 日志具有第三标志位时，采用邮件方式发送报警消息；当根据所述过滤结果获知系统日志 不具有第一标志位或第三标志位时，不执行报警操作。

[0116] 除了向远程的业务组报警，本实施例也可以在DACC上实现本平台的平台报警。平 台报警以颜色和声音两种方式进行展现，颜色方面分为黄色预警和红色报警两种，声音方 面是针对红色报警进行音频播放动作。

[0117] 系统日志管理系统中还可以包括一个独立的控制中心（Logzilla Expand)，或者， 该控制中心可以设置在DACC中实现。logzilla是一款开源的日志收集工具，能很好的展 示和检索日志。本方案在logzilla基础上，通过php语言开发，加入了模板定义模块、关键 字定义模块、报警模块、统计分析模块、智能标识关键字模块。把logzilla改造成为了一 个集日志信息管理、监控报警、统计分析与智能化的综合管控平台，即控制中心（Logzilla Expand)〇

[0118] 控制中心提供可视化数据展现、数据关联检索、设备模板定义、关键字模板定义、 数据统计分析、数据导出、权限与配置修改、平台报警功能、智能标识关键字功能等。

[0119] 控制中心通过定义设备模板、关键字模板，实现模板的平台化管理，并且，当出现 新加入的需要监控的设备时，只需在控制中心为其配置设备模板、关键字模板并下发至关 键字过滤器后，就可以将新设备纳入的系统日志的处理平台中来，实现了不同应用、不同设 备的日志分析需求。

[0120] 以及，控制中心通过对历史数据的统计计算可以实现图表的功能；通过分词算法 可以统计出未定义日志中有价值的新关键字，并在监控页面中自动出具新关键字添加提示 信息，从而形成一个集数据、监控、报警、统计功能、智能分析于一体的综合服务平台。

[0121] 本发明又一个实施例还提供了一种系统日志的处理方法，参见图4,该方法包括：

[0122] S400 :访问生成系统日志的设备，从所述设备采集系统日志；

[0123] S402:将采集到的系统日志的格式与指定的设备模板进行匹配，确认各系统日志 对应的设备类型；

[0124] S404:根据各系统日志的设备类型，利用指定的关键字模板对系统日志进行过 滤；

[0125] S406 :将所述过滤结果发送至服务器侧，由服务器侧对所述系统日志进行报警处 理。

[0126] 其中，每种设备类型的设备模板由能够匹配该设备类型下的所有系统日志格式的 条件表达式生成；

[0127] 每种设备类型的关键字模板由该设备类型下系统日志中允许包括的关键字或者 禁止包括的关键字生成

[0128] 其中，上述步骤S400包括：利用日志工具logtail访问设备，当该设备中存在系统 日志时，采集该系统日志并生成消息队列形式的系统日志消息流；当该设备中不存在系统 日志时，通过建立的DTS向该设备发送心跳消息，若该设备根据心跳消息返回系统日志，则 采集该系统日志并生成消息队列形式的系统日志消息流，若该设备根据心跳消息返回指示 发生故障的应答，则将相应设备的信息记录在DTS中，由DTS发送至服务器侧进行报警。

[0129] 在步骤S402之前，上述方法还包括：向服务器侧发送请求获取所述设备模板和/ 或关键字模板的请求；接收服务器侧根据所述请求下发的设备模板和/或关键字模板。 [0130] 上述指定的关键字模板包括一级关键字模板和二级关键字模板，为不同设备类型 的系统日志设置的二级关键字模板不同，上述步骤S404包括：利用一级关键字模板对所有 设备类型的系统日志进行匹配，为一级关键字模板匹配成功的系统日志设置第一标志位， 将匹配成功的系统日志、该系统日志的第一标志位及设备类型上报至服务器侧；对一级关 键字模板匹配失败的系统日志，利用该系统日志的设备类型对应的二级关键字模板对该系 统日志进行匹配，为二级关键字模板匹配成功的系统日志设置第二标志位，将匹配成功的 系统日志、该系统日志的设备类型上报至服务器侧；以及，为一级关键字模板和二级关键字 模板都匹配失败的系统日志设置第三标志位，将该系统日志、该系统日志的第三标志位及 设备类型上报至服务器侧。

[0131] 由上，本实施例采用两级的关键字结构，一级关键字模板作为报警特征使用，二级 关键字模板作为排除特征使用。一级关键字模板作用于所有类型的设备，二级关键字模板 作用于不同类型的设备。根据关键字模板过滤出一级、二级和未定义级别的系统日志。对 于标志位为1的系统日志（认定为危险），将其设备类型连同标志位直接传递给系统日志管 理系统，如先发送至系统日志管理系统中的数据生成器，再由数据生成器对该系统日志的 格式进行处理后，发送至报警模块并存储在数据库模块中；对标志位为2的系统日志（认定 为排除对象），将其设备类型、关键字计数结果等信息提交给数据库模块；对于标志位为-1 的系统日志（认定为未定义），将其设备类型连同标志位也直接传递给系统日志管理系统。

[0132] 进一步的，上述方法还包括：当采集到的系统日志没有匹配的设备模板时，将该系 统日志的设备类型设置为未定义设备类型；

[0133] 步骤S404中利用指定的关键字模板对系统日志进行过滤包括：仅利用一级关键 字模板对该系统日志进行匹配，将匹配成功的系统日志、该系统日志的第一标志位及设备 类型上报至服务器侧，将匹配失败的系统日志记录在临时文件中。

[0134] 本方法实施例中各步骤的具体执行方法可以参见本发明产品实施例中系统日志 采集系统的相关内容，在此不再赘述。

[0135] 本发明又一个实施例还提供了一种系统日志的处理方法，参见图5,该方法包括：

[0136] S500:接收客户端侧上报的系统日志的过滤结果并按照预定的统一格式将过滤结 果存储至数据库，该过滤结果包括系统日志和该系统日志对应的标志位，该标志位包括第 一标志位和第二标志位。

[0137] S502 :当根据所述过滤结果获知系统日志具有第一标志位时，采用短信方式和邮 件方式发送报警消息；

[0138] S504 :当根据所述过滤结果获知系统日志具有第三标志位时，采用邮件方式发送 报警消息；

[0139] S506 :当根据所述过滤结果获知系统日志不具有第一标志位或第三标志位时，不 执行报警操作。

[0140] 上述步骤S500至S506的方案中，客户端仅将设置的第一标志位和第二标志位上 报至服务器侧，则在服务器侧将具有第一标志位或第三标志位之外的系统日志视为具有第 二标志为的系统日志。

[0141] 又一种方式下，当客户端将设置的第一标志位、第二标志位和第三标志位都上报 至服务器侧，服务器侧可以便捷、快速地识别出各个类别的系统日志，便于服务器侧对各类 别的系统日志进行包括报警处理在内的其它操作。

[0142] 进一步的，上述过滤结果中还包括系统日志的设备类型，该方法还包括：根据接收 到的日志处理指令，按照所述预定的统一格式从所述数据库中提取出指定设备类型的系统 日志，并按照所述日志处理指令进行处理，如数据统计、或者筛选未定义的有价值的新关键 字等。

[0143] 本方法实施例中各步骤的具体执行方法可以参见本发明产品实施例中系统日志 管理系统的相关内容，在此不再赘述。

[0144] 由上所述，本发明实施例通过将系统日志与所建立的设备模板相匹配的技术手 段，能够区分出不同设备的系统日志，对不同设备的系统日志进行不同处理，以及通过设备 类型结合指定的关键字模板对系统日志进行过滤的手段，提高了过滤方式的灵活性，能够 全面、准确地对日志进行过滤。

[0145] 由上，本发明实施例提供的系统日志处理方案，不但能够对不同类型的系统日志 进行区分处理和存储，极大便利了后续对系统日志的利用，满足对系统日志二次开发的需 求，提高资源利用率；而且能够提高日志过滤的精准度和灵活性，实现问题的精准定位、精 确报警和问题预警，提高系统的运维质量。

[0146] 为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了"第一"、 "第二"等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理 解"第一"、"第二"等字样并不对数量和执行次序进行限定。

[0147] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在 本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围 内。