评价入侵检测系统漏洞攻击检测覆盖面的指标

stardust (stardust_at_xfocus.org)

对入侵检测防护产品的评测中，我们经常需要对它们的漏洞攻击检测能力做出评价，其中涉及漏洞的覆盖面即是能力的一方面，那么如何去评价？以什么指标去衡量才能得到相对客观公平且有说服力的结果呢？这个文章中我们来讨论一下这个问题，在此提出一个可操作的量化指标。


1. 指标的设计

1.1 CVE漏洞条目数量指标

最简单的方案是显而易见的，通过统计IDS/IPS所能检测的利用漏洞攻击种数来进行比较。目前多数主流的IDS/IPS产品都提供了CVE名的支持，每个CVE名对应一个独立的安全漏洞，虽然CVE名字表不可能包含所有的已知安全漏洞，但至少包括了其中的大多数重要条目。因此通过统计产品相关的CVE条目数量可以大致了解IDS/IPS的漏洞攻击检测覆盖面。我们最原始的评价指标可以是产品相关的CVE漏洞条目个数。


1.2 CVSS漏洞威胁评分修正

上面的漏洞数量指标存在一个问题，因为它假设了每个漏洞有相同的威胁级别，而事实情况并非如此，因此我们在评价过程中必须考虑漏洞本身的威胁等级。感谢CVSS漏洞威胁评分项目的工作成果，它为每个CVE漏洞条目按威胁程度的高低打了分，最高威胁级别的漏洞为10分，从NVD的网站上可以轻易地获取漏洞基本威胁评分的数据。由此，我们的指标可以修正为产品涉及到的CVE漏洞条目的CVSS评分的总和。


1.3 时间因素上的修正

考虑了漏洞威胁级别的高低，无疑使我们的指标更具准确性和可比较性，但上面的指标还是有可以改进的地方。在这里我们需要引入时间因素，因为当漏洞被披露以后，随着时间的推移，由于软件新版本的更新，有意或无意的漏洞修补，存在漏洞的系统越来越少，相对来说漏洞的威胁呈现一个越来越小的趋势，也就是说，同样CVSS威胁基本评分为8的2000年与2006年的漏洞在2006年评价时现实的威胁程度是很不一样的。其实，CVSS漏洞威胁评分系统的设计考虑了威胁评分随时间及布署状况的修正，一个漏洞的CVSS威胁评分涉及三个层次：基本评分、生命周期因素修正、环境因素修正。基本评分是根据漏洞本身固有特性所可能造成的影响评价得到的分值，生命周期因素修正就是基于时间进程的修正，环境因素即是基于布署情况的修正。NVD提供了CVE条目的基本评分，环境因素取决于组织受漏洞影响产品布署状况，生命周期因素修正需要跟踪每个漏洞的补丁发布情况，工作量巨大，一个单独的组织是无法完成的，因此NVD也未给出相应的数据。

对于我们的评价指标，我们简单地采用一个极粗糙的威胁随年数增加线性递减的算法：

漏洞的当前威胁评分 = CVSS基本评分* (8-(2006-漏洞发布的年))/8

这样一个线性算法与事实情况并不一致，事实情况是漏洞在公布的一两年内威胁程度迅速下降，之后几年内的下降则非常的小，所以，基本上线性递减只是一个聊胜于无的计算方法，考虑到每个漏洞的情况并不那么一致而且指标只用于作相对的比较，这样的算法也是可接受的。

到此评价指标修正为所有CVE相关的漏洞当前威胁评分的总和。


2. 如何操作及几个常见产品的指标分析

2.1 获取每个CVE条目对应的CVSS评分

从NVD网站下载CVE评分数据文件，文件为XML格式，每年一个单独的文件，它包含了每个CVE条目的详细信息，使用所附的 extract-cve-score.pl 脚本将其中CVE名和相应的CVSS评分提取出来，把打印出来的数据重定向的文件中，并将多年的数据整合到一个文件中，这个即是我们以后会使用到的CVE名和对应CVSS评分的对照表。


2.2 获取评测产品的涉及到的CVE条目信息

以几个能从公开渠道获取信息的IDS产品为例：

Snort
-----
Snort的规则信息索引文件(sid-msg.map)中每个与CVE漏洞相关的检测都列出了相应的CVE名，我们只要使用类似 extract-snort-cve.pl 的简单脚本将其提取出来即可。

RealSecure 7
------------
RealSecure 7的每个检测模块升级包文件中包含了一个名为 issues.csv 的索引文件，文件中并不直接包含每个检测条目对应的CVE名信息，但包含了对应于ISS网站上详细说明信息的ID号，在详细说明中包含有CVE名。处理这种情况稍稍复杂一些，我们必须把检测条目相关的详细信息从网站上下载回来，这可以通过 get-iss-content.pl 脚本实现，它读取 issues.csv 文件中的检测条目ID号从ISS的网站下载每个条目的详细信息，每个条目一个文件，然后用 extract-iss-cve.pl 脚本提取检测条目涉及到的CVE名。

IDP
---
IDP的规则文件是可公开下载的，也未做加密，规则文件中包含了涉及到CVE名信息，与处理Snort规则索引文件类型，使用类似 extract-idp-cve.pl 的脚本将其提取出来。

对于其他产品一般通过分析其检测条目详细信息说明文档，都应该是可以得到相关的CVE条目信息的。


2.3 计算漏洞覆盖面的评分指标

有了CVE名到相应CVSS评分的对应表和产品涉及到的CVE名，使用 caculate-score.pl 脚本即可得到评分。


上述几个产品的分析结果比较：

          CVE条目数 总威胁得分 CVE条目平均CVSS评分 时间因素修正后的总威胁得分
RealSecure 7   979     6000.7   6.1           2694.3
Snort       550     3454.3   6.3           1476.9
IDP         311     1947.3   6.3           796.6

由以上的数据，产品相关漏洞覆盖面的高下就很明显了。


3. 结论

事实上，由于威胁得分的计算是面向漏洞的，因此所有以漏洞处理为核心的安全产品比如漏洞数据库、安全评估、入侵检测类产品都，可以用计算“时间因素修正后的总威胁得分”指标的方法来评价。

附，评分计算相关的脚本工具：

extract-cve-score.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl

my $data = "";
my @cve_names = ("");
my @cve_scores = ("");
my $cve_name = "";

$data = readDBcontent($ARGV[0]);
$data =~ s/<entry //n<entry /gi;

@cve_names = $data =~ m|<entry type="CVE" name="(CVE-/d/d/d/d-/d/d/d/d)" seq="/d/d/d/d-/d/d/d/d" published="/d/d/d/d-/d/d-/d/d" modified="/d/d/d/d-/d/d-/d/d" severity=".+" CVSS_score="/d{1,2}/./d" |g;
@cve_scores = $data =~ m|<entry type="CVE" name="CVE-/d/d/d/d-/d/d/d/d" seq="/d/d/d/d-/d/d/d/d" published="/d/d/d/d-/d/d-/d/d" modified="/d/d/d/d-/d/d-/d/d" severity=".+" CVSS_score="(/d{1,2}/./d)" |g;

for (my $i=0;$i<=$#cve_names;$i++) {
  print $cve_names[$i]."/t".$cve_scores[$i]."/n";
}

sub readDBcontent {
    my ($table) = @_;
    my $dbcon = "";

    open(TBL,"<$table")||die($table);
    while (<TBL>) {
        $dbcon .= $_ ;
    }
    close(TBL);

    return ($dbcon);
}
--------------------------------- 8< --------------------------------------

extract-snort-cve.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl
#
my @issues = ("");

readDBcontent($ARGV[0],/@issues);

for (my $i=0;$i<@issues;$i++) {
  my $issuetext = $issues[$i];

  if ($issuetext =~ m//|/| cve,(/d{4}-/d{4}) /) {
    print "CVE-".$1."/n";
  }
}

sub readDBcontent {
    my ($table,$dbcon)=@_;
    my $count=0;

    open(TBL,"<$table")||die($table);
    @{$dbcon}=<TBL>;
    close(TBL);

    for(my $i=0;$i<@{$dbcon};$i++) {
          chomp(${$dbcon}[$i]);
          if(${$dbcon}[$i] ne "") { $count++; }
    }

    return ($count);
}
--------------------------------- 8< --------------------------------------

get-iss-content.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl
#
my $flag = 0;
my $program = "lynx -source ";
my $url_b = "http://xforce.iss.net/xforce/xfdb/";
my @issues = ("");

$|++;

readDBcontent($ARGV[0],/@issues);

for (my $i=0;$i<@issues;$i++) {
  my $issuetext = $issues[$i];
  my ($aa,$bb,$cc,$vul_id) = split (',',$issuetext);


  if ($vul_id =~ m/^/d+/) {

    my $iss_vuln = "$vul_id.txt";
    # print $iss_vuln."/n";
    if (!(-e $iss_vuln) || (-z $iss_vuln)) {
        my $content = "";
        $url = $url_b."${vul_id}";

        $content = getSection();
        open (DATAFILE,">$iss_vuln") or die ("$iss_vuln/n");
        print DATAFILE $content;
        close (DATAFILE);
    }
  }
}

sub getSection {
  my @page;
  my $section_con = "";
  my $last = 0;

  getPage("$url",/@page);

  $section=uc("$section");
  for ($i=0;$i<@page;$i++) {
    if ($page[$i] =~ m/^<p>The information within this database may change without notice/) {$flag = 0};
    if ($flag) {
        $page[$i] = removeHtmltag ("$page[$i]");
                if($page[$i] eq "") {

                    if(!$last) { $section_con .= "/n"; $last = 1;}
                } else {
                    $section_con .= "$page[$i]/n";
                    $last = 0;
        }
    }
    if ($page[$i] =~ m/X-Force Database Results/) {$flag = 1};
  }
 
  return $section_con;
}


sub getPage {
  my ($url_section,$page_con) = @_;

    open (EXECFILE, "$program '$url_section' |");
    @{$page_con} = <EXECFILE>;
    close (EXECFILE);
}

sub removeHtmltag {
  my ($string)=@_;

  $string =~ s//t//g;
  $string =~ s//n//g;
  $string =~ s/ / /g;
  $string =~ s/"/"/g;
  $string =~ s/<br><br>//n/g;
  $string =~ s/<br>//n/g;
  $string =~ s/<BR>//n/g;
  $string =~ s/<p>//n/g;
  $string =~ s/<P>//n/g;
  $string =~ s/<//P>//n/g;
  $string =~ s/<//p>//n/g;
  $string =~ s/<li>/---/g;
  $string =~ s/<LI>/---/g;
  $string =~ s/—/-/g;
  $string =~ s/<//OPTION>//n/g;
  $string =~ s/<[^<]*>//g;
  $string =~ s/</</g;
  $string =~ s/>/>/g;
  $string =~ s/&/&/g;
  $string =~ s/"/"/g;
  $string =~ s//015//g;
  $string =~ s/^/s*/n*//;
#   $string =~ s//s*/n*$//;

  return $string;
}  

sub readDBcontent {
    my ($table,$dbcon)=@_;
    my $count=0;

    open(TBL,"<$table")||die($table);
    @{$dbcon}=<TBL>;
    close(TBL);

    for(my $i=0;$i<@{$dbcon};$i++) {
          chomp(${$dbcon}[$i]);
          if(${$dbcon}[$i] ne "") { $count++; }
    }

    return ($count);
}
--------------------------------- 8< --------------------------------------

extract-iss-cve.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl
#
my @issues = ("");

readDBcontent($ARGV[0],/@issues);

for (my $i=0;$i<@issues;$i++) {
  my $issuetext = $issues[$i];
  my ($aa,$bb,$cc,$vul_id) = split (',',$issuetext);

  if ($vul_id =~ m/^/d+/) {

    my $iss_vuln = "$vul_id.txt";

    if ((-e $iss_vuln) && !(-z $iss_vuln)) {
        my @contents = ("");

        readDBcontent($iss_vuln,/@contents);
        for (my $j=0;$j<@contents;$j++) {
          if ($contents[$j] =~ m/^---(CVE-/d{4}-/d{4})/) {
            print $1."/n";
          }
        }
    }
  }
}

sub readDBcontent {
    my ($table,$dbcon)=@_;
    my $count=0;

    open(TBL,"<$table")||die($table);
    @{$dbcon}=<TBL>;
    close(TBL);

    for(my $i=0;$i<@{$dbcon};$i++) {
          chomp(${$dbcon}[$i]);
          if(${$dbcon}[$i] ne "") { $count++; }
    }

    return ($count);
}
--------------------------------- 8< --------------------------------------

extract-idp-cve.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl
#
my @issues = ("");

readDBcontent($ARGV[0],/@issues);

for (my $i=0;$i<@issues;$i++) {
  my $issuetext = $issues[$i];

  if ($issuetext =~ m/:cve /((CVE-/d{4}-/d{4})/)/) {
    print $1."/n";
  }
}

sub readDBcontent {
    my ($table,$dbcon)=@_;
    my $count=0;

    open(TBL,"<$table")||die($table);
    @{$dbcon}=<TBL>;
    close(TBL);

    for(my $i=0;$i<@{$dbcon};$i++) {
          chomp(${$dbcon}[$i]);
          if(${$dbcon}[$i] ne "") { $count++; }
    }

    return ($count);
}
--------------------------------- 8< --------------------------------------

caculate-score.pl
--------------------------------- 8< --------------------------------------
#!/usr/bin/perl

if(scalar(@ARGV) < 2){
print "Usage: $0 CVES-LIST-FILE CVE-SCORE-PAIR-LIST-FILE/n";
exit 1;
}

my %cve_name_score = ();

my @score_data = ("");
readDBcontent($ARGV[1],/@score_data);

my $cur_name = "";
my $cur_score = 0.0;
foreach (@score_data) {
  $_ =~ m/(.+)/t(.+)/;
  $cur_name = $1;
  $cur_score = $2;
  $cve_name_score{$cur_name} = $cur_score;
}

my @cves = ("");
readDBcontent($ARGV[0],/@cves);

my $score = 0.0;
my $score1 = 0.0;
my $cve_count = 0;
my $year = 0;
my $score_modified = 0;
foreach (@cves) {
  if ($_ ne "") {
    if (defined($cve_name_score{$_})) {
        $score += $cve_name_score{$_};
        $cve_count++;
        $_ =~ m/(/d/d/d/d)-/d/d/d/d/;
        $year = $1;
        $score_modified = $cve_name_score{$_} * ((8-(2006-$year))/8);
        $score1 += $score_modified;
    }
  }
}

my $average = $score/$cve_count;

printf "%d/t%.1f/t%.1f/t%.1f", $cve_count,$score,$average,$score1;

sub readDBcontent {
    my ($table,$dbcon)= @_;
    my $count= 0;

    open(TBL,"<$table")||die($table);
    @{$dbcon}=<TBL>;
    close(TBL);

    for(my $i=0;$i<@{$dbcon};$i++) {
          chomp(${$dbcon}[$i]);
          if(${$dbcon}[$i] ne "") { $count++; }
    }

    return ($count);
}
--------------------------------- 8< --------------------------------------


资源链接：

通用弱点评价体系（CVSS）简介
http://www.xfocus.net/releases/200602/a850.html

NVD/CVE XML Data Files
http://nvd.nist.gov/download.cfm

CVSS Draft
http://www.first.org/cvss/draft/

RealSecure Network Sensor XPUs
http://www.iss.net/db_data/xpu/RSNS.php

Snort Rules
http://www.snort.org/rules/

IDP Rule
https://services.netscreen.com/idpupdates/updateInfo.dat