bash实现一个简单的错误(mutation)注入工具

最近在做一个测试工具的测试(拗口吧)，这个工具生成了大量的测试用例，用来检测编译器是不是有错误。生成方法有学术上的价值(创新性)，但是实现的原型工具很难检测出来实际的错误。像是GCC这样的编译器测试用例已经很多，所以我们需要另外一种方式来检测测试用例的测试能力。这个技术称为mutation test，就是把正确的GCC代码中故意写错一个地方，然后看看测试用例能否测试出来编译器注入了错误。

常见的错误都是很简单的单行错误，分为这三类：&& 写成了 || ，+ 写成了 -，以及 off by one 错误。自己手工注入很无聊并且耗费时间。

下面这个脚本实现了 && 和 || 之间的随机替换，以达到错误注入的效果。使用了gcc的gcda文件(用HTML格式将就了下，.gcda格式文件删掉了)来分析其覆盖率，提高mutation被检测的概率(没有执行到的代码肯定不会检测出来，也就不用测试了。)

#!/bin/bashDEBUG=0CompileSrcHome="./gcc-4.4.2/gcc"ModifySrcHome="./workspace/gcc"PatchHome="../patchs"BackupHome="$HOME/.patch_backups"dsrc="./src/gcc-4.4.2/gcc"dmod="./src/workspace/gcc"dcov="./AllTestCaseCov/home/wuwei/Src/gcc-4.4.2/gcc"fsrc=$dsrc/$1fmod=$dmod/$1fcov=$dcov/$1.gcov.htmlusage () {echo "usage:$0 C_file_name"}make_patch () {#防止用秒数来命名的mutation相互覆盖sleep 1cd ./srclocal patchname=`date +%y%m%d%H%M%S`echo "making mutation : $patchname"diff -NbBur "$CompileSrcHome" "$ModifySrcHome" > "$PatchHome/new.${patchname}.mutation"#cp "$PatchHome/${patchname}.mutation" "$BackupHome/${patchname}.mutation"#diff -NbBur gcc-4.4.2/gcc workspace/gcc > $PatchHome/${patchname}.mutationdiff -NbBur $ModifySrcHome $CompileSrcHome | patch -p0cd ..}[ $DEBUG -eq 1 ] && echo -e "$fsrc/n$fmod/n$fcov"[ -e $fsrc ] && [ -e $fcov ] || exit 2# $1 = 在.gcov.html文件中显示的内容# $2 = 在.c文件中显示的内容# $3 = 需要替换成的内容mut_inject () {# RANDOM={0,32767}# 2048 4096 8192 16384 32767# 1/16 1/8 1/4 1/2 1/1# I choose 1/4 probabilitypattern_in_cov=$1pattern_in_src=$2pattern_replace=$3lines_total=`wc -l $fsrc|cut -f1 -d' '`echo "processing [$fsrc] which has $lines_total lines totally..."(grep -iq $pattern_in_cov $fcov) || return 3lines=$(cat $fcov |/grep lineCov|/grep $pattern_in_cov |/sed 's/<[^>]*>//g'|/sed 's/^ *//'|/cut -f1 -d' ')#[ "$lines" = "" ] || return 1[ $DEBUG -eq 1 ] && echo $linesfor line in $lines;do[ $RANDOM -lt 8192 ] || continuelines_before=$((line-1))lines_after=$(( lines_total - line ))#line_mut=$(head -n $line $fsrc | tail -n 1 | sed 's/&&/||/')#[ -e $fmod ] && rm $fmodhead -n $lines_before $fsrc > $fmodhead -n $line $fsrc | tail -n 1 | /sed "s/$pattern_in_src/$pattern_replace/" >> $fmodtail -n $lines_after $fsrc >> $fmodmake_patchdonecp $fsrc $fmod}mut_inject '&&' '&&' '||'mut_inject '||' '||' '&&'

效果：

对gcc源代码目录下gcc子目录所有的脚本执行此脚本，生成mutation 2786个，编译通过2000+个，效果还是不错的。