Project AutoTesting开题(By Robinvane Suen)

 背景

为了测试一个并行算法的性能，我们通常不得不一次又一次地向我们的程序提交数据，然后使用类似Excel这样的工具来对数据进行分析。更加不要说为了较为准确地测试算法的平均性能以及性能波动等，我们必须对算法进行有效的统计采样，在未知分布函数的情况下，取样样本量的大小通常较大，这样更加增加了我们算法测试的工作量。更加不用说，有时候为了开发算法，我们需要不断地、一点点地对程序进行改进，然后再进行测试。如此大量而重复的工作不仅让我们感觉乏味，更加浪费我们宝贵的时间。所以，开发一个自动测试及文档生成的软件，用以加速实验室的并行程序开发、测试效率的想法由此而来。

基本需求描述

整个项目可以分为两部分：自动测试和文档生成。两个子系统之间的关系可见图一。

自动测试

1)        给定一个并行程序以及任务描述文件(Job Description File)，执行指定的测试次数

2)        收集各项测试结果

3)        分析、统计测试数据，其中可能需要分析数据的均值、方差等，然后生成统计数据文件(Statistics Data Files)

文档生成

1)        读取统计数据文件，生成各种图表

2)        根据任务描述文件以及图表等生成LaTeX文档，进而生成ps/pdf文档

其他

1)        进度显示

2)        允许删除临时文件

3)        错误处理：在错误发生的时候，尽量保存已测试数据不变

                                                              图一: Project AutoTesting概念图