近期deep learning做图像质量评价(image quality assessment)的论文

来源:互联网 发布:淘宝生意参谋手机版 编辑:程序博客网 时间:2024/05/16 15:00

12017ICASSP “From image quality to patch quality: an image-patch model forno-reference image quality assessment”,北京大学,WenHeng

主要贡献一般使用图像块训练endto end的网络时,图像块的分数设置为图像的分数,这样设置是不合理的,图像中每一块的分数应该是不相等的。所以,论文提出方法,调整图像块的分数。并且,这是第一个工作,提出对图像块的分数进行调整。实验证明,该论文提出的方法能够提高Learningbased方法的性能。

 1.1 在patch-basedIQA方法中,主要有两种:(1) 根据块的质量,推断得到图像的质量,一般采用某一个权重策略,比如averageweighting、informationcontent weighting(相对较容易)。(2)根据图像的质量,推断图像块的质量(做的人比较少)。

1.2 相关文献表明:质量最低的几个图像块对整幅图像影响最大。QAC这篇论文使用分数最低的后10%图像块的分数去表示图像的分数。

1.3 该论文使用2014年CVPR的框架,计算每一个图像块的分数,使用10%最低策略,获得图像的分数。(结果一般般)

2、2017ICASSP Learning deep vector regressionmodel for no-reference image quality assessment. 中国科学院,JieGu

(2017TMM Blind image quality assessment via vector regression and object oriented pooling)

主要idea: 认为人类无法直接给定一张图像的分数,即无法做到定量给出质量分数,而更偏向于定性给出质量分数,如好,一般,差等。

 训练阶段和测试阶段的网络框架不一致:前面的卷积层不变,后面换成三个全连接层,为512、512、5。5表示分数向量,每一维表示图像属于“excellent”,“good”, “fair” , “poor”和“bad”这五个层次的。输入为32x32的图像块,提取块时,采取非重叠的方式。创新点在于:每一个图像块,用VSI方法计算image patch的分数,转化成一个5维向量作为它的label。

 测试阶段的框架如下:full convolutional network, 引用了Long神的那篇论文,但是感觉并没有用的。测试时,input一个image,每一个image patch就可以得到一个对应的label向量。组合起来,就可以得到quality map了。2017TMM期刊论文,给了Object detection计算weighting map.

---实验细节:batch _ size = 256, 训练了100 epoches.

--- 也是根据reference information来挑选训练集和测试集的。在LIVE数据库上,有29张reference images, 选择23 reference images对应的distorted images训练,选择6 reference images对应的distorted images 做测试。此操作,循环20此,取中间值作为最后的结果
阅读全文
0 0
原创粉丝点击