行人属性“Generative Adversarial Models for People Attribute Recognition in Surveillance”

来源:互联网 发布:vs2017编程教程 编辑:程序博客网 时间:2024/06/05 10:34

对于监控场景下的行人,图片一般不清晰或被其他行人物体遮挡,可以进行图像清晰化、去遮挡操作,提升属性识别准确率。

相关工作
整个人体进行属性的识别:ACN,DeepMAR;part-based models,R*CNN;MLCNN。

方法描述
1. 几种方法对比
baseline方法:基于ResNet的行人属性分类。
两个生成对抗模型:重建被遮挡的人体部位,提高图像分辨率。
2. 网络描述
属性预测网络,结合行人部件可以提升识别率,将输入图像分解成几块:肩部以上,上半身,下半身及全身。四块输入到ResNet50网络,获得四个特征图。对ResNet50网络进行了改造,使用全局平均池化替代最后一个7×7平均池化。获得特征图后,分成两个属性打分分支。第一个分支使用整体特征图,获得整个人体的预测得分。第二个特征图计算每个块的预测得分,并使用max操作选择对应每个属性最有意义的part。最终的属性预测得分为:
这里写图片描述
网络结构如下图所示:
这里写图片描述
网络使用加权二值交叉熵损失训练:
这里写图片描述
3. 重建网络
移除人体遮挡,并使用人体部件替换。尽管替换的人体部件与可能与这个人的属性不相干,移除遮挡后可以移除噪声(解释有点牵强)。
给定遮挡图像IO,训练生成函数GR估计重建图像IR,在训练时,使用另外一张图像随机遮挡当前图像生成训练样本。生成网络训练为前向CNN GRθg。解决如下问题:
这里写图片描述
此外,定义一个带参θd的辨别网络DRθdGRθg一起训练,解决对抗问题:
这里写图片描述
生成网络结构如下图所示:
这里写图片描述
辨别网络与生成网络的解码部分类似,滤波器的个数不同。
生成网络的损失函数为:LossR=LossSSE+λLossgen
LossSSE是重建损失,基于像素级相似度的均方误差,Lossgen是对抗损失,鼓励网络生成更好的结果,如下定义:
这里写图片描述
4. 超分辨网络
构建过程与重建网络类似,训练样本使用下采样生成。生成的训练样本为:
这里写图片描述

实验结果
baseline方法与其他方法的对比
这里写图片描述
重建网络及超分辨网络的性能:
这里写图片描述

阅读全文
0 0
原创粉丝点击