行人重识别RE-ID 琐碎知识点总结

1. single shot 和muti shot
前者是指gallery中每个人的图像为一张（N=1），而后者是指gallery中每个人的图像为N>1张图像，同样的Rank-1下，一般N越大，得到的识别率越高。

2.gallery、probe和CMC
gallery是候选行人库，probe是待查询输入，也叫查询图像（query），CMC是一种reid的性能评价方法，即Cumulative Match Characteristic。CMC将再识别问题看成是一种排序问题，CMC 曲线的具体含义是指在候选行人库(gallery)中检索待查询(probe)的行人，前 r 个检索结果中包含正确匹配结果的比率。其中，第 1 匹配率 r=1 指标Rank-1反映了最匹配候选目标刚好为待查询图片目标的概率，即该指标为真正的识别能力，因此很重要。但是当 r 值很小但大于1时，由于可以通过人眼进行辅助识别查找目标，因此也很有现实意义，如第 5 匹配率 r=5 指标反映前 5 个匹配候选目标中存在待查询图片目标的概率，如下图：横坐标表示排名等级，纵坐标表示再识别的准确率。

3.可考虑的特征优化方法及优缺点：
颜色信息：

• 颜色直方图 ，RGB 、HSV和LAB颜色空间。在 HSV 颜色空间中建立的颜色直方图受到光照变化的影响最小，而 LAB 颜色空间中，由于其亮度和色度通道是相互分开的，因此该颜色空间对不同帧中的光照变化也有一定的鲁棒性。颜色直方图存在对光照变化不够鲁棒和不包含空间信息等缺点。颜色空间中那些对光照变化比较敏感的成分应都被去除或者经过归一化处理，如直方图均衡化可以提高图像中暗区的亮度，增加这些区域的细节信息，从而提高整幅图像的对比度。在 HSV 颜色模型，一般对V通道直方图均衡
• 包含像素点几何信息的颜色直方图

纹理信息：

• 重复出现的结构块(RHSP)特征，特征对位姿和旋转变化具有不变性，但计算该特征的一个前提是行人图像的分辨率至少达到中等分辨率，否则无法计算得到该特征

显著性信息：
一般是基于块显著特征匹配。涉及水平方向的块匹配来对齐，查询图像与候选行人图像库中每一幅图像之间都实现了特征块的对齐，可减少了由于视角、位姿变化而引起的空间错位。匹配块的显著性外观特征空间分布不一致。

空间信息：

• SDALF基于对称和非对称轴的区域划分方法将人体分为头部、躯干和下肢三个部分，同时根据人体外观的非对称性利用两个非对称的轴将人体在垂直方向划分成三个部分，该方法使得离对称轴近的像素点具有相对较高的权值，从而增强了算法关于位姿变化的鲁棒性，取得了较好的行人再识别结果
• 共生矩阵也常常被用来提取纹理特征

信息融合方法：

• 加权的颜色直方图+最大稳定颜色区域(MSCR)+重复出现的结构块(Recurrent High-structured Patches，RHSP)特征

深度信息：

• CNN

4.行人再识别算法的分类
基于特征设计的方法：
主要包括颜色、纹理、边缘、形状、全局特征、区域特征和基于块的特征等基本特征
基于机器学习的方法：

• 基于判别分析的机器学习：
  尝试训练一种分类器，训练时，输入一般为一对样本，即对应的是否为同一人的标记。是利用分类信息来学习更具区分力的特征模型
• 基于度量矩阵的机器学习：
  基于度量矩阵的机器学习则是在特征空间中寻找并优化描述两个摄像机视场之间的变换矩阵。
  相对距离比较(Relative Distance Comparison，RDC)模型
  LMNN和LMNN-R
  信息论度量学习(ITML：Information Theoretic Metric Learning)方法
  KISSME 度量学习算法
  总结：很难学习一个通用的度量矩阵来区分不同的行人，同时也很难用一个通用的矩阵来抑制各种相机之间的不同变化类型，多个度量矩阵+迁移学习是趋势。