Itti算法
来源:互联网 发布:js里面遍历map 编辑:程序博客网 时间:2024/06/11 03:56
Itti算法作为做早提出的视觉注意模型,主要思想是对输入图像首先进行多个特征通道和多尺度的分解(九层金字塔),再进行滤波得到特征图,再对特征图做融合计算得到最终的显著图。
(1)读取图像,I0为源图像,经高斯滤波,1/2采样到I1,一直1/2采样直到I8,I8为I0的1/256.
(2)提取特征,包括:R、G、B、Y四种颜色信息,0、45、90、135四个方向信息,亮度I共九种信息。
( 3)不同尺度间特征取差形成特征图。2-5、2-6、3-6、3-7、4-7、4-8(共六种尺度差),取差信息:I,RG,BY,O(四个方向)共计42幅特征图(取差:由于尺度不同,取差运算定义为:先进行插值使其具有相同大小,然后对应相减并取绝对值)
(4)特征图融合:先对特征进行归一化处理,然后分别尺度间求和,包括Im(亮度和),Cm(RG、BY和),Om(四个方向和),求和与上面取差类似,先插值,后求和。
(5)显著图S=1/3(Im+Cm+Om)
详细的操作过程:
(1)特征的提取:
先把输入图像表示成9层的高斯金字塔。其中第0层是输入图像,1到8
层分别是用5×5的高斯滤波器对输入图像进行滤波和采样形成的,大小分别的输入图像的1/2到
1/256.。然后对金字塔每一层分别提取各种特征:亮度I 、红色 R 、绿色G 、蓝色 B 、黄色Y、
方向,形成亮度金字塔、色度金字塔、和方向金字塔。亮度和颜色特征由如下公式得到:
I =(r+ g +b) / 3 (2.1.1)
R =r − (g+b) / 2 (2.1.2)
G =g − (r+b) / 2 (2.1.3)
B =b − (r+ g) / 2 (2.1.4)
Y =r + g − 2(|r −g |+b) (2.1.5)
其中r、 g 、 b 分别是输入图像的红、绿、蓝三个分量。(负值设为0)。
o(σ,θ) 是对亮度特征 I 在尺度用方向的Gabor函数滤波得到的Gabor金字塔。其中:
σ ∈[0,1,2Λ,8],θ∈[00,450,900,1350] ,这样就将特征表示成为9个金字塔:亮度1个,色度4
个(分别红色、蓝色、绿色、黄色),方向4个(分别是00,450,900,1350)。上述四个色度特
征对黑色和白色的响应为零,对各自对应的饱和单色(红色、蓝色、绿色、黄色)有最大的响
应。
(2)不同尺度间特征取差形成特征图
层分别是用5×5的高斯滤波器对输入图像进行滤波和采样形成的,大小分别的输入图像的1/2到
1/256.。然后对金字塔每一层分别提取各种特征:亮度I 、红色 R 、绿色G 、蓝色 B 、黄色Y、
方向,形成亮度金字塔、色度金字塔、和方向金字塔。亮度和颜色特征由如下公式得到:
I =(r+ g +b) / 3 (2.1.1)
R =r − (g+b) / 2 (2.1.2)
G =g − (r+b) / 2 (2.1.3)
B =b − (r+ g) / 2 (2.1.4)
Y =r + g − 2(|r −g |+b) (2.1.5)
其中r、 g 、 b 分别是输入图像的红、绿、蓝三个分量。(负值设为0)。
o(σ,θ) 是对亮度特征 I 在尺度用方向的Gabor函数滤波得到的Gabor金字塔。其中:
σ ∈[0,1,2Λ,8],θ∈[00,450,900,1350] ,这样就将特征表示成为9个金字塔:亮度1个,色度4
个(分别红色、蓝色、绿色、黄色),方向4个(分别是00,450,900,1350)。上述四个色度特
征对黑色和白色的响应为零,对各自对应的饱和单色(红色、蓝色、绿色、黄色)有最大的响
应。
(2)不同尺度间特征取差形成特征图
Itti算法为了模拟感受野的中心—外周拮抗的结构,对各种特征分别在特征金字塔的不同尺
度间作差。感受野中心对应于尺度c的特征图像素点(c∈{2,3,4}),感受野周边区域对应于尺
度s的特征图像素点(s= c +δ ,δ ∈{3,4})。而不同尺度特征图的分辨率不同,需要通过插值使
两幅图像大小相同后,通过两幅图像之间点对点作差。这个过程用Θ表示。得到的是中心(尺
度c)和外周(尺度s)的特征的对比表示中心和外周的局部方向特征的对比。
I(c,s)=|I(c)ΘI(s) | (2.1.6)
RG(c,s)=| (R(c)−G(c))Θ(G(s)− R(s)) | (2.1.7)
BY (c,s)=| (B(c)−Y(c))Θ(Y(s)− B(s)) | (2.1.8)
O(c,s,θ) =|O(c,θ)ΘO(s,θ) | (2.1.9)
其中( 2.1.6)式是亮度特征图,表示亮度的对比。( 2.1.7)和( 2.1.8)式是颜色特征图,表示视
皮层中颜色的双拮抗反应。而( 2.1.7)式是红/绿特征图,是中心的红色对绿色的对比和外周的
绿色对红色的对比之间的差,表示红/绿和绿/红双拮抗反应。(2.1.8)式是蓝/黄特征图,是中心
的蓝色对黄色的对比和外周黄色对蓝色的对比之间的差, 表示蓝/黄和黄/蓝双拮抗反应。 ( 2.1.9)
式是方向特征图,是同一个方向θ的特征在不同尺度作差得到的,表示中心和外周的局部方向
特征的对比。由于中心尺度 c 和外周尺度 s 之间有 6 种组合( 2-5, 2-6, 3-6, 3-7, 4-7, 4-8),
所以四个式子都可以得到 6 个特征图,共 42 个不同尺度的特征图(分别是 6 个亮度特征图, 12
个颜色特征图, 24 个方向特征图)
(3)显著图生成
度间作差。感受野中心对应于尺度c的特征图像素点(c∈{2,3,4}),感受野周边区域对应于尺
度s的特征图像素点(s= c +δ ,δ ∈{3,4})。而不同尺度特征图的分辨率不同,需要通过插值使
两幅图像大小相同后,通过两幅图像之间点对点作差。这个过程用Θ表示。得到的是中心(尺
度c)和外周(尺度s)的特征的对比表示中心和外周的局部方向特征的对比。
I(c,s)=|I(c)ΘI(s) | (2.1.6)
RG(c,s)=| (R(c)−G(c))Θ(G(s)− R(s)) | (2.1.7)
BY (c,s)=| (B(c)−Y(c))Θ(Y(s)− B(s)) | (2.1.8)
O(c,s,θ) =|O(c,θ)ΘO(s,θ) | (2.1.9)
其中( 2.1.6)式是亮度特征图,表示亮度的对比。( 2.1.7)和( 2.1.8)式是颜色特征图,表示视
皮层中颜色的双拮抗反应。而( 2.1.7)式是红/绿特征图,是中心的红色对绿色的对比和外周的
绿色对红色的对比之间的差,表示红/绿和绿/红双拮抗反应。(2.1.8)式是蓝/黄特征图,是中心
的蓝色对黄色的对比和外周黄色对蓝色的对比之间的差, 表示蓝/黄和黄/蓝双拮抗反应。 ( 2.1.9)
式是方向特征图,是同一个方向θ的特征在不同尺度作差得到的,表示中心和外周的局部方向
特征的对比。由于中心尺度 c 和外周尺度 s 之间有 6 种组合( 2-5, 2-6, 3-6, 3-7, 4-7, 4-8),
所以四个式子都可以得到 6 个特征图,共 42 个不同尺度的特征图(分别是 6 个亮度特征图, 12
个颜色特征图, 24 个方向特征图)
(3)显著图生成
为了将上面生成的 42 个不同尺度和不同特征的特征图进行融合, Itti
模型中提出了一个归一化函数 N(•)。首先对于每幅特征图,将图中的每个像素点的显著值归
一化到一个区间[0,M] ,这样是为了消除因为不同特征的显著值分布的区间不同产生的影响;
其次寻找特征图中的全局最大值M ,计算所有其他局部最大值的平均值m ;最后对特征图中
的每个位置乘以 (M −m)2 。这样就将每幅特征图中潜在的显著区域位置进行了放大,使得那
些位置的显著值相对于背景更突出。
先对每个特征的不同尺度的特征图进行归一化处理,形成一幅该特征的综合显著图,然后
再将不同特征的显著图进行归一化处理获得最好的视觉显著图S,计算过程如下:
模型中提出了一个归一化函数 N(•)。首先对于每幅特征图,将图中的每个像素点的显著值归
一化到一个区间[0,M] ,这样是为了消除因为不同特征的显著值分布的区间不同产生的影响;
其次寻找特征图中的全局最大值M ,计算所有其他局部最大值的平均值m ;最后对特征图中
的每个位置乘以 (M −m)2 。这样就将每幅特征图中潜在的显著区域位置进行了放大,使得那
些位置的显著值相对于背景更突出。
先对每个特征的不同尺度的特征图进行归一化处理,形成一幅该特征的综合显著图,然后
再将不同特征的显著图进行归一化处理获得最好的视觉显著图S,计算过程如下:
1 0
- Itti算法
- Itti算法c代码
- Saliency Itti et al. [1998]. Code
- 终于调好了用c重写的Itti模型
- 【翻译】Itti的论文1998 A Model of Saliency-Based Visual Attention
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- 算法
- cocos2d-x学习笔记(2)在同一个工程里创建多个Cocos2d-x项目
- Win7系统如何开启显卡硬件加速功能
- eclipse 编码设置/JSP include出现乱码
- 阿里云服务器搭建php+apache+mongodb
- 保命延寿篇
- Itti算法
- 在JS中,使用正则表达式,用指定字符替换字符串前后空格
- linux进程后台运行的几种方法 - nohup/setsid/&
- 【详解】后台修改---增加新模块功能
- ssl
- Jquery 多级联动
- DatePicker,TimePicker,DatePickerDialog以及TimePickerDialog的使用
- Sharing code between unit tests and instrumentation tests on Android
- 有向图的可达性