数字图像处理(1)

本文笔记基于冈萨雷斯的《数字图像处理第三版》。

第一章、绪论
一、数字图像：
自然界在人眼呈现的图像一般都是连续的模拟图像。对一幅静态非彩色图像可以表示成一个二维函数f(x,y)来表示，其中(x,y) 为空间或平面坐标（像素），f的幅度称亮度、强度或灰度级；当图像为彩色时，还应有波长的信息，表示为波长变量：f(x,y,λ)；如果是动态图像，还要有时间信息，表示为f(x,y,λ,t)；静止彩色图像又可以用三基色来表示：f(x,y) =｛fR(x,y), fG(x,y),fB(x,y),}；相应的动态图像表示为：f(x,y,t) ={fR(x,y,t), fG(x,y,t),fB(x,y,t)}。
当（x,y）及f值都是有限离散量时，对应的图像称为数字图像。对模拟图像的数字化（采样）可得到数字图像。灰度数字图像可以用矩阵来表示。


二、数字图像处理的方法：
1、空域法：把图像看作是平面中各个像素组成的集合，然后直接对这个二维函数进行相应的处理。主要有邻域处理法。
2、变换域法（频率域）：对图像进行正交变换，得到变换域系数阵列，然后再施行各种处理，处理后再反变换到空间域，得到处理结果。


三、数字图像处理的应用：生物医学 、遥感 、工业 、军事、通信、公安等领域。


四、数字图像处理的基本步骤：图像信息：获取->存贮->传送->处理->输出和显示


补充：
当资料经由打印机输出至纸上称为硬拷贝，若资料显示在荧幕上则称为软拷贝


第二章、数字图像基础
一、韦伯定理:感觉的差别阈限随原来刺激量的变化而变化，而且表现为一定的规律性，用公式表示就是△Φ/Φ=C，其中Φ为原刺激量，△Φ为此时的差别阈限，C为常数，又称为韦伯率。即如果一个物体的亮度与其周围背景的亮度I有刚可察觉到的差别△I，则△I/I（韦伯比）是I的函数且△I/I在一定的亮度范围内近似不变；
（说明了人眼视觉系统是对亮度的对比度敏感而非对亮度本身敏感）
低照度，韦伯比高，亮度辨别能力差；高照度，韦伯比低，亮度辨别能力强。


二、人眼感觉亮度不是简单的强度函数：韦伯－费赫涅尔定理：亮度感觉S与实际亮度B的对数成线性关系。（S=k*lnB+k0）
同时对比效应:人眼对某个区域感觉的亮度（主观亮度）不仅依赖于自身的亮度，还与它的背景有关。（背景变亮,相同强度的方块变暗）
马赫带效应：人们在明暗变化的边界上，常常在亮区看到一条更亮的光带，在暗区看到一条更暗的线条，这个更亮和更暗的区域就是马赫带。视觉系统有趋于过高或过低估计不同亮度区域边界值的效应。
视觉错觉：眼睛填上了不存在的信息或错误地感知物体的几何特点。


三、彩色光源的三个基本属性：
1、发光强度：从光源流出的能量的总量。单位：瓦特(W)
2、光通量：观察者从光源感受到的能量。单位：流明(lm)
3、亮度：光感受的主观描绘。


四、图像成像模型：
函数f(x,y)由入射到观察场景的光源总量和场景中物体反射光的总量组成。
f(x,y)=i(x,y)*r(x,y) <入射分量*反射分量>
灰度：0<f(x,y)<∞
白光强度：0<i(x,y)<∞
反射系数：0<r(x,y)<1 （0全吸收，1全反射）


五、图像取样和量化：
取样：数字化坐标值 量化：数字化幅度值图像的取样率：单位距离的取样数目（在两个空间方向上）
模拟图像信号->空间采样->灰度级（强度）量化  （灰度级的取值范围为[0,L-1]，一般称为图像的动态范围，L=2^k,称为k位图像,一般情况k = 8）
非均匀采样：在灰度级变化尖锐的区域，用细腻的采样，在灰度级比较平滑的区域，用粗糙的采样。
非均匀量化：依据一幅图像具体的灰度值分布的概率密度函数,按总的量化误差最小的原则来进行量化。
（对图像中像素灰度值频繁出现的灰度值范围,量化间隔取小一些,而对那些像素灰度值极少出现的范围,则量化间隔取大一些）


六、图像的坐标系表示：
1、直角坐标系：坐标原点位于左下角；y↑（0,0）x→数据先沿x轴增加再沿y轴增加
2、矩阵坐标系（MATLAB）：坐标原点位于左上角；i↓（1,1）j→数据先沿i轴增加再沿j轴增加
3、像素坐标系（显示）：坐标原点位于左上角；x↓（0,0）y→数据先沿x轴增加再沿y轴增加


七、空间分辨率：图像中可分辨的最小细节，主要由采样间隔值决定（越小越高）。
灰度分辨率：灰度级别中可辨别的最小变化，通常也把灰度级L称为灰度分辨率。
图像的分辨率表示的是能看到图像细节的多少，依赖于M×N和L。图像质量一般随着M×N和L的增加而增加，但存储量增大。
保持M×N不变而减少L则会导致假轮廓；保持L不变而减少M×N则会导致棋盘状效果。
对于有大量细节的图像只需要少数的灰度级（如边界附近）。
图像质量：
层次：图像实际拥有的灰度级的数量
对比度：一幅图像中灰度反差的大小（对比度 = 最大亮度 / 最小亮度）
清晰度：亮度、对比度、尺寸大小、细微层次、颜色饱和度


八、图像的收缩与放大：
收缩：行、列删除
放大：创立新的像素位置，给新像素赋灰度值
1、最近邻域内插方法：v(x',y')=v(x,y)在原图像上寻找最靠近的像素并把它的灰度值赋给栅格上的新像素。（放大倍数越高 马赛克现象越明显）
2、双线性内插方法：v(x',y')=ax'+by'+cx'y'+d


九、像素间的基本关系：
1、相邻像素：4邻域N4(p)、对角邻域ND(p)、8邻域N8(p) N8(p) = N4(p) + ND(p)
2、两个像素p和q邻接的条件：位置相邻和灰度值相近
邻接性：4相邻 8相邻  m邻接(混合邻接):若像素p和q的灰度值均属于V中的元素，{q在N4(p)中,或q在ND(p)中}且{集合N4(p)∩N4(q)没有V值的像素},则具有V值的像素p和q是m邻接的
4邻接必8邻接，反之不一定成立。
m邻接可以消除8邻接所带来的（通路）二义性。


3、通路：特定的像素序列：(x0,y0),(x1,y1), (x2,y2) …,(xn,yn),st.(xi,yi)和(xi-1,yi-1)(对于1≤i≤n)是邻接的。（若(x0,y0)=(xn,yn),则是闭合通路）
连通性：4连通和8连通
连通分量：对于任意p∈S，S中连通到p的像素点的集合
连通集：如果S中仅有一个连通分量，则S叫连通集
区域：R是连通集，则称R为一个区域
邻接区域：两个区域合并为一个区域
注意：定义区域时，必须指明灰度相似性准则V={ }（V不一样区域就不一样）；定义邻接区域时，还必须指明邻接类型。


4、区域的边界：
假设一副图像S中有K个不连接区域，且它们都不接触图像边界。Rk,k=1,2,...,K
前景：定义为Ru=R1∪R2∪...∪RK
背景：定义为(Ru)^c=S-Ru
内边界:一个区域的边缘或轮廓线界（即该区域中和其背景相邻接的点的集合）<注意：根据8连通>
外边界:对应于背景边界


十、距离的度量：
满足正定性、对称性、距离三角不等式，则D是距离的度量函数。
De欧氏距离=[(x-s)^2+(y-t)^2]^1/2
D4距离（城市街区距离）=|x-s|+|y-t|
D8距离（棋盘距离）=max(|x-s|,|y-t|)
D8<=De<=D4 通过D4和D8的计算，可以大大减少运算量，以适应数字图像数据量很大的特点
Dm距离:m邻接的点间最短的通路


十一、图像处理的算术操作：
对两幅或多幅输入图像进行点对点的加、减、乘、除计算而得到输出图像
相除看成用一幅的取反图像与另一幅图像相乘；乘法不仅可以用于对二进码模板进行处理,而且可以直接用于灰度处理。


加法：
去除“叠加性”噪音:图像均值将降低噪音的影响 
生成图像的叠加效果：g(x,y)=a*f(x,y)+b*h(x,y) a+b=1


减法：
去除不需要的叠加性图案
检测两幅图像之间的差别
计算物体边界的梯度
主要作用：增强两幅图像的差异
g(x,y)=f(x,y)-h(x,y)（掩模）∈[-255,255]---->[0,255]:g(x,y)=(g(x,y)+255)/2或g(x,y)=255*(g(x,y)-gmin(x,y))/max{g(x,y)-gmin(x,y)}<更高的精确度>


保证图像间算术操作的结果的整个值域落入某个固定bit数的方法：
生成一幅灰度最小值为0的图像fm：fm=f-min{f}；生成一幅灰度值在[0,K]范围内的图像fs：fs=K*[fm/max{fm}]（例如：处理8bit图像时，K＝255）
<执行除法时，需将一个较小的灰度值加到除数图像的像素上，以避免除数为0>


乘法:
图像的局部显示（用二值模板图像与原图像做乘法）


十二、图像处理的空间操作：直接在给定图像的像素上执行
单像素操作


邻域操作：Sxy-f(x,y)中以任意一点(x,y)为中心的一个邻域的坐标集 
局部平均：g(x,y)=1/mn∑(r,c)∈Sxy f(r,c)


几何空间变换:改变图像中像素间的空间关系
两个基本操作：坐标的空间变换；灰度内插
前向映射：扫描输入图像的像素(x,y)，得到原图像到目标图像的坐标变换(f(x,y),g(x,y))
反向映射：扫描输出图像的像素(x',y'),得到在变换前在原图像上的位置(f^?1(x',y'),g^?1(x',y'))；内插方法决定输出图像(x',y')处的灰度值。
整数位置(x,y)经图像变换往往都位于非整数位置。此就要采用插值。


前向映射：输入图像上整数点坐标映射到输出图像之后，变成了非整数点坐标。因此，需要将其像素值按一定权重分配到其周围四个像素点上。对于输出图像而言，其整数点像素值周围会有很多输入图像像素映射过来，每个到其周围的非整数点像素值都会分配一定的灰度值到它上面，将这些分配而来的像素值叠加，就是输出图像整数点位置的像素值。输缺点：输出图像某一点的像素值不能直接得到，需要遍历输入图像的所有像素值，对其进行坐标变换，分配像素值到整数位置，才能得到输出图像各像素点的像素值。


反向映射：知道输出图像上整数点位置(x',y')在变换前位于输入图像上的位置(x,y)，一般来说这是个非整数点位置，利用其周围整数点位置的输入图像像素值进行插值，就得到了该点的像素值。遍历输出图像，经过坐标变换、插值两步操作，就能将其像素值一个个计算出来。


十三、图像处理的概率方法
前提：将图像的灰度值看成是随机变量
均值和方差对于图像的视觉特性有明显的直接关系（越大对比度越高），高阶距更敏感。


补充：
眼睛中的图像形成：晶状体成像与普通光学透镜原理类似,但晶状体可以根据需要调整曲率半径,分别对远处和近处的物体聚焦
人眼：亮->暗:适应慢 暗->亮:适应快
亮度适应范围:10^10量级
锥状体:昼视觉 杆状体:夜视觉
光:可以被人眼感知的电磁波
电磁波:能量的一种，任何有能量的物体，都会释放电磁波      
灰度级:通常用来描述单色光的强度，其范围从黑到灰，最后到白
低阶bit位包含更多图像中的微小细节
插值法：又称“内插法”，是利用函数f(x)在某区间中已知的若干点的函数值，作出适当的特定函数，在区间的其他点上用这特定函数的值作为函数f(x)的近似值，这种方法称为插值法。


思考：
1、为什么图像经常用512×512、256×256、128×128等形式表述？
答：因为当图像的大小是2的次幂时，图像的许多计算可以得到简化。


2、存储一幅512×512，有256个灰度级的图像需要多少比特？
答：存储一幅大小为M×N，有2^k个不同灰度级的图像所用的比特数为:M×N×k 。所以512×512×8=2097152(Bit)。


第三章、灰度变换与空间滤波
一、图像增强：如果不考虑图像降质的原因，只将图像中感兴趣的特征(如边缘、轮廓、对比度等)进行强调或有选择的突出，同时衰减其它不需要的特征，以便于显示、观察或分析。
解决图像由于噪声、模糊退化和对比度降低等三类问题。
特点：
1、首要目标是使处理后的图像更适合于特定应用。
2、不能增加原始图像的信息，只能增强对某种信息的辨别能力，会损失一些其它信息。
3、增强后的图像质量好坏主要依靠人的主观感觉来评定，难以定量描述。
主要方法：
1、空间域方法:直接以图像中的像素操作为基础
空间域滤波（模板处理）：g(x,y)= T[f(x,y)]
基本原理：在待处理的图像中逐点地移动模板，滤波器在该点地响应通过事先定义的滤波器系数与滤波模板扫过区域的相应像素值的关系来计算。
模板：又称滤波器、核、掩模、窗口等，是一个小的二维阵列，模板的系数值决定了增强处理的性质，如平滑、锐化等，这种增强方法又称空间域滤波。


灰度变换：输出图像 g(x,y)任意点(x,y)的灰度值仅依赖于输入图象f (x,y)在(x,y)像素点的灰度值（s=T(r)）。
关键：根据要解决的图象增强问题，选择合适的灰度变换函数 T(r)。
分为：直方图处理方法和直接灰度变换。
主要处理对比度、灰度动态范围等问题。


图像反转：s=L-1-r 适用于增强嵌入图像暗色区域的白色或灰色细节             
对数变换：s=clog(r+1) 常用于图像的动态范围压缩


幂律（伽马）变换:s=cr^γ 伽马校正：对图像的伽马曲线进行编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。
γ<1：提高灰度级，在正比函数上方，使图像变亮
γ>1：降低灰度级，在正比函数下方，使图像变暗


分段线性变换函数：
对比拉伸：提高图像灰度级的动态范围，改善图像对比度。
灰度级分层：两种基本方法：
（1）将感兴趣范围内的所有灰度值显示为一个值，其他灰度值显示为另一个值，该变换产生了一幅二值图像。
（2）将感兴趣范围的灰度变亮或变暗，保持图像中的其他灰度级不变。
位平面分层：
作用：通过对特定位提高亮度，改善图像质量；较高位（如前4位）包含大多数视觉重要数据；较低位（如后4位）对图像中的微小细节有作用；可以分析每一位在图像中的相对重要性。
重建：使用第n个平面的像素乘以常数2^(n-1)完成。存储4个高阶比特平面允许我们以可接受的细节来重建原图像。


2、频率域方法：在图像的某种变换域内，对图像的变换值进行处理。
（如先对图像进行二维傅立叶变换，再对图像的频谱进行某种修正（滤波），最后将修正后的变换值逆变换到空间域，从而获得增强后的图像）
卷积定理: 原始图像f(x,y)，处理后图像g(x,y)，h(x,y)是滤波器的单位冲激响应，那么空间域滤波处理过程g(x,y)=f(x,y)*h(x,y)。
关键：F、F^-1、H


二、直方图处理
基本概念：将图像中像素灰度级看成是一个随机变量，则其取值分布情况就反映了图像的统计特性，这一特性可用灰度直方图来描述。
灰度直方图：是灰度级的离散函数h(rk)=nk，其中rk是第k级灰度值，nk是图像中灰度值为rk的像素的个数，k=0,1,…, L-1。反映了图像中每种灰度出现的频率。
归一化：p(rk)=nk/n（可视为rk发生的概率估计值） 。
直方图与图像表现：
暗色图像：直方图的组成成分集中在灰度级低(暗)的一侧；
明亮图像：直方图倾向于灰度级高的一侧；
低对比度图像：直方图窄而集中于灰度级的中部。
高对比度图像：直方图的成分覆盖了灰度级很宽的范围且像素的分布较为均匀，只有少量垂线比其他的高许多。 


直方图均衡化：寻找一个灰度变换函数T(r)使变换后的图像的像素值占有全部的灰度级并且分布均匀，增强图像整体对比度。
T(r)应满足条件：在0≤r≤1区间内，T(r)单值（严格）单调递增；当0≤r≤1时，0≤T(r)≤1。 
累积分布函数：s=T(r)=∫(r,0) pr(w)dw满足上述条件。
变换后的图像的灰度级s的概率密度函数ps(s)由输人图像的灰度级r的概率密度函数pr(r)和所选择的变换函数T(r)决定。
实现方法：
（1）计算输入图像的归一化直方图
（2）直方图均衡化灰度变换函数的离散形式
（3）经上式变换后的sk取值为小数，在实际中还要对其取整并重新量化，否则，图像整体偏亮
完成由输入图像灰度级到输出图像灰度级的映射变换。对输入图像中任一像素（x,y）,如果其灰度值为f(x,y)=rk，输出图像对应像素点（x,y）的灰度值为g(x,y)=sk。


“简并”现象：变换后的灰度级减少了，这是像素灰度有限的必然结果。
“自动”选择灰度变换函数


直方图匹配（规定化）：用于使处理后的图像具有指定灰度直方图的增强方法。
基本步骤：
（1）对原图做直方图均衡化得到s=T(r)
（2）对规定的直方图均衡化得到s'=G(Z)
（3）由于直方图均衡化图像理论上一样，可得G(z)=T(r),z=G^-1(s),即得到匹配变换。


局部直方图处理：增强图像中小区域的细节


基于直方图统计学的图像增强


三、空间滤波基础
滤波：从含有干扰的接收信号中提取有用信号。
滤波器：用于模糊处理和减小噪声。


线性空间滤波（均值滤波器）：尺寸为m*n的模板，假设m=2a+1，n=2b+1，这里a、b为非负整数，使模板的长和宽都为奇数。最小尺寸3*3。
模板(卷积)运算的主要步骤：将模板在图中漫游，并将模板中心与图中某个像素位置重合；将模板上系数与模板下对应像素相乘；将所有乘积相加；将和赋给图中对应模板中心位置的像素。
<注意: 定义模板时一定指明模板中心>
模板或卷积运算中的问题：
边界问题：当滤波器的中心靠近图像边缘时候，滤波器的一部分会位于图像外。
处理方法：
（1）忽略图像边界数据。将模板中心点的移动范围限制在距离图像边缘不小于a和b个像素处。这种做法将使处理后的图像比原始图像稍小。
（2）在图像四周复制原图像边界像素的值，或补上必需数量的像素灰度值为零的行和列。处理后的图像边缘带有不良影响。
图像的动态范围：重新标定。


加权均值滤波器：在模板中引入了加权系数，以区分邻域中不同位置像素对输出像素值的影响。（二维Gaussian离散模板）


非线性空间滤波：
统计排序滤波器：响应基于滤波器模板包围的图像区域中像素的排序，然后由统计排序结果决定的值代替中心像素的值。
中值滤波器：对处理脉冲噪声(椒盐噪声)非常有效。但是对一些细节多，特别是点、线、尖顶细节多的图像不宜采用中值滤波。
原理：用一个含有奇数点的移动窗口，将窗口中心点的值用窗口内各点的中值代替。
最大值滤波器（寻找最亮点）、最小值滤波器（寻找最暗点）


锐化空间滤波器：主要目的是突出灰度的过渡部分，增强图像中的细节。
注意：能够进行锐化处理的图像必须有较高的信噪比，否则图像锐化后信噪比会更低，因为锐化会提升噪声强度。一般是先去噪，再锐化操作。
二阶微分进行图像锐化：拉普拉斯算子（常用的边缘增强算子）
一阶微分滤波器：梯度算子


高提升滤波器：使得图片更加清晰。
模糊原图像->从原图像中减去模糊图像（产生的差值图像称为模板）->将模板加到原图像上


混合空间增强法：应用多种互补的图像增强技术。