数字图像处理复习总结

数字图像基础

数字图像基础概念

图像是像素的二维排列

数字图像的储存方式以像素为单位

传感器阵列上每一个感光元对应数字图像中的一个像素

每一个像素值反映自然场景中相应成像点的亮度

数字图像用二维的亮度函数 f(x, y) 表示 x 和 y 表示空间坐标 f (x, y) 是关于坐标（x, y）的函数值
  
  
  
  
  
  
  
  
  ，与成像于该点的光强成正比

数字化的空间位置称为像素（Pixel）  
  
  
  
  
  
  
  
  
，数字化的亮度值称为灰度值

二维矩阵的大小M
 


 


 


 


 


 


 


 


 

，N
 
 
 
 
 
 
 
 
 ，M*N为空间分辨率

成像多样化

将电磁波的各个波段按照波长或频率的递增或递减顺序依次排列形成电磁波谱
  
  
  
  
  
  
  
  
  。

电子成像可以通过几乎任何一种电磁波辐射转换成电信号形成数字图像

成像方式分类：

反射成像是由物体表面反射的电磁波到达成像传感器而成像；

发光成像是物体本身辐射的电磁波到达成像传感器而成像

吸收成像是由于一部分透过物体的电磁波到达成像传感器而成像

尺度多样性

从图像反映的实体尺寸看   
   
   
   
   
   
   
   
   
，可以小到电子显微镜图像
 

 

 

 

 

 

 

 

 
，大到航空
  
  
  
  
  
  
  
  
  、航天遥感图像

 

 

 

 

 

 

 

 

 ，甚至天文望远镜图像

根据图像的数据量                  ，将图像主要分为4类：

二值图像

每一个像素仅占用1位
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，灰度值为0或1

















，其中                           ，0表示黑色 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，1表示白色


























，俗称黑白图像

灰度图像

黑与白之间有多级灰色深度 灰度图像中每个像素的灰度级通常采用8位表示                  ，有2^8=256个灰度级  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，每个灰度像素占一个字节

索引图像

包含颜色查找表

















，通过查找映射方法表示彩色图像的颜色

真彩色图像

每一个彩色像素用一个3维向量来表示
  
  
  
  
  
  
  
  
  ，由R  
  
  
  
  
  
  
  
  
、G
 


 


 


 


 


 


 


 


 

、B颜色分量组成  
  
  
  
  
  
  
  
  
。 R
 
 
 
 
 
 
 
 
 、G   
   
   
   
   
   
   
   
   
、B颜色分量各占用8 位表示相应颜色分量的亮度  
  
  
  
  
  
  
  
  
，每一个颜色分量各有256个灰度级
 


 


 


 


 


 


 


 


 

，这3个字节组合可以产生 2^24=1677 万种不同的颜色
 


 


 


 


 


 


 


 


 

。

采样和量化

自然界中场景的空间位置和辐射度都是连续量
 
 
 
 
 
 
 
 
 ，有必要对连续数据进行空间和幅值的数字化处理   
   
   
   
   
   
   
   
   
，将模拟数据转换为计算机可接受的数字形式
 
 
 
 
 
 
 
 
 。

每一个采样单元对应一个像素   
   
   
   
   
   
   
   
   
。每一个采样单元在传感器阵列中行和列的两个整数坐标决定了图像中相应像素的空间坐标
 

 

 

 

 

 

 

 

 
。

8位灰色深度的量化是将感光元捕获的连续亮度等间隔划分为256级明暗程度的灰阶
 

 

 

 

 

 

 

 

 
，在像素所在空间坐标处的整数亮度确定了该像素的灰度值

 

 

 

 

 

 

 

 

 。

图像数字化的过程包括两个步骤

采样：空间坐标（x, y）的离散化 量化：亮度值 f(x, y) 的离散化

数字图像（DIDITAL IMAGE）

空间坐标和亮度上都离散化的图像                  。

采样

图像在空间上的离散化



 

 

 

 

 

 

 

 

 ，空间上连续的图像转换成离散点（像素                  ，PIXEL）

正方形点阵结构对水平方向和垂直方向的空间位置进行光栅化；

假定一幅图像取M×N个采样点

M
 

 

 

 

 

 

 

 

 
、N一般为2的整数次幂； M

 

 

 

 

 

 

 

 

 、N可以相等
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，也可以不等； 对于M                  、N数值大小的确定：M*N满足采样定理

















，重建图像就不会产生失真
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
。

正六边形采样网格更符合人眼的视觉特性

















。 视网膜上分布的视神经细胞的排列方式为正六边形结构                           ，且这些细胞在水平方向和垂直方向上相比在对角方向上对高频信号有更高的光敏感度                           。

采样决定空间分辨率 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，反映图像数字化的像素密度


























，以及图像的有效像素 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
。

空间分辨率越低                  ，可辨细节越差


























。

图像插值放大仅能增加图像的像素数  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，不能提高图像的空间分辨率                  。

量化

量化是图像函数值（灰度值）的离散化（取值的数字化

















，模拟信号->数字信号） 常见的像素的灰度级数 2^8=256
  
  
  
  
  
  
  
  
  ，灰度级越大  
  
  
  
  
  
  
  
  
，要接近白色
 


 


 


 


 


 


 


 


 

，灰度级为0时
 
 
 
 
 
 
 
 
 ，为黑色

若将样本量化为Q级   
   
   
   
   
   
   
   
   
，Q如何取值：

Q总是取2的整数次幂
 

 

 

 

 

 

 

 

 
，Q=2^k 灰度级位数越大

 

 

 

 

 

 

 

 

 ，量化误差越小  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
。

量化决定灰度级分辨率                  ，指可分辨的最小灰阶变化

















。

非均匀采样与量化

非均匀采样

在变化大细节多的区域——较精（密）采样 平坦变化缓慢区域——较粗（稀）采样

非均匀量化

在边界附近（灰度剧烈变化区）——量化级少 灰度级变化比较平滑的区域——量化级多
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，避免或减少由于量化的太粗糙

















，在灰度级变化比较平滑的区域出现假轮廓的现象

一幅好的数字图像                           ，需要多少采样分辨率和灰度级？ 实验方法

选取一组细节多少不同
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
、不同N

















、M                           、Q的图像让观察者根据主观质量感觉给这些图像排序

实验结论

随着采样分辨率和灰度级的提高 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，主观质量也提高 具有大量细节的图像


























，其质量对灰度级的需求相应降低

细节相对丰富的图像

空间分辨率（采样）对图像质量影响大                  ，灰度级分辨率（量化）对图像质量影响小
  
  
  
  
  
  
  
  
  。

灰度相对平坦的图像

灰度级分辨率对图像质量影响大  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，而空间分辨率对图像质量影响小  
  
  
  
  
  
  
  
  
。

数字图像常见失真类型

混叠效应 当采样间隔过大时

















，由于采样频率小于奈奎斯特频率
  
  
  
  
  
  
  
  
  ，而引起频谱的高频成分发生相互交叠  
  
  
  
  
  
  
  
  
，频谱重叠导致失真
 


 


 


 


 


 


 


 


 

。

模糊效应

长时间曝光过程中成像设备与成像场景的相对运动而造成运动模糊；

光学镜头散焦 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
、大气湍流


























、短时间曝光而造成散焦模糊
 
 
 
 
 
 
 
 
 。

块效应

在相邻块之间引入的非连续性
 


 


 


 


 


 


 


 


 

，视觉上看似马赛克的效果

块效应产生的原因

对图像分块处理而引起的块状失真

在图像压缩编码中
 
 
 
 
 
 
 
 
 ，分块离散余弦变换编码和分块运动补偿是造成块效应的两个主要原因

噪声

感光器件接收光信号并输出的过程中产生的异常像素   
   
   
   
   
   
   
   
   
。 根据噪声的分布和统计特征   
   
   
   
   
   
   
   
   
，成像系统的噪声源可以分为光电散粒噪声                  、读出噪声和脉冲噪声等
 

 

 

 

 

 

 

 

 
。

数字图像处理基础

数字图像处理基本概念

根据语义从低级到高级
 

 

 

 

 

 

 

 

 
，广义图像处理分为三个层次：图像处理  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
、图像分析和图像理解

 

 

 

 

 

 

 

 

 。

数字图像处理分为广义图像处理和狭义图像处理

 

 

 

 

 

 

 

 

 ，实际应用中的图像处理概念通常指的是广义图像处理                  。

数字图像处理研究内容

图像处理（狭义图像处理）

图像的低级处理阶段 强调改善图像的质量 人眼观看图像时注重图像的视觉效果； 机器观看图像（机器视觉）时注重物体的可辨识性
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
。

图像分析

图像的中级处理阶段 处理对象：目标区域 主要任务：对图像中目标区域进行检测

















、表示和描述

















。将以像素表示的图像变成用符号
  
  
  
  
  
  
  
  
  、数据对目标区域的描述                           。

图像理解

在图像分析的基础上更高一级的处理阶段 研究图像中目标分类  
  
  
  
  
  
  
  
  
、姿态识别
 


 


 


 


 


 


 


 


 

、行为分析以及目标相互之间的联系                  ，从而得出对图像语义的解释 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
。

数字图像处理关键阶段

图像获取->图像增强->图像恢复->形态学处理->图像分割->表示与描述->目标识别->图像压缩->彩色图像处理

数字图像处理应用

图像增强
 
 
 
 
 
 
 
 
 、哈勃图像复原   
   
   
   
   
   
   
   
   
、遥感图像处理
 

 

 

 

 

 

 

 

 
、环境与资源监测

 

 

 

 

 

 

 

 

 、医学图像处理                  、网络通信
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
、工业检测

















、军事公安                           、人机接口 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
、文化艺术


























、影视创作等

图像质量评测

图像质量评测

由人来评价的主观评测方法 由算法评价的客观评测方法

主观评测

在一定测试条件下由多个观察者对待测图像的质量进行评分
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，对大量的评分数据进行统计处理 主观方法需多次重复实验

















，耗时费力                           ，易受观察者个人因素的影响


























。

客观评测

用数学公式计算给出指标数值 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，使算法评价自动                  、公开                  。 传统的客观方法主要有**峰值信噪比(PSNR)和均方误差(MSE)**等  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
。 优点：计算简单  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
、物理意义明确

















、数学上便于优化 缺点：没有考虑到像素间的相关性和人类视觉系统的感知特性


























，在很多情况下不符合人的主观感受

















。 Structural Similarity (SSIM)：luminance, contrast and structure

像素的空间关系

领域

4领域 对角领域 8领域

邻接性

像素 p 和 q 邻接的两个必要条件：

两个像素的位置在某种情况下是否相邻 两个像素的值是否满足某种相似性

4邻接

两个像素 p 和 q 的灰度值在集合V中                  ，且 q 在 p 的4邻域内  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，则它们为4邻接；

8邻接

两个像素 p 和 q 的灰度值在集合V中

















，且 q 在 p 的8邻域内
  
  
  
  
  
  
  
  
  ，则它们为8邻接
  
  
  
  
  
  
  
  
  。

连通性

若从像素 q 到像素 p 之间存在一条一序列像素组成的折线  
  
  
  
  
  
  
  
  
，且该折线上的像素灰度值均满足上述特定相似性准则
 


 


 


 


 


 


 


 


 

，则称这一序列像素组成了一条从像素 q 到像素 p 的通路

  
  
  
  
  
  
  
  
  
。

设 q 和 p 是某一图像子集 S 中的两个像素
 
 
 
 
 
 
 
 
 ，若存在一条完全由 S 中的像素组成的从 q 到 p 的通路   
   
   
   
   
   
   
   
   
，则称像素 q 和 p 是连通的
 


 


 


 


 


 


 


 


 

。

根据邻接性定义不同
 

 

 

 

 

 

 

 

 
，可定义不同的连通性

在4邻接下定义的通路称为4连通 在8邻接下定义的通路称为8连通 对于 S 中任意像素 p

 

 

 

 

 

 

 

 

 ，S 中与该像素相连通的全部像素组成的集合称为 S 的连通分量
 
 
 
 
 
 
 
 
 。 若 S 中仅有一个连通分量                  ，则称集合 S 为连通集   
   
   
   
   
   
   
   
   
。

区域和边界

设 p 为某一图像子集 S 中的一个像素
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
，若像素 p 的某一邻域包含于 S 中则称像素 p 为 S 的内点

















，若 S 中的像素都是内点                           ，则 S 称为开集 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
，连通的开集称为开区域


























，简称为区域
 

 

 

 

 

 

 

 

 
。

若像素 p 的任意邻域内有属于 S 的像素也有不属于 S 的像素                  ，则像素 p 称为 S 的边界像素

 

 

 

 

 

 

 

 

 。S 的边界像素的全体称为 S 的边界                  。

图像中每一个连通集构成一个区域  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
，图像可认为是由多个区域组成
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 
。区域的边界也称为区域的轮廓

















，它将区域与其他区域分开

















。

区域的内部和边界必须采用不同的连通性来定义
  
  
  
  
  
  
  
  
  ，否则会出现歧义性                           。

距离度量