目录
参考文献——《图像处理和分析教程》 by 章毓晋
毓（yu）、晋（jin）
1、图像：图像是各种观测系统以不同形式和手段观测客观世界而获得的，可以直接或间接作用于人眼进而产生视知觉的实体
2、连续图像：人眼直接感受到的图像，也称模拟图像
3、视觉：人用眼睛观测世界，并用人脑感知世界的能力
4、视觉系统：人体内通过观测世界获得图像，并进而实现视觉功能的系统
5、数字图像：对连续图像数字化或离散化的结果，也称离散图像。image代表离散化了的数字图像
6、图像技术：指利用计算机和电子设备对图像进行各种加工的技术。被加工的图像都是数字图像。
7、图像处理技术：通过对图像的加工获得更好的视觉观察效果，或在保证一定的视觉观察效果的基础上减少图像存储所需的空间或传输所需的时间
8、图像分析技术：对图像中感兴趣的目标进行检测和测量，以获得各种描述目标特点和性质的客观数据和信息
图像成像可借助各种电磁波辐射来实现。各种电磁波的波长从短到长依次为：伽玛射线及宇宙射线、X射线（伦琴射线）、紫外线、可见光、红外线、无线电波（包括微波）、交流电
1、彩色图像：用三个性质空间（如R、G、B）的数值来表示，能给人以彩色感觉的图像
2、多光谱图像（多波段图像）：包含多个频谱段的一组图像，每幅图像对应一个频谱段。遥感图像一般均为多光谱图像
3、纹理图像：反映物体表面的特性
4、立体图像：获取场景中物体的距离（深度）信息。常用双目图像（立体图像对）、多目图像（多视图像）。当双目图像由相机左右并排放置获得时，称为左图和右图；当双目图像由相机上下并排放置获得时，称为上图和下图
5、深度图像：反映场景中景物与摄像机之间距离信息的图像。从深度图像获得的信息并不是景物的亮度，而是景物的3-D结构信息。其中浅色表示较近的距离值，深色对应较远的距离值
6、3-D图像：坐标空间为三维，需要用三元函数f(x，y，z)来表示的图像，可以看作一系列2-D图像叠加而成。视频图像也可以看作3-D图像，用f(x，y，t)表示
7、序列图像：时间上有一定顺序和间隔、内容上相关的一组图像，也称图像序列或运动图像，可用f(x，y，t)来表示。视频图像是一种特殊的序列图像，其中的每幅图像称为帧图像，帧图像之间的时间间隔常常是固定的。也有一些图像序列中各图像采集的时间间隔并不一致，这些图像只是反映了事件进程中不同的几个状态或时刻
8、投影重建图像：利用计算机从景物的投影出发重构复原出来的图像。投影重建的方法很多，最常见的是利用计算机断层扫描，得到的图像又分为发射断层（CT）图像、正电子发射（PET）图像、单光子发射（SPECT）图像。例子：磁共振（MRI）图像、雷达图像
9、合成图像：作为参考图来测试技术的性能
1、图像处理：着重强调图像之间进行的转换
2、图像分析：主要对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息从而建立对图像中目标的描述
3、图像理解：研究图像中各目标的性质和它们之间的相互联系，并得出对整幅图像内容含义的理解以及对原来成像客观场景的解释
1、图像的表示
2、像素和表示
原始采集的数字图像一般采用光栅图像的形式存储。将图像区域分成小的单元（一般是小正方形）
图像显示：将图像数据以2-D图的形式（一般情况下是亮度模式的空间排列，即空间(x，y)处显示对应f的亮度）展示出来
1、半调输出：利用人眼的集成特性，在每个像素位置打印一个尺寸反比于像素灰度的黑圆点，即在亮的图像区域打印的点小，而在暗的图像区域打印的点大。当点足够小、观察距离足够远，人眼就不容易区分开各个小点，从而得到比较连续平滑的灰度图像
2、半调输出方法：先将图像区域细分，取邻近的单元结合起来组成输出区域，这样在每个输出区域内包含若干个单元，只要把一些单元输出黑，而把其他单元输出白就可以得到不同灰度的效果。该方法通过减少图像的空间分辨率来增加图像的幅度分辨率（即在空间上用多个只有两种取值的点来得到单个有多种取值的点），所以有可能导致图像采样过粗而影响图像的显示质量
3、抖动技术：
利用抖动技术可以消除一些由于灰度级数过少而产生的虚假轮廓，所叠加的抖动值越大，效果越明显。单抖动值得叠加也给图像带来了噪声，抖动值越大，噪声影响也越大
1、在计算机中，图像数据最小得量度单位是比特（bit）。存储器的存储量常用字节（byte，B）、千字节（KB）、兆（10^6）字节（MB）、吉（10^9）字节（GB）、太（10^12）字节（TB）等表示。1byte = 8bit
2、用于图像处理和分析的数字存储器分为三类：
（1）处理和分析过程中使用的快速存储器
（2）用于比较快地重新调用的在线或联机存储器
（3）不经常使用的数据库（档案库）存储器
1、矢量形式：图像是一系列线段或线段的组合体来表示的，线段的灰度可以是均匀的或变化的，在线段组合体中各部分也可以使用不同的灰度。矢量文件和程序文件一样，里面有一系列命令和数据，执行这些命令就可以根据数据画出图案。矢量文件主要用于人工绘制的图形数据
2、光栅形式：表示自然图像数据的文件，这种形式与人对图像的理解一致（图像是许多图像点的集合），比较适合色彩、阴影或形状变化复杂的真实图像。其缺点是直接表示像素间相互关系的结构，且限定了像素的分辨率。而限定分辨率会导致：将图像放大到一定程度就会出现方块效应，另一个是如果将图像缩小后再恢复到原尺寸则图像会变得模糊
3、4种图像文件格式：
（1）BMP格式：windows系统中的标准图像格式。存储格式可以有压缩和非压缩两种
（2）GIF格式：公用的图像文件格式标准。采用的压缩算法是改进的LZW算法
（3）TIFF格式：独立于操作系统和文件系统的图像格式。TIFF格式采用了多种压缩方法
（4）JPEG格式：一种国际压缩标准，尤其适用于拍摄的自然照片，为JFIF图像。可节省的空间较其他图片更大。
图像采集：获取图像的技术和过程。涉及几何学、光度学（辐射度学）。采集获得的图像由许多像素点组成
采样和量化确定了用成像设备采集图像并用一个数字矩阵表达该图像时会得到的结果
投影变换（成像变换，几何透视变换）：用照相机或摄像机进行图像采集时要将3-D空间的客观场景投影到2-D空间的图像平面
1、坐标系统
对3-D空间景物成像时会涉及到坐标系统
（1）世界坐标系统：客观世界的绝对坐标系统（客观坐标系统、真实世界坐标系统、现实世界坐标系统），记作XYZ。一般的3-D场景都是用该坐标系统来表示
（2）摄像机坐标系统：以摄像机为中心制订的坐标系统，记为xyz，一般取摄像机的光学轴为z轴
（3）像平面坐标系统：在摄像机内所形成像平面上的坐标系统，记为x’y’。一般取像平面与摄像机坐标系统的xy平面平行，且x轴与x’轴、y轴与y’轴分别重合，这样像平面原点就在摄像机的光学轴上
（4）计算机图像坐标系统：在计算机内部数字所用的坐标系统，记为MN。数字图像最终由计算机内的存储器存放，所以要将像平面坐标系统中的坐标转换到计算机图像坐标系统中
摄像机模型：侧重前三个坐标系统相互关系的模型
2、齐次坐标：在进行不同坐标系统之间的转换时，如果能将坐标系统用齐次坐标的形式表达，就能将各坐标系统之间的转换表示成线性矩阵形式
一幅（模拟）图像必须要在空间和灰度上都被离散化才能转化为数字图像，从而被计算机加工。空间坐标的离散化称为空间采样（简称采样），确定了图像的空间分辨率；而灰度值的离散化称为灰度量化（简称量化），确定了图像的幅度分辨率
图像质量会随着空间分辨率（N）和灰度量化级数（k）的减少而劣化
1、保持灰度级数不变而仅减小空间分辨率（通过像素复制），就可能在图像中各区域的边缘处看到棋盘模式，并且全图看到像素粒子变粗的现象
2、保持空间分辨率而仅减小灰度级数，会出现虚假轮廓现象，它是由于在数字图像的灰度平滑区域使用的灰度级数不够造成的
3、空间和灰度分辨率同时减小时，图像质量的退化比单独变化时更快
4、采样值选择：由该图像中需要观察到的哪一个尺度的细节决定。
5、量化级数选择：一个是人类视觉系统的分辨率，即应该让人从图像中看得到连续的亮度变化。另一个是与应用有关，即要满足具体应用所需要的分辨率
空域（图像域）：由像素组成的空间
空域增强方法：直接作用于像素改变其特性的增强方法
点操作：增强操作仅定义在每个像素位置（x，y）上。可通过逐一将原始图像在（x，y）的灰度f映射到新灰度g来实现，也可通过对一系列原始图像进行运算来实现，还可以借助对原始图像的某种统计（如直方图）进行修正来实现
模板操作（邻域操作）：增强操作定义在每个（x，y）的某个邻域。通过设计模板系数来实现不同的增强操作
灰度映射：通过改变图像中所有或部分像素的灰度来达到改善图像视觉效果的目的
灰度映射原理：基于图像像素的点操作。通过对原始图像中每个像素赋予一个新的灰度值来增强图像。先根据增强的目的设计某种映射规则，并用相应的映射函数（变换函数）来表示。将原始图像中的每个像素都用这个映射函数来将原来的灰度值转化为另一灰度值输出
1、图像求反：原图灰度值翻转，使黑变白，使白变黑。映射是一对一的
2、动态范围压缩：可以理解为将灰度值集中在一个小范围内。映射是一对一的
3、阶梯量化：在保持原图动态范围的基础上，减少灰度级数，即减少表示灰度所需的比特数，从而获得数据压缩的效果。映射是多对一的
4、阈值切分：图像只剩下2个灰度级，对比度最大但细节全丢失了
图像运算：通过改变像素的值来得到图像增强的效果。
逻辑运算只可用于二值（0和1）图像
直方图：对图像的一种抽象表示方式。通过对图像的统计得到的。对一幅灰度图像，其灰度直方图反映了该图中不同灰度级出现的统计情况
直方图修正：对图像直方图的修改或变换，可以改变图像像素的灰度分布，从而达到对图像进行增强的目的
1、直方图和累积直方图
2、直方图均衡化原理
基本思想是把原始图像的直方图变换为在整个灰度范围内均匀分布的形式，这样就增加了像素灰度值的动态范围，从而可达到增强图像整体对比度的效果
3、直方图均衡化的列表计算
由于直方图均衡化增加了图像灰度动态范围，所以也增加了图像的对比度，反映在图像上就是图像有较大的反差，许多细节可看得比较清晰了。但增加了图像得可视粒度，即图像中有许多粗颗粒得像素团出现
空域滤波：利用像素和像素邻域组成得空间进行图像增强的方法
1、图像恢复（图像复原）与图像增强的区别与联系：
（1）相同之处：都希望要改进输入图像的视觉质量
（2）不同之处：图像增强图像增强技术一般要借助人的视觉系统的特性以取得看起来较好的视觉效果；而图像恢复是要将图像退化的过程模型化，并据此采取相反的过程以得到原始的图像
2、噪声是一种常见的图像退化因素，虽然根据对噪声特点的一般了解可以采用不同的增强技术，但如果对噪声模型有更好的把握，采用图像恢复技术来处理会有可能获得更好的效果
3、图像恢复技术分类：
（1）在给定模型的条件下，分为无约束和有约束。无约束恢复仅将图像看作一个数字矩阵，没有考虑恢复后图像应受到的物理约束，只从数学角度进行处理；有约束恢复还考虑到恢复后的图像应该受到一定的物理约束，如在空间上比较平滑，其灰度值为正等
（2）根据是否需要外来干预，分为自动和交互
（3）根据处理所在域，分为频域和空域
度值，但这个改变值都取饱和值。在实际应用中，在受脉冲噪声影响的图像中只有一部分像素会受到影响，所以常用其所占百分比来表示脉冲噪声的强弱
一般情况下使用均值滤波器滤除高斯噪声的效果比滤除滤除脉冲噪声的效果好，或者说均值滤波更适合消除高斯噪声
谐波均值滤波器对盐噪声的滤除效果比对椒噪声要好许多
中点滤波器取得了最大值滤波器和最小值滤波器的平均值，可认为结合了排序统计计算和平均计算。中点滤波器对消除多种随机分布的噪声，如高斯噪声和均匀随机分布噪声都比较有效
中值滤波器滤除脉冲噪声的效果比滤除高斯噪声的效果好，而其它几种排序统计滤波器对双极性的脉冲噪声的滤波效果并不好
在消除各种混合比例的混合噪声时使用选择性滤波器的效果比单独使用任何一个滤波器的效果都要好
图像缺损尺度较小时，采用的技术主要是利用图像的局部结构信息；尺寸较大时，则常需要全面考虑整幅图像并借助区域的纹理信息。
大尺寸修复示例：
超分辨率：对较小的图像或视频进行尺寸放大并增加其分辨能力的方法
图像分割：把图像分成各具特性的区域并提取出感兴趣目标的技术和过程
目标（前景）：感兴趣的部分。其他部分称为背景
梯度算子是一阶导数算子。对一个连续函数f(x，y)，它在位置(x，y)的梯
以2为范数的梯度比以1和无穷为范数的梯度更为灵敏
并行区域技术：并行的直接检测的分割方法，最常见的是取阈值技术
