视频压缩之冗余

视频压缩之冗余

    对于数字视频信号，数据量很大，不管是存储还是传输的需要，做压缩处理是必须的，下面我们会做进一步阐述。

    以记录数字视频的YUV分量格式为例，YUV分别代表亮度与两个色差信号。例如对于现有的PAL制电视系统，其亮度信号采样频率为13.5MHz；色度信号的频带通常为亮度信号的一半或更少，为6.75MHz或3.375MHz。以4：2：2的采样频率为例，Y信号采用13.5MHz，色度信号U和V采用6.75MHz采样，采样信号以8bit量化，则可以计算出数字视频的码率为：

13.5*8 + 6.75*8 + 6.75*8=216Mbit/s

在数字视频标准ITU-R601标准中，PAL/NTSC制式的SDTV采用10bit量化时，亮度信号的码率为：

   取样频率X 量化比特数= 13.5MHz X 10bit = 135Mbps

  2个色差信号的码率为 2 X 6.75MHz X 10bit =135Mbps

  
SDTV的总码率为13.5*10+ 6.75*10 + 6.75*10= 270Mbps

而对于高清晰度电视（HDTV），在SMPTE274M数字电视标准中，1080P
60Hz的高清数字视频信号采用10bit量化时，

  
亮度信号的码率为：

取样频率X 量化比特数= 74.25MHz X 10bit = 742.5Mbps

 2个色差信号的码率为2 X 37.125MHz X 10bit = 742.5Mbps

HDTV的总码率为：

亮度信号码率 + 2个色差信号码率 = 742.5Mbps +742.5Mbps = 1485Mbps

那么对于现在逐渐普及的4K电视信号，数字化后的码率就更高了。如此可见，由于数字化后的视频数据量十分巨大，不便于传输和存储。单纯用扩大存储容量、增加通信信道带宽的办法是不现实的。而数据压缩是个行之有效的方法，通过数据压缩手段把信息的数据量压下来，以压缩编码的形式存储和传输，即紧缩节约了存储空间，又提高了通信信道的传输效率。

数字化后的视频信号能进行压缩主要依据两个基本条件：

1. 数据冗余。例如空间冗余、时间冗余、结构冗余、信息熵冗余等，即图像的各像素之间存在着很强的相关性。消除这些冗余并不会导致信息损失，属于无损压缩。
2. 视觉冗余。人眼的一些特性比如亮度辨别阈值，视觉阈值，对亮度和色度的敏感度不同，使得在编码的时候引入适量的误差，也不会被察觉出来。可以利用人眼的视觉特性，以一定的客观失真换取数据压缩。这种压缩属于有损压缩。

数字视频信号的压缩正是基于上述两种条件，使得视频数据量得以极大的压缩，有利于传输和存储。

        视频数据中存在着大量的冗余，即图像的各像素数据之间存在极强的相关性。利用这些相关性，一部分像素的数据可以由另一部分像素的数据推导出来，结果视频数据量能极大地压缩，有利于传输和存储。如上面所述，视频数据主要存在以下形式的冗余。

1. 空间冗余

       这是静态图像存在的最主要的一种数据冗余。一幅图像记录了画面上可见景物的颜色。同一景物表面上各采样点的颜色之间往往存在着空间连贯性，也就是说视频图像在水平方向相邻像素之间、垂直方向相邻像素之间的变化一般都很小，存在着极强的空间相关性。但是基于离散像素采样之后的数字视频来表示物体颜色的方式通常没有利用景物表面颜色的这种空间连贯性，特别是同一景物各点的灰度和颜色之间往往存在着的空间连贯性，从而产生了空间冗余。规则物体和规则背景的表面物理特性都具有相关性，也就是说某些区域中所有点的光强和色彩以及饱和度都是相同的，因此数据有很大的空间冗余。常称为帧内相关性。

2. 时间冗余

      这是一系列连续图像表示中经常包含的冗余。序列图像（如电视图像和运动图像）一般是位于时间轴区间内的一组连续画面，其中的相邻帧，或者相邻场的图像中，在对应位置的像素之间，亮度和色度信息存在着极强的相关性。当前帧的图像往往具有与前、后两帧图像相同的背景和运动物体，只不过移动物体所在的空间位置略有不同，所以后一帧的数据与前一帧的数据有许多共同的地方，对大多数像素来说，亮度和色度信息是基本相同的。而变化的只是其中某些地方，这就形成了时间冗余，这称为帧间相关性或时间相关性。

3. 符号冗余

       符号冗余也称编码表示冗余，又称信息熵冗余。信息熵指一组数据携带的平均信息量。这里的信息量是指从N个不相等可能事件中选出一个事件所需要的信息度量，即在N个事件中辨识一个特定事件的过程中需要提问的最少次数（=log2N比特）。将信息源所有可能事件的信息量进行平均，得到的信息平均量称为信息熵。

上述符号冗余、空间冗余和时间冗余，统称为统计冗余，因为它们都取决于图像数据的统计特性。

 4. 图像区域的相似性冗余

       在图像中的两个或多个区域所对应的所有像素值相同或相近，从而产生的数据重复性存储，这就是图像区域的相似性冗余。在这种情况下，记录了一个区域中各像素的颜色值，与其相同或相近的区域就不再记录各像素的值。矢量量化方法就是针对这种冗余图像的压缩方法。

 5. 结构冗余

        在有些图像的图案区域，图像的像素值存在着明显的分布模式。数字化图像中的物体表面纹理等结构往往存在着冗余，这种冗余称为结构冗余。例如，当一幅图有很强的结构特性，纹理和影像色调等与物体表面结构有一定的规则时，其结构冗余很大。这些图像的纹理区，像素值存在明显的分布模式，已知分布模式，可以通过某一过程生成图像。例如，方格状的地板图案等。

6. 纹理的统计冗余

       有些图像纹理尽管不严格服从某一分布规律，但是在统计的意义上服从该规律，利用这种性质也可以减少表示图像的数据量，称为纹理的统计冗余。

信号统计上的冗余度来源于被编码信号概率密度分布的不均匀预测编码：不直接传送图像信号，而传送图象信号之间的差值。这种差值呈拉普拉斯分布。

在预测编码系统中，需要编码传输的是预测误差信号，它是当前待传像素样值与它的预测值间的差分信号。预测值是通过在该像素之前已经传出的它的几个近邻像素值预测出来的。由于电视信号相邻像素间相关性很强，在大部分时间内预测都很准，预测误差很小。并且，预测误差高度集中在0附近，形成如上图所示的拉普拉斯分布。这种不均匀的概率分布对采用可变字长编码压缩码率极为有利。

预测编码时，对出现概率高的预测误差信号(0及小误差) 用短码，对概率低的大预测误差用长码，使总的平均码长要比用固定码长编码短很多。电视图像信号数据存在的信息冗余为视频压缩编码提供了可能。

7. 知识冗余

       有些图像与某些知识有相当大的相关性。由图像的记录方式与人对图像的知识差异所产生的冗余称为知识冗余。人对许多图像的理解与某些基础知识有很大的相关性。例如，人脸的图像有固定的结构，比如说嘴的上方有鼻子，鼻子的上方有眼睛等等，这类规律性的结构可由先验知识和背景知识得到。但计算机存储图像时还得把一个个像素信息存入，这就是知识冗余。根据已有知识，对某些图像中所包含的物体，可以构造其基本模型，并创建对应各种特征的图像库，进而图像的存储只需要保存一些特征参数，从而可以大大减少数据量。知识冗余是模型编码主要利用的特性。

8. 视觉冗余

        事实表明，人类的视觉系统对于图像的敏感性是非均匀和非线性的，它并不能感知图像的所有变化，对视觉不敏感的信息可以适当地舍弃。然而，在记录原始的图像数据时，通常假定视觉系统是线性的和均匀的，对视觉敏感和不敏感的部分同等对待，从而产生了比理想编码(即把视觉敏感和不敏感的部分区分开来编码)更多的数据，当某些变化不能被视觉所感知，则忽略这些变化，我们仍认为图像是完好的。人类视觉系统的一般分辨能力估计为26灰度等级，而一般图像的量化采用28灰度等级。这些对视觉不敏感的数据，并不能对增加图象相对于人眼清晰度作出贡献，而被认为是多余的数据，这就是视觉冗余度。

       通过对人类视觉进行大量实验，发现了以下的视觉非均匀特性：视觉系统对图像的亮度和色彩度的敏感性相差很大。随着亮度的增加，视觉系统对量化误差的敏感度降低。这是由于人眼的辨别能力与物体周围的背景亮度成反比。由此说明：在高亮度区，灰度值的量化可以更粗糙一些。人眼的视觉系统把图像的边缘和非边缘区域分开来处理，这是将图像分成非边缘区域和边缘区域分别进行编码的主要依据。人类的视觉系统总是把视网膜上的图像分解成若干个空间有向的频率通道后再进一步处理。

       同时人眼对低频信号比对高频信号敏感；对静止图象比对运动图象敏感；对图象中水平和垂直线条比对斜线条敏感。

        人眼对图像的细节分辨率、运动分辨率和对比度分辨率都有一定的限度。

       人眼对图像细节、幅度变化和图像的运动并非同时具有最高的分辨能力。图像信号在空间、时间以及在幅度方面进行数字化的精细程度只要达到了这个限度即可，超过是无意义的。从视觉心理学和生理学的研究表明，人眼对图像细节、运动和对比度三方面的分辨能力是互相制约的。观察景物时，并非对这三者同时都具备最高的分辨能力。

        同时，人眼视觉对图像的空间分解力和时间分解力的要求具有交换性，当对一方要求较高时，对另一方的要求就较低。根据这个特点，可以采用运动检测自适应技术。根据图像的每一局部的特点来决定对它的抽样频率和量化的精度，尽量地做到人眼的视觉特性相匹配,可做到在不损伤图像主观质量的条件下压缩码率。对静止图像或慢运动图像降低其时间轴抽样频率，例如每两帧传送一帧；对快速运动图像降低其空间抽样频率。例如，在预测编码中，利用受图像局部活动性影响的视觉掩盖效应设计的自适应主观优化量化器;在变换编码中，对不同空间频率的变换系数进行量化时采用视觉加权矩阵便是典型例子。

       另外，人眼视觉对图像的空间、时间分解力的要求与对幅度分解力的要求也具有交换性，对图像的幅度误差存在一个随图像内容而变的可觉察门限，低于门限的幅度误差不被察觉，在图像的空间边缘(轮廓)或时间边缘(景物突变瞬间)附近，可觉察门限比远离边缘处增大3～4倍，这就是视觉掩盖效应。

       根据这个特点，可以采用边缘检测自适应技术，对于图像的平缓区或正交变换后代表图像低频成分的系数细量化，对图像轮廓附近或正交变换后代表图像高频成分的系数粗量化；当由于景物的快速运动而使帧间预测编码码率高于正常值时进行粗量化，反之则进行细量化。在量化中，尽量使每种情况下所产生的幅度误差刚好处于可觉察门限之下，这样能实现较高的数据压缩率而主观评价不变。

               压缩视觉冗余度就是去掉那些相对人眼而言是看不到的或可有可无的图象数据，利用人眼的视觉特性进行压缩。

上述各种形式的冗余，是压缩图像与视频数据的出发点。图像与视频压缩编码方法就是要尽可能地去除这些冗余，以减少表示图像与视频所需的数据量。根据上述冗余的分类，图像压缩方法在广义上可以分成两类：

• 一类是冗余度压缩技术，无损伤压缩技术，无失真，数学上可逆。即它是可还原的；又称为可逆编码(Reversible
  Coding)。
• 另一类是信息量压缩技术，有损伤压缩技术，有失真，数学上不可逆。即它是不可还原的；又称不可逆压缩(Non-Reversible
  Coding)。