基于图像特征的视频编码码率控制策略

维普资讯 http://www.cqvip.com ２００６年第６期　中图分类号：ＴＮ９１９．８１　文献标识码：Ａ　文章编号：１００９—２５５２（２ｏ０６｝０６—０００４—０３　基于图像特征的视频编码码率控制策略　竺　亮　，李晓辉　（１．安徽电视台，合肥２３００６６；２．安徽大学电子科学与技术学院，合肥２３００３９）　摘要：根据缓存器的状态和信道速率，为待编码帧在图像层上预分配目的编码比特数，并使　用小波变换系数来表征图像特性，继而为帧内每一具体宏块选定量化因子，提出了基于图像特　征的码率控制策略。仿真结果表明，该码率控制策略能有效地避免缓存器出现上、下溢的情况，　并使输出码率趋于稳定。　关键词：视频编码；图像层；宏块层；图像特征；码率控制　Ｖｉｄｅｏ　ｃｏｄｉｎｇ　ｒａｔｅ　ｃｏｎｔｒｏｌ　ｓｔｒａｔｅｇｙ　ｂａｓｅｄ　ｏｎ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｐｉｃｔｕｒｅ　ＺＨＵ　Ｌｉａｎｇ　．ＬＩ　Ｘｉａｏ．ｈｕｉ　（１．ＡｎｈｕｉＴｅｌｅｖｉｓｉｏｎ　Ｓｔａｔｉｏｎ，Ｈｅｆｅｉ　２３００６６，Ｃｈｉｎａ；　２．Ｓｄｌｏｌｅ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｔｅｃｈｎｏｌｏｇｙ，Ａｎｈｕｉ　Ｕｎｉｖｅｒｓｉｔｙ，Ｈｅｆｅｉ　２３００３９，Ｃｈｉｎａ）　Ａｂｓｔｒａｃｔ：Ａｎ　ｉｍｐｒｏｖｅｄ　ｒａｔｅ　ｃｏｎｔｒｏｌ　ｓｔｒａｔｅｇｙ　ｉｓ　ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ　ａｌｌｏｃａｔｅｓ　ｔｈｅ　ｔａｒｇｅｔ　ｎｕｍｂｅｒ　ｏｆ　ｂｉｔｓ　ａｔ　ｆＬｒＳｔ　ｏｎ　ｈｅ　ｐｉｔｃｔｕｒｅ　ｌａｙｅｒ，ｄｅｎｏｔｅｓ　ｔｈｅ　ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｔｈｅ　ｐｉｃｔｕｒｅ　ｂｙ　ｔｈｅ　ｄｉｓｔｒｉｂｕｔｄ　ｃｈａｒａｃｔｅｅｒｉｓｔｉｃｓ　ｏｆ　ｔｈｅ　ｗａｖｅｌｅｔ　ｔｒａｎｓｆｏｎｎ　ｃｏｅｆｆｉｃｉｅｎｔｓ　ａｎｄ　ｔｈｅｎ　ｓｅｌｅｃｔ　ａ　ｑｕａｎｔｉｚａｔｉｏｎ　ｐａｒａｍｅｔｅｒ　ｆｏｒ　ｅａｃｈ　ｍａｃｒｏｂｌｏｃｋ　ｉｎ　ａ　ｆｒａｍｅ．Ｔｈｅ　ｓｉｍｕｌａｔｉｏｎ　ｒｅｓｕｌｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｉｓ　ｒａｔｅ　ｃｏｎｔｒｏｌ　ｓｔｒａｔｅｇｙ　ｃａｎ　ｅｆｆｅｃｔｉｖｅｌｙ　ａｖｏｉｄ　ｔｈｅ　ｏｖｅｒ￣ｏｗ　ａｎｄ　ｕｎｄｅｒｆｌｏｗ　ｏｆ　ｔｈｅ　ｅｎｃｏｄｅｒ　ｂｕｆｆｅｒ，ａｎｄ　ｔｈｅ　ｏｕｔｐｕｔ　ｂｉｔ　ｒａｔｅｓ　ｉｎｃｌｉｎｅ　ｔｏ　ｓｔａｂｉｌｉｚａｔｉｏｎ．　Ｋｅｙ　ｗｏｒｄｓ：ｖｉｄｅｏ　ｃｏｄｉｎｇ；ｐｉｃｔｕｒｅ　ｌａｙｅｒ；ｍａｅｍｂｌｏｃｋ　ｌａｙｅｒ；ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ　ｏｆ　ｐｉｃｔｕｒｅ；ｒａｔｅ　ｃｏｎｔｒｏｌ　０　引言　在Ｈ．２６１，Ｈ．６３等编码方案中，由于对不同的帧　２使用的编码方式不同，使得各帧编码后产生的比特数　也不尽相同。为了使编码后的数据适于在固定速率　的信道上传输，往往需要在信源编码端设置一个缓存　器，以平滑编码输出的码流，实现变字长编码数据流　特数的预测或用实验迭代的方法来确定相应的量化　步长ｌ】Ｉ２］。该类型控制策略的不足之处是没有充分　考虑到缓冲器的占有情况，对缓存器状态的变换反　映较慢。　后向控制是依据缓存器的状态和信道速率来调　整量化步长，从而使分配给同一帧内不同类型宏块　的比特数不尽相同。在Ｈ．２６１的参考模型ＲＭ８中　使用的就是后向控制的方法。但该码率控制策略仅　仅根据缓存器的占有率对量化级进行控制，没有考　虑到实际图像的具体内容。在图像突变时，由于调　与信道传输所需的固定码率相匹配。缓存器的容量　愈大，平滑的效果愈好，愈不易出现跳帧的情况，重建　图像的质量愈高。然而，在实时、双向视频通信中，常　常需要做到端到端的时延很小，这就要求信源端的缓　存器容量应尽可能小。这是一对矛盾。码率控制的　目的就是要解决这一矛盾，做到在系统能正常工作的　前提下，即在以恒定码率输出的同时，缓存器不产生　上、下溢，并且缓冲器的容量和时延尽可能小。　节过慢有可能使得图像质量严重下降。　在进行码率控制时，如果能将图像特征作为一　个控制参数，根据图像特征来适当调整量化因子的　大小，进而调整编码后的输出码率，往往能收到更为　收稿日期：２０ｏ５一ｌｌ一２８　１　传统的码率控制策略　传统的码率控制策略分为前向控制和后向控　制。前向控制策略是通过对各编码单位编码输出比　．－－——基金项目：安徽省自然科学基金资助项目（０３０４２２０９）　作者简介：竺亮（１９６１一），男，安徽电视台高级工程师，研究方向为　视频信号处理。　４．－－——　维普资讯 http://www.cqvip.com 满意的平滑效果，获得更为稳定输出码流，解码端能　取得更高信噪比的重建图像。　２基于图像特征的码率控制策略　本文提出的码率控制策略通过前向控制和后向　控制相结合的途径来达到码率控制的目的。它首先　在总体上对每帧图像的编码比特数进行预分配，此　过程称为图像层码率控制。然后在对每帧图像具体　编码时，又根据当前图像的具体特征分别对待，为帧　内不同特征的宏块选用不同的量化因子，更为合理　地在一帧内分配比特数，从而使得在编码输出码流　趋于稳定的同时，编码后图像的主客观质量也有所　提高，尤其是在重要的细节部分。该过程称为宏块　层码率控制。　２．１图像层码率控制　图像层码率控制实际上是根据信道速率和缓存　器状态在图像层上为每一帧图像确定目的编码比特　数，并由此确定图像层的参考量化因子，这是一种宏　观预分配　Ｊ。在图像层上使用如下公式为当前待编　码帧选定一个目的编码比特数　。　＝尺／Ｆ—ＡＢ　（１）　ｆ　／Ｆ　：Ｗ＞Ｚ　Ｍ　ＡＢ　ｉ　一ｚ＊　；其它　（２）　在（１）式中，兄是信道速率，Ｆ是帧频。ＡＢ是一　个修正量，　为当前缓冲区中的比特数，ｚ经多次　实验测量可取一常量。　为缓存器不产生上溢的最　大值。通常ＡＢ的值很小，在尺／Ｆ附近。　在进行宏块层码率控制前，应该为当前帧内的　所有宏块选取一个参考量化因子０ｒ。如果当前帧内　所有宏块都使用这一相同的量化因子进行量化，则　编码后得到比特数应该与先前在图像层上为之预分　配的比特数相近，而且缓存器不易出现上、下溢。参　考量化因子的选取应由当前缓冲器的状态及待编码　输出的比特数决定。　当前缓存器中的比特数可以用下式计算：　Ｗ＝ｍａｘ（　一＋Ｂ　一ＲＩＦ，０）　（３）　在（３）式中，　为当前缓存器中的比特数，Ｂ　为　先前帧编码时产生的比特数。　一为缓存器中先前　的比特数，Ｒ／Ｆ为每帧图像编码后能传送到信道上　的数据量。　根据当前缓冲器状态确定参考量化系数的算法　如下式表示：　ｆ　Ｑ　＋ｌ　；Ｗ＞口ｌ　Ｍ　Ｉ　Ｑ　：｛【　Ｑ，　；口２　Ｍ＜Ｗ　ｓ　ｎｌ　Ｍ　（４）　Ｑ　一ｌ　；ｗ≤口２Ｍ　式中肘为缓冲器的最大容量。０ｔ　，ｎ　为常数系数。　２．２宏块层码率控制　在为帧内每个宏块确定具体量化步长的过程　中，应充分考虑到图像本身的特征。可以采用小波　变换系数的分布特性来表征图像特征－４Ｉ５　Ｊ。本文将　基于此种思想，进而提出一种宏块层码率控制策略。　小波变换可以看成是一组理想的带通滤波器。　选用小波变换带通滤波器组中的高通滤波器组，能够　准确地滤出图像高频区中所有不同频带的信号。另　一方面，小波变换的系数能够更好地反映出图像特　征，尤其是图像的位置特征，同时也符合人眼视觉特　性的规律，系数大的位置对应着图像的高频分量区。　对一幅图像进行一级小波分解变换后的结果为　ＬＬ，ＬＨ，ＨＬ，ＨＨ四个区，其中，ＬＬ代表图像的低频分　量区，该区的数据反映了图像的概貌；ＨＬ，ＬＨ，和ＨＨ　代表图像的高频分量区，描述的是图像细节部分信　息，是进行图像压缩时需要酌情除去的分量。　一般来说，活动性较大的宏块所产生的比特数将　比那些活动性较小的宏块所产生的比特数多。在进　行码率控制时，对活动性大的宏块可采用相对较大的　量化因子，以适当减少其产生的比特数，这将有利于　总输出编码比特数的稳定，避免输出缓冲器上溢。对　于那些活动性较小的宏块则采用相对较小的量化因　子，以保证当前宏块在解码端重建时能获得较高的图　像质量。对于活动性非常小的宏块，其所吩应的图像　几乎不变，因此对于该类型宏块可以不再降低其量化　因子的大小，甚至可以增大其量化因子。　根据上述分析，按图像变化的特征可以将图像　分成平坦区、缓变区、适度变化区和剧变区等四类。　对图像进行上述分类，可以通过分析小波变换　系数高频部分的值来进行。为了计算简单、方便，可　只取ＨＨ高频部分的系数作分析。由于原图像的宏　块大小通常为１６×１６，而在进行一级小波变换时采　用了下抽样，所以原图像中的宏块映射到小波变换　的ＨＨ区中得到的是８×８的小块，本文中称之为映　射宏块。其中的数据反映的是原图像中相应宏块的　高频信息。通过对映射宏块中数值的分析，可以对　图像特征作出判决。本文使用映射宏块中小波变换　系数之和来衡量原图像宏块的变化程度，并以此来　决定如何对量化因子进行调节。　小波变换后ＨＨ区中系数可由下式计算。　Ｏｇ４ｖ（ｉ，ｚ）＝　：。。。　ｋ。ｈ　（ｋ一２　）ｈ　（ｍ一２ｚ）　，　（５）　，ｍＨＨ中小波变换系数之和可用ｓＡＤ耵表示，其计　算公式如下：　７　７　ＳＡＤ盯＝２２　２２　Ｊ　ＤＷＴ（ｉ，ｚ）Ｊ；　‘：０　ｌ：０　０　ｉ　５　７，０　Ｚ　ｓ　７　（６）　一５一　维普资讯 http://www.cqvip.com Ｓ　盯的值愈大，表明图像中相应宏块的变化　愈剧烈，即宏块的高频分量愈多，可压缩的潜力也就　定如何对量化因子进行调节，当肼Ｄ耵的值很大时　表明当前宏块为剧变区，应适当增加量化因子。反　之，应减少量化因子。量化因子按下式进行调整。　愈大。本文中将通过对　Ｄ盯值的大小的判断以决　Ｑ，　Ｑ，一ＡＱ　＝　；当ＳＡＤ盯＜ＴＨ１时，为平坦区　；当ＴＨＩ　ＳＡＤ盯＜ＴＨ２时，为缓变区　…　Ｑ，　Ｑ，＋／ＸＱ　；当ＴＨ２　肼Ｄ盯＜ＴＨ３时，为适度变化区　；当ＳＡＤ　７ｔ　ＴＨ３时，为剧变区　（７）式中ＴＨ１，ＴＨ２，ＴＨ３为根据图像特征设置的　相应判决门限值。ＡＱ为量化因子调节的幅度，由　图像的活动特性而定，通常取１或２。　场景切换时，采用ＴＭＮ８码率控制策略的缓冲器占　用量出现了较大的波动，且由于图像细节的丰富使　得缓冲器占用量较大；而采用本文提出的码率控制　策略的缓冲器占用量仍能保持较为稳定，即使对于　细节丰富的图像帧，也能保持缓冲器占用量较小。　采用本文提出的码率控制策略的重建图像峰值　信噪比（实线）与采用ＴＭＮ８码率控制策略的重建图　像峰值信噪比（点线）如图２所示。　３　仿真结果　本文对Ｆｏｒｅｍａｎ测试序列进行计算机仿真实　验。测试序列为ＱＣ１Ｆ格式，帧频为１５ｆ／ｓ，以６４ｋｂ／ｓ　的速率编码。取初始量化系数ＱＰ＝１５，缓冲器容量　为３２００ｂｉｔ。　采用本文提出的视频编码码率控制策略的缓冲　器占用量（实线）与采用Ｈ．２６３　ＴＭＮ８码率控制策略　的缓冲器占用量（点线）如图１所示。　图２峰值信噪比比较　由图２可见，采用ＴＭＮ８码率控制策略的ＰＳＮＲ　低于采用本文提出的码率控制策略的ＰＳＮＲ。当出　图１缓存器占有率的比较　现高速运动或场景切换时，采用本文提出的码率控　制策略能获得较高的ＰｓＮＲ。　由图１可见，ＴＭＮ８码率控制策略在当图像变　化时，缓冲器占用量波动较大；对于细节丰富的图像　帧，将引起缓冲器占用量的增加。而采用本文提出　图３（ａ）为Ｆｏｒｅｍａｎ测试序列的９ｏ帧的原始图像，　图３（ｂ）为使用Ｈ．２６３码率控制策略得到的重建图像，　实际上使用的是其前一帧的图像（第８９帧）来代替当　前帧。图３（ｃ）则是使用本文的码率控制策略得到的　的码率控制策略时，随着图像的变化，缓冲器占用量　波动较小。即使出现细节丰富的图像帧，缓冲器占　用量也较小。尤其在图像序列出现高速运动和少量　第９ｏ帧的图像，较图３（ｂ）更接近于原始图像。　（ａ）原图像　．　（ｂ）Ｈ．２６３的码率控制策略　（ｃ）改进的　率控制策略　图３不同控制策略下重建图像的画面质量的比较　——（下转第９页）　６——　维普资讯 http://www.cqvip.com 运行的结果如图ｌ～图４所示。　结果略有不同，ｗｉｅｎｅｒ２滤波算法相对较好。同时可　以看出，无论哪种滤波方法，ＭＡＴＬＡＢ只用一条简单　的语句就可以实现，这是其它计算机高级语言（比如　Ｃ语言）所不能比拟的。　图１原始图像　图４经ｉｒｒａｑｈｅｒ滤波后的图像　３　结束语　通过本文的分析和实例可见，应用ＭＡｎＡＢ语　言对数字图像进行自适应滤波等一系列处理时具有　编程简单、操作方便、处理速度快等特点。ＭＡＴＬＡＢ　语言的图像处理工具箱的功能非常强大，图像处理　图２经ｗｉｅｎｅｒ２滤波后的图像　中经常用到的技术和方法在这个工具箱中都可以实　现。所以，在对数字图像进行处理时，可以充分利用　ＭＡＴＬＡＢ的图像处理工具箱，使图像处理工作者可　以从繁琐的编程工作中解脱出来，提高实验的效率，　加快科研和教学的步伐。　参考文献：　【１］罗军辉，冯平，哈力旦・Ａ、ＭＡＴＬＡＢ７、０在图像处理中的应用　［Ｍ］，北京：机械工业出版社，２００５．　【２］陆宁．ＭＡＴＩｄｔＢ语言即学即会【Ｍ］．北京：机械工业出版社，　２０Ｏ０．　［３］章毓晋．图像处理和分析［Ｍ］．北京：清华大学出版社，１９９９．　图３经ｍｅｄｆｉｌｔ２滤波后的图像　［４］张兆礼．现代图像处理与ＭＡＴＬＡＢ实现［Ｍ］．北京：人民邮电　出版社，２００１．　由上面的例子可以看出，应用ＭＡＴＬＡＢ对图像　［５］黄剑玲．利用ＭＡＴＬＡＢ进行数字图像的分析和处理［Ｊ］．计算　机与现代化，２０Ｏ０（６）：１０４—１０７．　［６］杨述斌，彭复员、数学形态学在图象处理中的应用与发展［Ｊ］．　武汉化工学院学报，２００４，２６（１）：７０—７３．　责任编辑：么丽苹　进行自适应滤波、中值滤波等方法去除水下激光图　像上存在的噪声，基本上去除了噪声的影响，获得了　较好的目标图像。其中利用不同的滤波算法得到的　（上拔第６页）　ｃａｔｉｏｎｓ［Ｍ］．Ｐｒｅｎｔｉｃｅ　Ｈａｌｌ，２００１．　１２］Ｓｕｌｌｉｖａｎ　Ｇ，Ｗｉｅｇａｎｄ　Ｔ．Ｒａｔｅ—ｄｉｓｔｏｒｉｔｏｎ　Ｏｐｔｉｍｉｚａｔｉｎ　ｆｏｏｒ　Ｖｉｄｅｏ　Ｃｏｒｎ—　４　结论　在视频编码码率控制策略中，基于图像特征的　码率控制策略能很好地反映图像的特征，为下一步　量化因子的调节提供了一个很好的判据。此外，在　ｐｒｅｓｓｉｎ［Ｊ］．ＩＥＥＥ　ｏＰｒｏｃｅｓｓｉｎｇ　Ｍａｇａｚｉｎｅ，１９９８，１５（６）：７４—９０．　１３］Ｊｏｒｄｉ　ＲＣ．ＲａｔｅＣｏｎｔｒｏｌｉｎＤＣＴＶｉｄｅｏＣｏｄｉｎｇｆｏｒ　Ｌ　一ｄｅｌａｙＣａｎｔａａ—ｔ　ｎｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｍ．ｏｎ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　Ｓｙｓｔｅｍｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｔｅｃｈｎｏ－　ｌｏｇｙ，１９９９，９（１）：１７２—１８５．　宏块层上使用码率控制策略，能在尽量避免缓存器　上溢发生的同时，使得缓存器的时延得以减少。　参考文献：　［１］ｗａｎｇ　Ｙ，Ｏｓｔｅｒｍａｎｎ　Ｊ，Ｚｈａｎｇ　Ｙ　Ｑ．Ｖｉｄｅｏ　ｌｈｒ￣ｅｓｓｉｎｇ　ａｎｄ　Ｃｏｍｍｕｎｉ—　［４］Ｂ０　Ｔ，Ｂｒａｄｌｅｙ　ｗ　Ｄ，Ｈｅｉｄｉ　Ａ　Ｐ．Ａｄａｐｔｉｖｅ　Ｍｏｄｅｌ—ｄｒｉｖｅｎ　Ｂｉｔ　Ａｌｌｏｃａ—　ｔｉｏｎ　ｆｏｒ　ＭＰＥＣ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ［Ｊ］．ＩＥＦＥ　Ｔｒａｎｓ．Ｏｉｌ　Ｃｉｒｃｕｉｔｓ　ａｎｄ　ｔｅⅡｌｓ　ｆｏｒ　Ｖｉｄｅｏ　Ｆｅｃｈｎｏｌｏｇｙ，２０００，１０（１）：１４７—１５７．　责任编辑：张荣香　・－－——９・－－——