智能视频编码环路滤波技术实现文献综述

 2022-08-12 10:08

一、文献综述

  1. 国内外研究现状

根据思科可视化网络指数(VNI)对于2017年到2022年的预测更新,到2022年时,全球网络中的视频传输流量将会占到总网络总流量的82%,视频所占有的流量在亚太地区(APAC)网络中将会达到84%,并且全球IP视频流量每年都以26%的速度增长,2017年到2021年已经增长三倍。[1]通过思科给出的数据可以看出,未来网络上视频流量将会大量增加,对于视频压缩的需求极为迫切,国内外许多企业、高校和研究所都在此领域开展研究,国内有字节跳动、快手等短视频公司,还有海康威视这种监控行业公司,以及其他与视频业务相关的公司,国外有谷歌、网飞等公司也对此领域有着投入去研究,所以视频编码在未来有着远大前景。

针对各种主流的视频编码标准,例如HEVC、AV1等,减少伪像,提高编码效率,人们开始对环路滤波技术进行了研究。

目前主流的视频编码标准有HEVC和AV1等。首先是新一代视频编码国际标准HEVC(High Efficiency Video Coding),HEVC中的环路滤波模块中主要有去方块块滤波器(Deblocking Filter,DBF)[2]和样值自适应偏移(SAO),在HM4.0之前,HEVC中还存在ALF(ALF-Adative Loop Filter)。除了HEVC之外还有AV1,AV1的环路滤波中主要有受约束的方向滤波器(CDEF)、基于维纳滤波器和自导式恢复滤波器的环路恢复滤波器[3]、环内帧超分辨率和胶片颗粒合成[4],这些环路滤波工具使得在AV1编码格式下图像的压缩损失缩小。

环路滤波 (Loop Filtering) 位于编码器预测环路中的反量化/反变换单元之后、重建的运动补偿预测参考帧之前。因而, 环路滤波是预测环路的一部分, 属于环内处理, 而不是环外的后处理。环路滤波的目标就是消除编码过程中预测、变换和量化等环节引入的失真。[5]近些年,卷积神经网络应用于环路滤波来替代传统的滤波器取得了很多进展,国内外提出了很多的可行方案,并且给出了可靠的实验数据说明利用卷积神经网络来应用于环路滤波是可行的,并且可以提高编解码的性能。

国内的海康威视研究所提出了一个方案,他们发现卷积神经网络在替代滤波器的实际应用中出现三个问题,不同模型在不同量化参数下编码带来的成本高,卷积神经网络的浮点运算在不同平台下编解码不一致,以及卷积神经网络模型的冗余导致计算资源的浪费,为此,他们提出了一个将卷积神经网络应用于帧内并且提出了一个方案。[6]该方案提出了一个实用的卷积神经网络CNNF在帧内(intra)的配置下来取代所有的滤波器,在JEM7.0上的实验结果显示了在YUV三个分量上分别有3.14%,5.12%,6.28%的码率节省。

在JVET2019年的提案中出现很多使用卷积神经网络来实现环路滤波的方法,例如JVET-N0110[7]中所提出的卷积神经网络滤波器(CNNLF)作为附加的环路滤波阶段,提案中说明附加的环路滤波阶段是放在自适应环路滤波(ALF)之后的,并且通过开关控制是否使用CNNLF。除此之外,还有很多不同设计的卷积神经网络,例如JVET-N0254[8]中的DRNLF,还有在不同位置使用卷积神经网络的提案,例如JVET-N0169[9]中提出不同位置的帧内卷积神经网络滤波器。

目前,国内外很多研究基于目前主流的视频压缩标准提出了许多利用卷积神经网络来替代传统滤波器的方案,来达到编码时间短、压缩后的视频质量好、压缩后的码率高这三个目的。

(二)研究主要成果

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。