ICASSP 2022 | 前沿音视频成果分享：基于可变形卷积的压缩视频质量增强网络

阿里云视频云视频编码与增强技术团队最新研究成果论文《基于可变形卷积的压缩视频质量增强网络》（Deformable Convolution Dense Network for Compressed Video Quality Enhancement）已被 ICASSP 2022 Image, Video & Multidimensional Signal Processing 主题会议接收，并受邀在今年5月的全球会议上向工业界和学术界进行方案报告。以下为技术成果的核心内容分享。

佳芙｜作者

背景

视频压缩算法是一种广泛应用于视频传播和视频存储的技术，它能够帮助节省带宽和节约存储空间，但同时也带来了视频质量下降的问题。压缩视频质量增强任务的目标便是减少由视频压缩带来的 artifacts，提升视频质量。

近些年来，基于多帧策略的方法成为了压缩视频质量增强任务中的主流，为了融合多帧信息，这些方法大多都严重依赖于光流估计，然而不准确且低效率的光流估计算法限制住了增强算法的性能。为了打破光流估计算法的限制，本文提出了一种结合了可变形卷积的稠密残差连接网络结构，这个网络结构无需在显式光流估计的帮助下就能完成从高质量帧到低质量帧的补偿。

利用可变形卷积来实现隐式的运动估计，并通过稠密残差连接来提高模型对误差的容忍度。具体而言，我们所提出的网络结构由两个模块组成，分别是利用可变形卷积来实现隐式估计的运动补偿模块，以及使用稠密残差连接来提高模型误差容忍度和信息保留度的质量增强模块，此外，本文还提出了一个新的边缘增强损失来增强物体边缘结构。在公开数据集上的实验结果表明，该方法显著优于其他 baseline 模型。

方法解析

受到 MFQE[1] 的启发，我们的方法也使用了 PQF 来作为参考帧。在 MFQE 中，PQF 被定义为质量高于其前后连续帧的视频帧，而在本文中，使用了 I 帧来作为 PQF，高质量的 PQF 可以为低质量的输入帧提供更准确的信息，从而更大限度地提升视频帧的质量。

图 1 展示了我们的模型结构，其中 表示当前帧， 和 分别代表最近的前后 PQF，MC module 代表运动补偿模块，后方的多个密集残差块和卷积层组成了质量增强模块。

将 PQF（ 或 ）作为参考帧，运动补偿模块中的可变形卷积层可为其预测时序运动信息，并将参考帧补偿为输入帧的内容，此时的补偿帧 、 同时具有和输入帧相似的内容以及和参考帧 、相近的质量。

接着，质量增强模块 将融合多个参考帧的信息，最终输出一个增强帧 。