簡化退化模型的真實圖像超分辨率網絡
網絡安全與數據治理
林旭鋒，吳麗君
福州大學物理與信息工程學院
摘要： 圖像超分辨率任務常用雙三次下采樣以構造數據集訓練網絡，但雙三次下采樣由于退化模型固定，導致網絡泛化能力低，無法用于真實世界低分辨率圖像。為解決上述問題本文提出預處理模塊，通過預處理模塊與雙三次下采樣數據集得到的網絡相結合，在減少資源消耗的同時提高其泛化能力。此外，還針對不同的精度需求設計了特征學習訓練策略和多任務聯調策略。通過根據不同需求采用相應的訓練策略，在滿足精度需求的同時具有消耗計算資源少、訓練速度快以及適用范圍廣的特點。實驗證明，增加預處理模塊的網絡以較少的模型參數增加量換取了重建效果和感知質量方面的較大提升，并且通過不同策略實現了進一步的精度提高。
中圖分類號：TP391文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2024.03.006
引用格式：林旭鋒，吳麗君.簡化退化模型的真實圖像超分辨率網絡［J］.網絡安全與數據治理，2024，43（3）：34-39.
引用格式：林旭鋒，吳麗君.簡化退化模型的真實圖像超分辨率網絡［J］.網絡安全與數據治理，2024，43（3）：34-39.
Real image super resolution network for simplifying the degradation model
Lin Xufeng，Wu Lijun
College of Physics and Information Engineering, Fuzhou University
Abstract： In the task of image super resolution, bicubic down sampling is commonly used to construct datasets for training networks. However, due to the fixed degradation model, bicubic down sampling results in low generalization ability of the network and cannot be used for real world low resolution images. To address this problem, this paper proposes a preprocessing module that combines with the network obtained from the bicubic down sampling dataset to improve its generalization ability while reducing resource consumption. In addition, this paper also designs feature learning training strategies and multi task joint training strategies for different accuracy requirements. By adopting corresponding training strategies according to different requirements, it can meet the accuracy requirements while having the characteristics of low computational resource consumption, fast training speed, and wide applicability. Experiments have shown that adding a network with a preprocessing module can achieve greater improvements in reconstruction effect and perceptual quality with less model parameter increase, and further improve accuracy through different strategies.
Key words : super resolution; preprocessing module; multi task learning; computer vision
引言
單圖像超分辨率（Single Image Super Resolution,SISR）旨在從低分辨率（Low Resolution，LR）圖像恢復高分辨率 （High Resolution，HR）圖像。在訓練SISR的網絡時，人們常使用二三次下采樣生成超分辨率數據集從而使網絡學習到相應的退化模型，進而恢復圖像高頻分量。但實際低質量圖像的形成有兩大主因：成像設備性能以及環境因素干擾，這與二三次下采樣生成的低質量圖像在退化模型上會有較大出入。學者通過構造數據集，將真實的LR HR數據集應用于超分辨率網絡的訓練，使超分網絡能更好地應用于真實的低分辨率圖像。例如利用不同的拍攝器材或調整參數構造LR HR數據集［1-5］以及利用生成對抗模型生成更接近于真實場景的LR HR數據集［6］。如圖1所示，與利用二三次下采樣得到的數據集不同，真實世界低分辨率數據集的退化模型復雜度較高，并且不同的設備型號以及不同的參數設置均會導致退化模型發生變化。而利用二三次下采樣得到的數據集則具有較為固定的退化模型，僅在圖像的高頻分量產生退化，而低頻分量則與原圖近似。
本文詳細內容請下載：
http://www.rjjo.cn/resource/share/2000005932
作者信息：
林旭鋒，吳麗君
福州大學物理與信息工程學院，福建福州350108
此內容為AET網站原創，未經授權禁止轉載。