以下文章來(lái)源于機(jī)器之心SOTA模型 ，作者機(jī)器之心SOTA模型

機(jī)器之心專(zhuān)欄

(相關(guān)資料圖)

本專(zhuān)欄由機(jī)器之心SOTA！模型資源站出品，每周日于機(jī)器之心公眾號(hào)持續(xù)更新。

本專(zhuān)欄將逐一盤(pán)點(diǎn)自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域下的常見(jiàn)任務(wù)，并對(duì)在這些任務(wù)上取得過(guò) SOTA 的經(jīng)典模型逐一詳解。前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及 API 等資源。

本文將分 3 期進(jìn)行連載，共介紹 16個(gè)在語(yǔ)音識(shí)別任務(wù)上曾取得 SOTA 的經(jīng)典模型。

第 1 期：SRCNN、DRCN、FSRCNN、ESPCN、SRGAN、RED

第 2 期：VDSR、DRRN、LapSRN、RCAN、DSRN

第 3 期：SFT-GAN、CSRCNN、CSNLN、HAN+、Config (f)

您正在閱讀的是其中的第 1 期。前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及 API 等資源。

本期收錄模型速覽

圖像超分辨率（Super Resolution，SR）是指從低分辨率（Low Resolution，LR）圖像中恢復(fù)高分辨率（High Resolution, HR）圖像的過(guò)程，是計(jì)算機(jī)視覺(jué)和圖像處理中一類(lèi)重要的圖像處理技術(shù)。SR在現(xiàn)實(shí)世界中有著廣泛的應(yīng)用，如醫(yī)療成像、監(jiān)控和安全等。除了提高圖像感知質(zhì)量外，SR還有助于改善其他計(jì)算機(jī)視覺(jué)任務(wù)。一般來(lái)說(shuō)，超分辨率分析是非常具有挑戰(zhàn)性的，而且本身就是一個(gè)難題，因?yàn)榭偸怯卸鄠€(gè)HR圖像對(duì)應(yīng)于一個(gè)LR圖像。在已有文獻(xiàn)中，研究人員提出了各種經(jīng)典的SR方法，包括基于預(yù)測(cè)的方法、基于邊緣的方法、統(tǒng)計(jì)方法、基于patch的方法和稀疏表示方法等。

近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于深度學(xué)習(xí)的SR模型得到了快速發(fā)展，并在SR的各種基準(zhǔn)上取得了最先進(jìn)的性能。各種各樣的深度學(xué)習(xí)方法已經(jīng)被應(yīng)用于SR任務(wù)，從早期的基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法到最近使用的生成對(duì)抗網(wǎng)絡(luò)的SR方法。一般來(lái)說(shuō)，使用深度學(xué)習(xí)技術(shù)的SR方法在以下主要方面有所不同：不同類(lèi)型的網(wǎng)絡(luò)架構(gòu)、不同類(lèi)型的損失函數(shù)、不同類(lèi)型的學(xué)習(xí)原理和策略等。

超分辨率分析可以分為視頻超分辨率VSR(Video Super Resolution) 和單幀超分辨率SISR(Single Image Super Resolution)，本文重點(diǎn)關(guān)注單幀超分辨率分析方法。本文聚焦于深度學(xué)習(xí)技術(shù)，回顧SISR中必備的TOP模型。

1、 SRCNN

本文首次提出將深度學(xué)習(xí)技術(shù)應(yīng)用于SR，得到經(jīng)典的SRCNN（Super-Resolution CNN）模型。SRCNN結(jié)構(gòu)很簡(jiǎn)單，但是效果很好。計(jì)算效率高，速度快。對(duì)于一個(gè)LR圖像，首先使用bicubic 插值到所需的尺寸得到圖像Y，然后學(xué)習(xí)一個(gè)映射F，使得F(Y)盡可能和ground-truth接近。該方法的完整學(xué)習(xí)過(guò)程包含三步：1)Patch extraction and representation，從Y中提取patches并表示為高維向量；Non-linear mapping，將高維向量映射到另一高維向量；reconstruction，整合上述的high-resolution patch-wise representation。上述三個(gè)步驟組成了一個(gè)卷積網(wǎng)絡(luò)。如圖1所示：

圖1 給定一個(gè)低分辨率的圖像Y，SRCNN的第一個(gè)卷積層提取一組特征圖。第二層將這些特征圖非線(xiàn)性地映射到高分辨率的patch表示上。最后一層結(jié)合空間鄰域內(nèi)的預(yù)測(cè)，生成最終的高分辨率圖像F (Y)

Patch extraction and representation。在圖像恢復(fù)中有一個(gè)常用的策略就是從圖像密集提取圖像塊，然后用一組預(yù)先訓(xùn)練好的基（PCA、DCT、Haar等）來(lái)表示。這等同于用一組濾波器對(duì)圖像進(jìn)行卷積，每個(gè)濾波器對(duì)應(yīng)一個(gè)基。SRCNN的第一層可以如下表示：

其中，W1對(duì)應(yīng) n1個(gè)濾波器，每個(gè)濾波器大小為 c×f_1 ×f_1 ，其中，c是圖像通道數(shù)，RGB就是3通道，灰度圖像是單通道。f_1是濾波器尺寸。卷積之后就得到n1個(gè)特征圖。接著對(duì)濾波器響應(yīng)應(yīng)用 ReLU，即 max(0,x)。

Non-linear mapping。經(jīng)過(guò)上一步卷積，我們得到一個(gè)n1維特征向量，對(duì)應(yīng)一個(gè)圖像塊，這一步，將一個(gè)n1維特征向量映射到一個(gè)n2維向量。對(duì)于大的濾波器，非線(xiàn)性映射不是對(duì)應(yīng)圖像塊，而是對(duì)應(yīng)特征圖中的 "塊"。這一步可以看做如下卷積：

Reconstruction。這一步就是對(duì)高分辨率圖像塊的權(quán)值平均，這個(gè)平均可以看做對(duì)一組特征圖的一個(gè)預(yù)先定義的濾波器，使用下面的卷積表示：

在SRCNN中，上述三個(gè)步驟作為一個(gè)卷積網(wǎng)絡(luò)共同訓(xùn)練。

當(dāng)前SOTA！平臺(tái)收錄SRCNN共57個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)SRCNN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/srcnn

2、 DRCN

SRCNN的層數(shù)較少，同時(shí)感受野也較小（13x13）。本文提出的DRCN (Deeply-Recursive Convolutional Network for Image Super-Resolution）使用更多的卷積層增加網(wǎng)絡(luò)感受野（41x41），同時(shí)為了避免過(guò)多網(wǎng)絡(luò)參數(shù)，使用遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。網(wǎng)絡(luò)的基本結(jié)構(gòu)如圖2，輸入圖像是原始LR圖像經(jīng)過(guò)插值上采樣后的圖像。

圖2 DRCN架構(gòu)

與SRCNN類(lèi)似，DRCN分為三個(gè)模塊，第一個(gè)是Embedding network，相當(dāng)于特征提取；第二個(gè)是Inference network, 相當(dāng)于特征的非線(xiàn)性變換；第三個(gè)是Reconstruction network，即從特征圖像得到最后的重建結(jié)果。其中的Inference network是一個(gè)遞歸網(wǎng)絡(luò)，即數(shù)據(jù)循環(huán)地通過(guò)該層多次。將這個(gè)循環(huán)展開(kāi)，就等效于使用同一組參數(shù)的多個(gè)串聯(lián)的卷積層。DRCN將每一層的卷積結(jié)果都通過(guò)同一個(gè)Reconstruction Net得到一個(gè)重建結(jié)果，從而共得到D個(gè)重建結(jié)果，再把它們加權(quán)平均得到最終的輸出。另外，受到ResNet的啟發(fā)，DRCN通過(guò)skip connection將輸入圖像與H_d的輸出相加后再作為Reconstruction Net的輸入（如圖2所示），相當(dāng)于使Inference Net去學(xué)習(xí)高分辨率圖像與低分辨率圖像的差，即恢復(fù)圖像的高頻部分。

以上得到的Basic Model 雖然簡(jiǎn)單且功能強(qiáng)大，但作者發(fā)現(xiàn)訓(xùn)練深度遞歸網(wǎng)絡(luò)非常困難（最多訓(xùn)練三個(gè)循環(huán)層）。作者分析有以下幾點(diǎn)原因：1）梯度的消失和爆炸。梯度爆炸是由鏈?zhǔn)教荻鹊某朔ㄐ再|(zhì)造成的。對(duì)于深度遞歸，可以呈指數(shù)增長(zhǎng)。梯度消失問(wèn)題正好與梯度爆炸相反。梯度呈指數(shù)級(jí)的速度到零向量。因此，梯度爆炸和消失的存在使深度遞歸網(wǎng)絡(luò)掌握遠(yuǎn)距離像素信息間的關(guān)系非常困難。2）經(jīng)過(guò)多次遞歸想要保留原始LR信息并不容易。在SR任務(wù)中，輸出與輸入非常相似，所以L(fǎng)R圖像的信息非常重要，需要為后續(xù)更深的遞歸層保留輸入圖像的精確信息。3）存在一個(gè)尋找最優(yōu)遞歸次數(shù)的問(wèn)題。如果遞歸對(duì)于給定的任務(wù)來(lái)說(shuō)太深，就需要減少遞歸的次數(shù)。尋找最優(yōu)數(shù)需要訓(xùn)練許多具有不同遞歸深度的網(wǎng)絡(luò)。

由此，作者提出了如下改進(jìn)技術(shù)：1）Recursive-Supervision：監(jiān)督每層遞歸，以減輕梯度消失/爆炸的影響。假設(shè)在推理層中卷積過(guò)程反復(fù)使用相同的卷積核，使用相同的重建層來(lái)預(yù)測(cè)每一次遞歸重建的SR圖像。重建層輸出D個(gè)預(yù)測(cè)圖像，所有預(yù)測(cè)都在訓(xùn)練期間同時(shí)受到監(jiān)督。將所有D個(gè)預(yù)測(cè)圖像通過(guò)加權(quán)求和來(lái)計(jì)算最終輸出(權(quán)重由網(wǎng)絡(luò)學(xué)習(xí)得到)。通過(guò)遞歸減輕了訓(xùn)練遞歸網(wǎng)絡(luò)的困難，通過(guò)反向傳播將不同預(yù)測(cè)損失產(chǎn)生的反傳梯度求和提供平滑效果，能夠有效緩解梯度爆炸或消失。此外，由于監(jiān)督能夠利用所有中間層的預(yù)測(cè)信息，因此，對(duì)最佳遞歸次數(shù)選擇的重要性降低了。2）Skip-Connection：對(duì)于圖像重建任務(wù)，輸入和輸出圖像高度相關(guān)，所以可以直接通過(guò)skip層連接將LR信息直接傳輸?shù)絊R重建層。改進(jìn)后的Advanced Model如圖3所示。

圖3 (a): Advanced Model，帶有遞歸監(jiān)督和skip connection。重建網(wǎng)絡(luò)是共享的，用于遞歸預(yù)測(cè)。使用中間遞歸的所有預(yù)測(cè)來(lái)獲得最終的輸出。(b): 將深度監(jiān)督應(yīng)用于Basic Model。與(a)不同的是，(b)中的模型使用不同的重建網(wǎng)絡(luò)進(jìn)行遞歸，并且使用了更多的參數(shù)。(c): (a)的擴(kuò)展結(jié)構(gòu)示例，沒(méi)有參數(shù)共享（沒(méi)有遞歸）。權(quán)重參數(shù)的數(shù)量與深度的平方成正比

當(dāng)前SOTA！平臺(tái)收錄DRCN共1個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)DRCN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/drcn

3、FSRCNN

本文旨在加速SRCNN，提出了一個(gè)compact hourglass-shape 的CNN結(jié)構(gòu)--FSRCNN，主要在三個(gè)方面進(jìn)行了改進(jìn)：1）在整個(gè)模型的最后使用了一個(gè)反卷積層放大尺寸，因此可以直接將原始的低分辨率圖像直接輸入到網(wǎng)絡(luò)中，而不需要像SRCNN一樣先通過(guò)bicubic方法放大尺寸。2）改變特征維數(shù)，使用更小的卷積核和使用更多的映射層。3）可以共享其中的映射層，如果需要訓(xùn)練不同上采樣倍率的模型，只需要fine-tuning最后的反卷積層。

由于FSRCNN不需要在網(wǎng)絡(luò)外部進(jìn)行放大圖像尺寸的操作，同時(shí)通過(guò)添加收縮層和擴(kuò)張層，將一個(gè)大層用一些小層來(lái)代替，因此FSRCNN與SRCNN相比有較大的速度提升。FSRCNN在訓(xùn)練時(shí)也可以只fine-tuning最后的反卷積層，因此訓(xùn)練速度也更快。FSRCNN與SCRNN的結(jié)構(gòu)對(duì)比如圖4所示。

圖4 該圖顯示了SRCNN和FSRCNN的網(wǎng)絡(luò)結(jié)構(gòu)。FSRCNN主要在三個(gè)方面與SRCNN不同。首先，F(xiàn)SRCNN采用原始的低分辨率圖像作為輸入，沒(méi)有進(jìn)行雙三次插值。在網(wǎng)絡(luò)的末端引入了一個(gè)解卷積層來(lái)進(jìn)行上采樣。第二，SRCNN中的非線(xiàn)性映射步驟被FSRCNN中的三個(gè)步驟所取代，即收縮、映射和擴(kuò)展步驟。第三，F(xiàn)SRCNN采用了更小的濾波器尺寸和更深的網(wǎng)絡(luò)結(jié)構(gòu)

FSRCNN的結(jié)構(gòu)如圖4下半部分所示。整個(gè)網(wǎng)絡(luò)可以被分解為5個(gè)部分：特征提取、壓縮、映射、擴(kuò)展、反卷積。其中前四部分都是卷積層conv(fi,ni,ci)，第五部分是反卷積層deconv(fi,ni,ci)，其中，fi,ni,ci分別為核尺寸、核數(shù)量、核通道。作者將網(wǎng)絡(luò)中的變量分為敏感變量和不敏感變量（敏感是指微小改變即可對(duì)網(wǎng)絡(luò)結(jié)果造成很大影響），其中不敏感變量可以預(yù)設(shè)，而敏感變量則需根據(jù)實(shí)驗(yàn)比較得出其值。

特征提取：這部分是和SRCNN相似的，不同點(diǎn)在于FSRCNN不經(jīng)過(guò)對(duì)LR圖像的插值，而是直接從LR圖像提取子圖塊信息。若輸入圖像為灰度圖像，則核深度為1，而核的數(shù)量決定了該層卷積輸出的特征圖的維度d。后續(xù)會(huì)將特征圖送入真正的SR過(guò)程，所以維度d至關(guān)重要，d是第一個(gè)敏感變量，需要實(shí)驗(yàn)對(duì)比得出。該層可記為conv(5,d,1)。

壓縮：這部分主要考慮到SRCNN中直接在高維特征圖上對(duì)LR做SR，先對(duì)LR圖像通道數(shù)進(jìn)行減小，然后在低維LR特征圖進(jìn)行SR操作，這樣會(huì)減少運(yùn)算參數(shù)，最后再對(duì)生成的SR圖像進(jìn)行升維操作。使用s個(gè)1 X 1 大小的濾波核，對(duì)來(lái)自特征提取層的d維圖像進(jìn)行降維處理（從d降到s），s是第二個(gè)敏感變量，這可以為后續(xù)的SR操作減少參數(shù)量。該層可記為conv(1,s,d)。

非線(xiàn)性映射：這部分最重要的兩個(gè)參數(shù)為特征圖的通道數(shù)（d，即核的數(shù)量）和深度（卷積層的層數(shù)m，m是第三個(gè)敏感變量），深度m決定了SR的精度和復(fù)雜度。卷積核的尺寸為3X3，因此該部分可記為mXconv(3,s,s)。

擴(kuò)展：擴(kuò)展部分使用d個(gè)1X1大小的核，以期恢復(fù)到壓縮前的圖像形狀。壓縮、非線(xiàn)性映射、擴(kuò)展這三部分是對(duì)稱(chēng)的。擴(kuò)展部分可記為conv(1,d,s)。

反卷積：可視為卷積的逆操作，可以將小尺寸的圖像恢復(fù)成大尺寸的圖像。參照?qǐng)D5，通過(guò)在deconv前移動(dòng)一個(gè)步長(zhǎng)，得到deconv后移動(dòng)的兩個(gè)步長(zhǎng)的區(qū)域，這樣就可以實(shí)現(xiàn)對(duì)圖像放大2倍的操作了。為了保持對(duì)稱(chēng)結(jié)構(gòu)，需要采用9X9大小的濾波器。該層可記為deconv(9,1,d)。反卷積不同于傳統(tǒng)的插值方法，傳統(tǒng)的方法對(duì)所有的重建像素都有一套共同的重建公式，而反卷積的核需要學(xué)習(xí)得到，它能夠針對(duì)具體的任務(wù)得出更精確的結(jié)果。

圖5 FSRCNN由卷積層和反卷積層組成

PReLU：直接給出公式f(xi) = max(xi,0) + ai*min(0,xi)，在原來(lái)relu 的基礎(chǔ)上，對(duì)負(fù)半軸的梯度也能激活（即使很小），消除了部分梯度無(wú)法激活的情況。

全局結(jié)構(gòu)：Conv(5, d, 1) - PReLU - Conv(1, s, d)-PReLU - m×Conv(3, s, s) - PReLU-Conv(1, d, s) - PReLU - DeConv(9, 1, d)。從全局來(lái)看，有三個(gè)參數(shù)d、s、m影響著網(wǎng)絡(luò)的性能和速度，所以將網(wǎng)絡(luò)記為FSRCNN(d,s,m)，計(jì)算復(fù)雜度可由下式表示：

當(dāng)前SOTA！平臺(tái)收錄FSRCNN共8個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)

FSRCNN

4、ESPCN

在SRCNN和DRCN中，低分辨率圖像都是先通過(guò)上采樣插值得到與高分辨率圖像同樣的大小，再作為網(wǎng)絡(luò)輸入，意味著卷積操作在較高的分辨率上進(jìn)行，相比于在低分辨率的圖像上計(jì)算卷積，會(huì)降低效率。本文提出一種在低分辨率圖像上直接計(jì)算卷積得到高分辨率圖像的高效率亞像素卷積神經(jīng)網(wǎng)絡(luò)（efficient sub-pixel convolutional neural network，ESPN）。

圖6. ESPN有兩個(gè)卷積層用于提取特征圖，還有一個(gè)亞像素卷積層將LR空間的特征圖聚合起來(lái)，并在一個(gè)步驟中建立SR圖像

ESPN的核心概念是亞像素卷積層(sub-pixel convolutional layer)。如上圖所示，網(wǎng)絡(luò)的輸入是原始低分辨率圖像，通過(guò)兩個(gè)卷積層以后，得到的特征圖像大小與輸入圖像一樣，但是特征通道數(shù)量為r^2(r是圖像的目標(biāo)放大倍數(shù))。將每個(gè)像素的r^2個(gè)通道重新排列成一個(gè)r x r的區(qū)域，對(duì)應(yīng)于高分辨率圖像中的一個(gè)r x r大小的子塊，從而將大小為r^2 x H x W的特征圖像重新排列成1 x rH x rW大小的高分辨率圖像。這個(gè)變換雖然被稱(chēng)作sub-pixel convolution, 但實(shí)際上并沒(méi)有卷積操作。通過(guò)使用sub-pixel convolution, 在將圖像從低分辨率到高分辨率放大的過(guò)程中，插值函數(shù)被隱含地包含在前面的卷積層中，可以自動(dòng)學(xué)習(xí)而得到。只在最后一層對(duì)圖像大小做變換，前面的卷積運(yùn)算由于在低分辨率圖像上進(jìn)行，因此效率會(huì)較高。

首先將一個(gè)l層卷積神經(jīng)網(wǎng)絡(luò)直接應(yīng)用于LR圖像，然后利用一個(gè)子像素卷積層將LR特征圖放大，生成SR圖像I^。對(duì)于一個(gè)由L層組成的網(wǎng)絡(luò)，前L-1層可以描述如下：

在LR空間中，一個(gè)跨度為1/r的卷積與一個(gè)大小為ks、權(quán)重間隔為1/r的濾波器Ws進(jìn)行卷積，能夠激活Ws的不同部分。落在像素之間的權(quán)重沒(méi)有被激活，不需要計(jì)算。激活模式的數(shù)量正好是r^2。每個(gè)激活模式，根據(jù)其位置，最多有[ks/r]^2個(gè)權(quán)重被激活。在整個(gè)圖像的濾波卷積過(guò)程中，根據(jù)不同的子像素位置，這些模式被周期性地激活：mod (x,r)、 mod (y,r) w，其中x，y是HR空間中的輸出像素坐標(biāo)。本文提出了一種有效的方法來(lái)實(shí)現(xiàn)上述操作，當(dāng)mod(ks,r)=0時(shí)：

因此卷積算子W_L具有n_L-1×r^2C×k_L×k_L的形狀。請(qǐng)注意，我們不對(duì)最后一層的卷積的輸出施加非線(xiàn)性約束。當(dāng)k_L = k_s/r和mod (k_s, r) = 0時(shí)，它等同于LR空間中的子像素卷積。將新層稱(chēng)為亞像素卷積層，由此，網(wǎng)絡(luò)稱(chēng)為高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（ESPN）。最后一層從LR特征圖中直接生成HR圖像，每個(gè)特征圖都有一個(gè)放大的濾波器。

最終ESPN網(wǎng)絡(luò)目標(biāo)函數(shù)為：

當(dāng)前SOTA！平臺(tái)收錄ESPCN共14個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)ESPCN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/espcn

5、 SRGAN

深度卷積神經(jīng)網(wǎng)絡(luò)在單個(gè)圖像實(shí)現(xiàn)超分辨率在速度和精度上取得了突破，但是仍然存在一個(gè)核心問(wèn)題：當(dāng)在放大因子下的超分辨率時(shí)，如何恢復(fù)細(xì)小的紋理細(xì)節(jié)？基于這些問(wèn)題：本文提出了一種用于圖像SR的生成對(duì)抗網(wǎng)絡(luò)SRGAN（Super-Resolution Using a Generative Adversarial Network），并且根據(jù)GAN網(wǎng)絡(luò)結(jié)構(gòu)提出了一種新的視覺(jué)損失（ perceptual loss），其中包含對(duì)抗損失（adversarial loss）和內(nèi)容損失（content loss）。

圖7. SRGAN的生成器和鑒別器網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層都有相應(yīng)的核大小（k）、特征圖數(shù)量（n）和步長(zhǎng)（s）

如圖7所示網(wǎng)絡(luò)結(jié)構(gòu)，在訓(xùn)練SRGAN的生成器網(wǎng)絡(luò)過(guò)程中需要提供HR圖像。首先對(duì)HR圖像進(jìn)行下采樣得到相應(yīng)的LR圖像，然后將LR圖像作為生成器的輸入，訓(xùn)練生成器，使之輸出對(duì)應(yīng)的HR圖像。作者提出用深度殘差網(wǎng)絡(luò)（ResNet）作為生成器的生成對(duì)抗網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)中存在很多的skip connection。為了區(qū)分真實(shí)的HR圖像和生成的HR圖像，還訓(xùn)練了一個(gè)鑒別器，使用了LeakeyReLU作為激活函數(shù)，網(wǎng)絡(luò)層數(shù)從64到512，后面連接兩個(gè)全連接層和一個(gè)sigmoid層，用來(lái)判斷是否為同一圖像的概率。

文章將代價(jià)函數(shù)改進(jìn)為：

第一部分是基于內(nèi)容的代價(jià)函數(shù)，第二部分是基于對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)。基于內(nèi)容的代價(jià)函數(shù)除了像素空間的最小均方差以外，又包含了一個(gè)基于特征空間的最小均方差，該特征是利用VGG網(wǎng)絡(luò)提取的圖像高層次特征：

對(duì)抗學(xué)習(xí)的代價(jià)函數(shù)是基于鑒別器輸出的概率：

當(dāng)前SOTA！平臺(tái)收錄SRGAN共5個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)SRGAN前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/srgan

6、 Red

本文提出了一個(gè)由對(duì)稱(chēng)的卷積層——反卷積層構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，稱(chēng)為Red-Net（Residual Encoder-Decoder Networks）。如圖8所示，其網(wǎng)絡(luò)結(jié)構(gòu)是對(duì)稱(chēng)的，每個(gè)卷積層都對(duì)應(yīng)有反卷積層，卷積層將輸入圖像尺寸減小后，再通過(guò)反卷積層上采樣變大，使得輸入輸出的尺寸一樣。卷積層用于提取圖像的特征，相當(dāng)于編碼的作用。而反卷積層用于放大特征的尺寸并恢復(fù)圖像細(xì)節(jié)。每一組鏡像對(duì)應(yīng)的卷積和反卷積都由skip connection將兩部分具有同樣尺寸的特征進(jìn)行相加操作后再輸入到下一個(gè)反卷積層。這樣的結(jié)構(gòu)能夠讓反向傳播信號(hào)能夠直接傳遞到底層，解決了梯度消失問(wèn)題，同時(shí)能將卷積層的細(xì)節(jié)傳遞給反卷積層，從而恢復(fù)出更干凈的圖像。與此同時(shí)，網(wǎng)絡(luò)中有一條線(xiàn)是將輸入的圖像連接到后面與最后的一層反卷積層的輸出相加，因此，整個(gè)模型架構(gòu)中間的卷積層和反卷積層學(xué)習(xí)的特征是目標(biāo)圖像和低質(zhì)圖像之間的殘差。

圖8.網(wǎng)絡(luò)整體結(jié)構(gòu)。該網(wǎng)絡(luò)包含對(duì)稱(chēng)卷積（編碼器）和反卷積（去編碼器）層。每隔幾層（在本文實(shí)驗(yàn)中是兩層）就有一個(gè)skip shortcuts，從卷積特征圖到其鏡像的反卷積特征圖。卷積層的響應(yīng)被直接傳播到相應(yīng)的鏡像反卷積層，包括前向和后向傳播

具體來(lái)說(shuō)，各個(gè)組成部分的作用如下：

卷積：特征提取，隨卷積進(jìn)行，提取圖像特征同時(shí)抑制噪聲，經(jīng)過(guò)多層卷積后，提取圖像特征，同時(shí)降低噪聲的影響。

反卷積：針對(duì)特征的上采樣，完成由圖像特征到圖像的轉(zhuǎn)換，由于利用的是過(guò)濾噪聲后的圖像特征，因此達(dá)到了降噪、圖像修復(fù)的目的。

Skip connections：保留更多的圖像細(xì)節(jié)，協(xié)助反卷積層完成圖像的恢復(fù)工作；反向傳播過(guò)程中的梯度反向，減少梯度消失，加快模型訓(xùn)練。

當(dāng)前SOTA！平臺(tái)收錄RED共16個(gè)模型實(shí)現(xiàn)。

項(xiàng)目SOTA！平臺(tái)項(xiàng)目詳情頁(yè)RED前往 SOTA！模型平臺(tái)獲取實(shí)現(xiàn)資源：https://sota.jiqizhixin.com/project/red30-2

前往 SOTA！模型資源站（sota.jiqizhixin.com）即可獲取本文中包含的模型實(shí)現(xiàn)代碼、預(yù)訓(xùn)練模型及API等資源。

網(wǎng)頁(yè)端訪(fǎng)問(wèn)：在瀏覽器地址欄輸入新版站點(diǎn)地址sota.jiqizhixin.com，即可前往「SOTA！模型」平臺(tái)，查看關(guān)注的模型是否有新資源收錄。

移動(dòng)端訪(fǎng)問(wèn)：在微信移動(dòng)端中搜索服務(wù)號(hào)名稱(chēng)「機(jī)器之心SOTA模型」或 ID「sotaai」，關(guān)注 SOTA！模型服務(wù)號(hào)，即可通過(guò)服務(wù)號(hào)底部菜單欄使用平臺(tái)功能，更有最新AI技術(shù)、開(kāi)發(fā)資源及社區(qū)動(dòng)態(tài)定期推送。