張銀勝 ，徐文校 ，史艷高 ，單慧琳

(1.無錫學(xué)院 電子信息工程學(xué)院，江蘇 無錫 214105；2.南京信息工程大學(xué) 電子與信息工程學(xué)院，江蘇 南京 210044；3.南京郵電大學(xué) 電子與光學(xué)工程學(xué)院，江蘇 南京 210023)

0 引言

伴隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，在萬物互聯(lián)的情景中，信息的獲取途徑日趨豐富。當(dāng)人們發(fā)現(xiàn)重要的信息時(shí)，存在信息共享的需求，其中圖像、視頻等信息因其直觀、信息量大而成為主要的信息載體，在會(huì)議室或者教室等應(yīng)用場(chǎng)景，實(shí)現(xiàn)上述信息的快速、實(shí)時(shí)且高質(zhì)量共享是主要目標(biāo)。

信息共享顯示[1]采用有線的方式時(shí)設(shè)備復(fù)雜，會(huì)出現(xiàn)束縛用戶的自由等問題。目前主要采用無線顯示技術(shù)[2]，有微軟的Miracast[3]和蘋果的AirPlay[4]。目前市面上的無線顯示設(shè)備一般以智能電視、液晶顯示器為顯示終端，其體積較大不便移動(dòng)，在功能上一般將發(fā)送端的畫面?zhèn)魉徒o顯示端。受其硬件設(shè)備、傳輸環(huán)境的限制，在數(shù)據(jù)傳輸過程中，會(huì)丟失少部分高頻信息，導(dǎo)致畫面模糊、色彩分布不均勻等情況，同時(shí)顯示終端無觸摸功能，無法在顯示終端進(jìn)行標(biāo)記、繪圖等操作。上述常規(guī)技術(shù)雖能基本實(shí)現(xiàn)信息的無線顯示，但存在設(shè)備復(fù)雜、高質(zhì)量圖像顯示延遲時(shí)間較長(zhǎng)、畫面質(zhì)量差、系統(tǒng)靈活性弱等缺點(diǎn)。本文設(shè)計(jì)了一種智能顯示終端系統(tǒng)，在實(shí)現(xiàn)信息共享的基礎(chǔ)上保證畫面質(zhì)量的同時(shí)還能夠擁有信息標(biāo)注等功能，大大提高了智能顯示系統(tǒng)的靈活性，實(shí)現(xiàn)了終端的智能化和信息傳達(dá)的高效率。

1 基于深度學(xué)習(xí)的超分辨率重建技術(shù)

1.1 超分辨率重建技術(shù)簡(jiǎn)介

分辨率代表了圖像的精密度，分辨率越高，其圖像顯示效果越精細(xì)、越細(xì)膩。超分辨率重置簡(jiǎn)而言之就是將低分辨率圖像用超分辨率[5]技術(shù)轉(zhuǎn)換成高分辨率圖像，在數(shù)據(jù)傳輸過程中丟失的少部分高頻信息可借用超分辨率重建技術(shù)恢復(fù)。常見的超分辨率重建方法有基于插值的方法[6]、基于重構(gòu)的方法[7]以及基于深度學(xué)習(xí)的方法[8]等。

基于插值的方法是依據(jù)低分辨率圖像的鄰近像素點(diǎn)值插入新像素點(diǎn)重構(gòu)成高分辨率圖像，此方法雖計(jì)算復(fù)雜度低，但在高頻部分易產(chǎn)生虛影?；谥貥?gòu)的方法是通過分析高分辨率與低分辨率的像素值聯(lián)系，建立模型，在重建方面，其效果好于基于插值的方法，不過計(jì)算耗時(shí)長(zhǎng)，在建立模型方面存在一定的困難。

基于深度學(xué)習(xí)的超分辨率重建方法其本質(zhì)為通過卷積神經(jīng)網(wǎng)絡(luò)等網(wǎng)絡(luò)來建立低分辨率圖像與高分辨率之間的映射關(guān)系。將人工智能與計(jì)算機(jī)視覺相結(jié)合，讓機(jī)器通過不斷學(xué)習(xí)圖像高分辨率與低分辨率之間的關(guān)系去重構(gòu)高分辨率圖像成為了廣大學(xué)者的研究方向。

1.2 理論算法

通過卷積神經(jīng)網(wǎng)絡(luò)建立高分辨率圖像與低分辨率圖像之間映射關(guān)系是基于深度學(xué)習(xí)超分辨率重建的常見思路，其步驟大致分為預(yù)插值、特征提取、特征映射、重建高分辨率圖像四部分，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)圖

預(yù)插值是使用某種插值方法將低分辨率圖像擴(kuò)大至所需的目標(biāo)尺寸，對(duì)輸入圖像進(jìn)行預(yù)插值處理后，插值過程引入的誤差會(huì)在一定程度上會(huì)對(duì)重構(gòu)效果造成一定的影響，同時(shí)計(jì)算復(fù)雜度會(huì)大大增加，導(dǎo)致模型的收斂速度慢[9]，對(duì)視頻圖像等基本不能做到實(shí)時(shí)的超分辨重建。針對(duì)提高模型的收斂速度，對(duì)視頻文件做到實(shí)時(shí)超分辨率重建，丟棄對(duì)原始圖像的預(yù)插值處理操作，引入亞像素卷積層[10]，網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示。

圖2 亞像素卷積網(wǎng)絡(luò)結(jié)構(gòu)圖

對(duì)輸入的低分辨率圖像直接經(jīng)過卷積操作時(shí)需保證圖像的大小不變，通道數(shù)變?yōu)棣?(γ2是圖像的放大倍數(shù))。對(duì)所得到的特征圖經(jīng)過亞像素卷積上采樣后得到高分辨率圖像。該網(wǎng)絡(luò)結(jié)構(gòu)只是在模型的末端進(jìn)行上采樣，與直接對(duì)輸入的原始圖片預(yù)插值處理相比，在低分辨率空間保留了更多的細(xì)節(jié)特征。同時(shí)，亞像素卷積是將多通道特征圖上單像素點(diǎn)排列成像素塊，并不是真正的卷積運(yùn)算，是一種像素重排算法，具有快速、高效等特點(diǎn)。亞像素卷積層的引入大大加快了神經(jīng)網(wǎng)絡(luò)模型的收斂速度，對(duì)視頻的超分辨率重建能夠真正做到實(shí)時(shí)、高效。

2 硬件方案與設(shè)計(jì)

Wi-Fi 技術(shù)具有無需布線、頻段無須許可證、覆蓋范圍廣、傳輸速率快、安全性高、輻射性低、信號(hào)穩(wěn)定等特點(diǎn)，本設(shè)計(jì)基于Wi-Fi 技術(shù)，實(shí)現(xiàn)對(duì)信息內(nèi)容的無線顯示。

系統(tǒng)分為發(fā)送端和數(shù)據(jù)接收端，發(fā)送端一般是個(gè)人電腦(PC)、平板或手機(jī)等設(shè)備；接收端為顯示終端，顯示終端由主控制器、Wi-Fi 模塊和顯示模塊三部分組成。發(fā)送端將圖像或視頻等信息傳給顯示終端，顯示終端接收后進(jìn)行超分辨率重建并顯示，實(shí)現(xiàn)圖像、視頻、文檔文件的高質(zhì)量投屏共享，顯示終端具有的雙向傳輸、支持觸摸等功能，使得在信息共享的基礎(chǔ)上，還能同步進(jìn)行信息標(biāo)注等操作，真正實(shí)現(xiàn)終端的智能化。系統(tǒng)框圖如圖3 所示。

圖3 系統(tǒng)框圖

系統(tǒng)主控制器采用博通公司的BCM2837 處理器，內(nèi)嵌1.2 GHz 主頻的ARM Cortex-A53 CPU[11]，支持觸摸功能的HDMI 顯示接口。Wi-Fi 模塊采用RAK421 Wi-Fi模塊，傳輸速率大于4 Mb/s，支持多達(dá)8 個(gè)Socket 的連接，滿足一對(duì)多顯示要求，采用串行外設(shè)接口(SPI)[12]通信協(xié)議驅(qū)動(dòng)，BCM2837 通過SPI 接口與其連接，發(fā)送SPI指令實(shí)現(xiàn)配置，使其工作在AP 熱點(diǎn)模式，從而構(gòu)建無線局域網(wǎng)。顯示模塊利用BCM2837 的HDMI 接口驅(qū)動(dòng)顯示器，實(shí)現(xiàn)信息的傳輸及顯示。顯示模塊通過USB 接口與主控制器連接，實(shí)現(xiàn)傳輸觸控點(diǎn)坐標(biāo)等數(shù)據(jù)。顯示終端硬件框圖如圖4 所示。

圖4 顯示終端硬件框圖

3 系統(tǒng)實(shí)現(xiàn)具體方法

開發(fā)環(huán)境為L(zhǎng)inux 系統(tǒng)及Python 編譯環(huán)境。系統(tǒng)在發(fā)送端運(yùn)行Python 編寫的腳本代碼，實(shí)現(xiàn)對(duì)發(fā)送端桌面的實(shí)時(shí)截取，截取的JPEG 圖像等數(shù)據(jù)通過建立的Socket和UDP/IP 服務(wù)器進(jìn)行傳輸，UDP 服務(wù)器通與顯示終端的IP 地址和端口進(jìn)行連接來發(fā)送數(shù)據(jù)。在接收端運(yùn)行Python 編譯的腳本代碼，實(shí)現(xiàn)對(duì)發(fā)送圖像等數(shù)據(jù)的接收和超分辨率重建。

Wi-Fi 模塊內(nèi)部集成TCP/IP[13]協(xié)議棧，通過SPI 接口與主控制器連接。主控制器根據(jù)SPI 的通信協(xié)議通過SPI 接口給Wi-Fi 模塊發(fā)送SPI 指令去配置Wi-Fi 模塊的工作方式。發(fā)送端連接Wi-Fi 模塊發(fā)出的熱點(diǎn)信號(hào)后開始下一步數(shù)據(jù)的傳輸工作。

UDP 服務(wù)器實(shí)現(xiàn)實(shí)時(shí)畫面數(shù)據(jù)的獲取與傳輸任務(wù)[14]，其基于UDP/IP 傳輸協(xié)議實(shí)現(xiàn)，與TCP/IP 相比，傳輸速度更快。工作流程分為獲取圖像文件、創(chuàng)建Socket 和建立UDP 數(shù)據(jù)傳輸?shù)?，圖像的截取須導(dǎo)入ImageGrab 庫(kù)，調(diào)用函數(shù)ImageGrab.grab 來實(shí)現(xiàn)，實(shí)現(xiàn)語句如下：

bbox=(0，0，1920，1080)

im=ImageGrab.grab(bbox)

要建立Socket，首先須選擇Socket 類型以及將連接方式設(shè)置為UDP，進(jìn)行接收端IP 和端口號(hào)設(shè)置，設(shè)置文件路徑和文件相關(guān)信息后，調(diào)用Send()函數(shù)來發(fā)送數(shù)據(jù)。

UDP 客戶端主要實(shí)現(xiàn)數(shù)據(jù)的接收、解碼、超分辨率重建、顯示以及記錄備注坐標(biāo)等，UDP 客戶端程序設(shè)計(jì)與服務(wù)器發(fā)送程序不同，需要綁定本機(jī)的IP 地址和端口號(hào)。接收端在接收數(shù)據(jù)后，對(duì)JPEG 圖像數(shù)據(jù)解析后[15]再保存。

將解碼后的每一幀圖像數(shù)據(jù)輸入到訓(xùn)練好的超分辨率重建網(wǎng)絡(luò)中重建得到高分辨率圖像。高質(zhì)量圖像由顏色示意亮度Y 和色度Cr、Cb 組成，主控制器在圖像超分辨率重建后輸出YCrCb 數(shù)據(jù)，HDMI 接口支持直接輸出YCrCb 數(shù)據(jù)，其顯示驅(qū)動(dòng)包括行場(chǎng)計(jì)數(shù)器、行場(chǎng)同步信號(hào)發(fā)生器、顯示有效信號(hào)發(fā)生器、數(shù)字視頻信號(hào)發(fā)送器和音頻信號(hào)發(fā)送器。YCrCb 數(shù)據(jù)在行信號(hào)和場(chǎng)信號(hào)有效的時(shí)候顯示。

在顯示畫面進(jìn)行標(biāo)注時(shí)，顯示模塊觸控檢測(cè)芯片，通過USB 接口對(duì)主控制器輸出觸控點(diǎn)的坐標(biāo)，主控制器在本地記錄保存坐標(biāo)數(shù)據(jù)，在坐標(biāo)點(diǎn)進(jìn)行畫點(diǎn)、畫線等圖形操作，同時(shí)實(shí)現(xiàn)顯示終端對(duì)圖像等的標(biāo)注功能。系統(tǒng)原理圖如圖5 所示。

圖5 系統(tǒng)原理圖

4 測(cè)試結(jié)果顯示

系統(tǒng)測(cè)試分為軟硬件測(cè)試，其中軟件測(cè)試在VS2017軟件環(huán)境下用Python 語言編寫發(fā)送端和接收端運(yùn)行的腳本文件。發(fā)送端腳本文件實(shí)現(xiàn)圖片的截取、UDP 服務(wù)器的搭建、制定傳輸格式的功能；接收端腳本文件實(shí)現(xiàn)圖片數(shù)據(jù)的接收、解碼、超分辨率重建、讀取顯示以及記錄備注坐標(biāo)的功能。測(cè)試各部門功能的實(shí)現(xiàn)，主要分為桌面數(shù)據(jù)的截取調(diào)試、建立UDP 服務(wù)器調(diào)試、UDP 數(shù)據(jù)發(fā)送調(diào)試、接收端數(shù)據(jù)接收調(diào)試、接收端圖像數(shù)據(jù)超分辨率重置調(diào)試以及顯示調(diào)試等部分。

硬件測(cè)試時(shí)，測(cè)試前連接Wi-Fi 模塊的熱點(diǎn)，建立數(shù)據(jù)傳輸鏈路，發(fā)送端運(yùn)行圖像或視頻文件對(duì)應(yīng)的腳本程序，接收端運(yùn)行數(shù)據(jù)接收、高清分辨率重建和顯示的腳本程序，主要測(cè)試圖像分辨率。

考慮到智能顯示終端的實(shí)際應(yīng)用，對(duì)常見的圖像信息(風(fēng)云2 號(hào)氣象衛(wèi)星所拍氣象云圖和某公司報(bào)表)進(jìn)行智能顯示，采取發(fā)送端發(fā)送圖像，接收端接收到發(fā)送來的圖像后進(jìn)行直接顯示和采用超分辨率重建技術(shù)后顯示的對(duì)比。從圖6、圖7 看出，直接顯示的圖像相較于發(fā)送前圖像變得更為模糊，超分辨率重建后的圖像分辨率更高，得到的細(xì)節(jié)特征更為明顯。對(duì)比顯示時(shí)間，超分辨率重建后同步顯示延遲時(shí)間小于0.001 s，為毫秒級(jí)別，證明了本系統(tǒng)實(shí)現(xiàn)了圖像或視頻文件的高質(zhì)量共享并具有傳輸速度快、系統(tǒng)穩(wěn)定等優(yōu)點(diǎn)。

圖6 氣象云圖

圖7 某公司報(bào)表

5 結(jié)論

Wi-Fi 技術(shù)傳輸適合用于圖像、視頻等大數(shù)據(jù)量文件的傳輸。在傳輸過程中受儲(chǔ)多因素影響(如顯示設(shè)備、空氣干擾等)，會(huì)導(dǎo)致圖像、視頻質(zhì)量下降，超分辨率重建技術(shù)能夠?qū)⒌唾|(zhì)量圖像、視頻轉(zhuǎn)化成高分辨率、高質(zhì)量圖像、視頻。本文設(shè)計(jì)的無線智能投屏系統(tǒng)運(yùn)用了超分辨率重置技術(shù)，能夠?qū)崿F(xiàn)對(duì)于圖片、視頻等的高質(zhì)量無線投屏顯示，且能同步在顯示端進(jìn)行標(biāo)注等操作。相比于傳統(tǒng)的有線傳輸、2.4G 傳輸、GPRS 傳輸?shù)确绞?，本設(shè)計(jì)具有設(shè)備成本低、信息共享質(zhì)量高、穩(wěn)定性好、速度快、觸控坐標(biāo)解析功能等特點(diǎn)，適合應(yīng)用在室內(nèi)辦公、會(huì)議室、課堂和家庭等場(chǎng)景。隨著藍(lán)光等視頻的出現(xiàn)，基于Wi-Fi 的無線顯示傳輸質(zhì)量有所下降，后續(xù)可在Wi-Fi標(biāo)準(zhǔn)、接收端解碼等方面完善。