李江波，馬春庭，楊　帆，陳志偉

(軍械工程學院 火炮工程系，石家莊　050000)

?

基于USB 2.0的視頻傳輸系統(tǒng)設(shè)計

李江波，馬春庭，楊帆，陳志偉

(軍械工程學院 火炮工程系，石家莊050000)

采用CMOS圖像傳感器作為光電成像器件，以USB 2.0控制器芯片CY7C68013A對CMOS圖像傳感器數(shù)據(jù)進行處理并傳輸至上位機實時顯示，實現(xiàn)了通過USB接口對視頻圖像數(shù)據(jù)的直接采集和成像；該設(shè)計結(jié)構(gòu)簡單，不僅可作為手持設(shè)備進行拍照、錄像，還可功能擴展為對各種類型的CMOS圖像傳感器進行成像調(diào)試。

USB；圖像采集；圖像傳輸

本文引用格式：李江波，馬春庭，楊帆，等.基于USB 2.0的視頻傳輸系統(tǒng)設(shè)計[J].兵器裝備工程學報，2016(8):127-130.

隨著科技進步，CMOS圖像傳感器對影像的處理能力已經(jīng)達到可以和CCD相媲美的程度，且具有節(jié)能省電、生產(chǎn)成本低的優(yōu)勢，在市場上占據(jù)的份額不斷提高[1]。本文以CMOS圖像傳感器采集圖像數(shù)據(jù)，以CyPress公司的USB 2.0控制器芯片CY7C68013A作為傳輸控制通道，將圖像數(shù)據(jù)上傳至PC機實現(xiàn)實時顯示。該設(shè)計結(jié)構(gòu)小巧，可對各種類型的圖像傳感器進行調(diào)試，也可實現(xiàn)圖像數(shù)據(jù)的實時采集與顯示，其應用側(cè)重于對內(nèi)部空間狹小、人眼難以觀測的領(lǐng)域進行實時監(jiān)控，可根據(jù)實際需要對圖像數(shù)據(jù)進行分析判定。

1　系統(tǒng)總體設(shè)計

本系統(tǒng)[2]由圖像采集、傳輸控制和圖像顯示3個單元構(gòu)成，系統(tǒng)結(jié)構(gòu)框圖如圖1。

圖1系統(tǒng)結(jié)構(gòu)框圖

1) 圖像采集單元即是CMOS圖像傳感器，由此獲取圖像數(shù)據(jù)并傳輸至下一單元。此處使用的是MICRON公司的MT9D112[3]，這是一款200萬像素的CMOS圖像傳感器，最高分辨率為1 600×1 200，支持多種視頻輸出格式，可通過I2C總線進行初始化配置。

2) 傳輸控制單元由CY7C68013A負責，完成兩部分工作：一是初始化CMOS圖像傳感器，二是接收圖像數(shù)據(jù)并將之傳送至上位機。

Cypress公司的USB芯片CY7C68013A[4-5]是一款集成了USB 2.0接口的微控制器，它將USB 2.0收發(fā)器、SIE(串行接口引擎，Serial Interface Engine)、增強型的8051以及可編程的外部接口集成于一個單片中，在SLAVE模式下，外部電路可將其視為FIFO直接向上位機不間斷地傳送數(shù)據(jù)，最大帶寬56 Mbyte/s。

3) 圖像顯示單元即是上位機將接收到的圖像數(shù)據(jù)進行插值和特效處理后在屏幕上予以顯示。硬件連接示意圖如圖2。

圖2　硬件連接示意圖

1.1圖像采集單元

1.1.1圖像傳感器的硬件連接

圖像數(shù)據(jù)源于CMOS圖像傳感器MT9D112，為使其正常輸出視頻數(shù)據(jù)須完成兩方面工作：

一是為圖像傳感器供電，須提供二組電源：2.8 V和1.8 V,設(shè)計時通過主電源(本系統(tǒng)主電源為USB供電，5 V)輸入到相應的電源芯片CAT6219，產(chǎn)生相對應的電壓[1]；

二是對圖像傳感器進行初始化，使其按照指定的方式輸出數(shù)據(jù)，具體操作是由USB芯片CY7C68013A通過圖像傳感器的I2C接口對其內(nèi)部寄存器進行配置完成[1,6]。

注意：雖然USB芯片CY7C68013A本身已經(jīng)集成I2C引腳并提供了相應讀寫函數(shù)，但經(jīng)多次實驗表明：該I2C接口在設(shè)備無響應時不能自動恢復高電平狀態(tài)，故采用USB芯片CY7C68013A的任意兩根空閑IO引腳模擬I2C接口。

圖像傳感器MT9D112的硬件連接示意圖如圖3。

圖3　MT9D112的硬件連接示意圖

1.1.2圖像傳感器的初始化步驟

圖像傳感器MT9D112的I2C寫地址為0x78，讀地址為0x79[3]，初始化時需要對寄存器和變量分別進行配置[7]。配置寄存器時直接對相應地址的寄存器進行賦值即可，注意寄存器的地址和數(shù)據(jù)均是16位；配置變量則不同，是通過對R[0x338C] 和 R[0x3390]這兩個寄存器分別賦值完成的，其中R[0x338C]代表變量的地址，R[0x3390]代表相應的變量值。

初始化流程如圖4所示。

1) 供電。3種電源：數(shù)字電源(DVDD)，模擬電源(AVDD)和IO電源(DOVDD)，3種電源間沒有嚴格的先后上電順序。

2) 依次檢查圖像傳感器的RESET、PWDN、MCLK引腳是否正常。

RESET引腳接硬件復位電路，供電一段時間后測得應為高電平；PWDN引腳為低功耗引腳，若全程不需要圖像傳感器處于低功耗狀態(tài)，則須接地；MCLK引腳作為圖像傳感器的時鐘信號，此處以PLL(鎖相環(huán))為像素時鐘，故直連到USB芯片的24 MHz輸出引腳即可；STROBE引腳接外部按鈕，可實現(xiàn)手動拍照，若不用可懸空。

3) 讀取圖像傳感器的版本號，如果與所用產(chǎn)品的版本一致，就代表I2C總線能夠正常工作。例如本文中讀取寄存器R[0x3000]的傎為0x1580，與所用圖像傳感器版本一致，故I2C接口正常。

4) 對寄存器和變量進行賦值，主要是完成PLL(鎖相環(huán))的配置和輸出圖像分辨率和格式等一系列工作。

注意：在寫某些改變圖像傳感器內(nèi)部工作狀態(tài)的寄存器時要注意延時，必要時可對一個寄存器多次寫入，以保證正常工作。這一過程中涉及的重要寄存器有：

設(shè)置PLL(鎖相環(huán))的寄存器有：R[0x3214]、R[0x341E]、R[0x341C]；

使能引腳輸出的寄存器：R[0x301A]；

其他重要的設(shè)置如輸出分辨率和格式都是對變量[3]進行賦值，涉及到的寄存器是R[0x338C]和 R[0x3390]。

5) 用示波器檢查MT9D112的引腳VSYNC(幀同步信號)、HSYNC(行同步信號)、D[0:7](8位圖像數(shù)據(jù))是否有波形輸出，若有則證明圖像傳感器MT9D112已被成功初始化。此處初始化后輸出格式為8-bit RAW，1600×1 200預覽模式。

圖4　MT9D112的初始化步驟

1.2傳輸控制單元

該單元[4-5]主要任務(wù)是完成USB芯片CY7C68013A的初始化，與上位機進行命令交互，接收來自圖像傳感器的圖像數(shù)據(jù)，并將其通過USB總線上傳至上位機。下面分別予以闡述。

1.2.1USB芯片的初始化

CyPress公司為該USB芯片提供有配套的開發(fā)包，開發(fā)包中配有原理圖和大量的固件例程。借助原理圖，可以方便地搭建該芯片的驅(qū)動電路；而固件例程則為用戶提供了程序架構(gòu)，它完成了大部分與USB協(xié)議相關(guān)的工作，用戶僅需要在相應的函數(shù)中填寫少量的代碼即可完成開發(fā)。

USB芯片的初始化主要包括設(shè)置時鐘頻率及工作模式、配置FIFO端口及INT0中斷服務(wù)程序3項內(nèi)容，涉及的寄存器主要有CPUCS、EP1OUTCFG、EP1INCFG、EP2CFG、PORTACFG、FIFOPINPOLAR、FIFORESET。初始化后該芯片使用48MHz的工作時鐘，配置使用FIFO中的端口2收發(fā)數(shù)據(jù)，芯片處于正常模式，在INT0中斷服務(wù)程序中設(shè)置芯片進入SLAVE模式，此時傳輸數(shù)據(jù)使用異步FIFO傳輸。

1.2.2USB芯片和圖像傳感器的硬件連接與軟件工作過程

圖像傳感器MT9D112與USB芯片CY7C68013A的引腳連接如圖5所示。

圖5　MT9D112與CY7C68013A的引腳連接圖

工作過程：當圖像傳感器的幀同步VSYNC信號來臨時，即可觸發(fā)USB芯片的INT0中斷，在INT0的中斷處理函數(shù)中配置寄存器，使得USB芯片CY7C68013A進入SLAVE模式。之后當行同步HSYNC信號為高電平時，USB芯片的SLWR引腳被相應置于高電平，此時開始有效的視頻數(shù)據(jù)采集。圖像傳感器的每個像素時鐘并行輸出8位的RAW數(shù)據(jù)，在滿分辨率(1 600×1 200)的情況下,一幀圖像的數(shù)據(jù)量為：1 600×1 200×1=1 920 000(Byte)，按最高幀速每秒15幀計算，則每秒的數(shù)據(jù)吞吐量為1 920 000×15=28 800 000(Byte)，即所需帶寬至少為28.8 MB/s，而USB芯片CY7C68013A在SLAVE模式下可達到56 MB/s，滿足要求。

1.2.3USB芯片與上位機的命令交互

實際應用中需要由上位機發(fā)出采集命令，而后USB芯片才能將圖像傳感器的數(shù)據(jù)上傳至上位機，故而上位機與USB芯片CY7C68013A之間需要進行命令的交互，此處以用戶自定義請求的方式實現(xiàn)。處理用戶自定義請求流程如圖6所示。

工作過程：上位機發(fā)送開始采集圖像數(shù)據(jù)的命令，此命令以用戶自定義請求的方式發(fā)送至USB芯片CY7C68013A，使INT0中斷。當圖像傳感器MT9D112的某一個幀信號到來時，觸發(fā)USB芯片的INT0中斷，該中斷處理函數(shù)將USB芯片CY7C68013A由正常模式轉(zhuǎn)入SLAVE模式，以確保能夠接收到完整的幀數(shù)據(jù)，之后通過選定的端點，不間斷地將完整的圖像數(shù)據(jù)傳送至上位機。

圖6　處理用戶自定義請求流程

1.3圖像顯示單元

1.3.1USB驅(qū)動程序

驅(qū)動程序用來完成USB芯片CY7C68013A芯片與上位機間的底層通信，CYPRESS公司 針對該芯片提供了通用驅(qū)動程序CYUSB.SYS，只要硬件電路搭建無誤，安裝該驅(qū)動后，電腦即會自動識別該芯片[5]。

1.3.2下載固件程序

下載固件的程序用于把寫好的固件程序下載到USB芯片CY7C68013A的RAM 或外部EEPROM中,其作用是使USB芯片的CPU 重啟,模擬斷開與USB總線的連接以完成對芯片的重新配置。

CyPress公司已經(jīng)提供了下載固件的程序CyConsole.exe，并附有操作手冊，用戶借助這個工具可以方便地將固件下載至USB芯片。

1.3.3上位機程序

上位機程序在VS2010環(huán)境下采用MFC編寫，主要實現(xiàn)圖像數(shù)據(jù)的處理、顯示和保存，具體分為以下3個方面：

1) 接收數(shù)據(jù)。借助CYPRESS公司提供的C++類庫和例程代碼，可以輕松完成接收圖像數(shù)據(jù)的任務(wù)。CYPRESS 提供了9 個類，調(diào)用這些類就可以與USB芯片通信，本文中用到的類有：

CCyUSBDevice類：包含建立USB設(shè)備、獲取USB設(shè)備手柄、打開USB設(shè)備、統(tǒng)計當前端點數(shù)目等功能；

CCyUSBEndPoint類：包含建立端點對象、枚舉端點、獲取端點屬性等功能；

CCyControlEndPoint類：包含定義控制端點，設(shè)置控制端點屬性等功能，通過XferData()函數(shù)發(fā)送命令與USB芯片進行交互(見1.2.3節(jié))；

CCyUSBEndPoint類：其中包含的BeginDataXfer()、WaitForXfer()和FinishDataXfer() 3個函數(shù)用于上位機與USB芯片進行數(shù)據(jù)傳輸，來自圖像傳感器的數(shù)據(jù)就是從這3個函數(shù)中獲得。

借助上述4個類提供的功能，即可完成建立USB設(shè)備、獲取USB設(shè)備句柄、建立端點對象，發(fā)送控制傳輸命令，與USB芯片進行數(shù)據(jù)傳輸?shù)娜蝿?wù)。

注意：使用時需要加上頭文件CyAPI.h，在項目中還要引用CyAPI.lib。

2) 渲染圖像。渲染圖像最簡單的方法是采用GDI方式，利用繪圖函數(shù)StretchDIBits()實現(xiàn)[9]，該函數(shù)的功能是將矩形區(qū)域內(nèi)像素數(shù)據(jù)拷貝到指定的目標矩形中進行顯示。注意：StretchDIBits()只能播放RGB格式的數(shù)據(jù)，本文中RAW格式的數(shù)據(jù)只能先行轉(zhuǎn)換為RGB格式才能正確顯示。

RAW格式的數(shù)據(jù)沒有經(jīng)過任何圖像處理(如銳化、增加色彩對比)過程，記錄的是圖像傳感器拍攝到的原始數(shù)據(jù)，將其轉(zhuǎn)化為RGB格式最簡單的方法就是擴充，即將一個像素的單字節(jié)數(shù)據(jù)直接轉(zhuǎn)換為RGB格式的3個字節(jié)數(shù)據(jù)(如RAW格式下某個像素值為255，則直接變?yōu)镽GB格式的255，255，255)。

3) 保存圖像。據(jù)第二小節(jié)，在RGB圖像格式的基礎(chǔ)上，每一幀數(shù)據(jù)前加入BMP文件頭和數(shù)據(jù)頭信息，即可保存為一幅bmp格式的圖像[10]。若是需要對圖像數(shù)據(jù)做進一步的分析處理，或是保存為視頻文件，則須在此處添加相應等功能。

2　硬件實驗結(jié)果

使用上述方法進行設(shè)計，系統(tǒng)實物如圖7所示，左圖為圖像傳感器模組，右圖是以USB芯片CY7C68013A為核心搭建的測試平臺。

圖7　系統(tǒng)實物圖

設(shè)置圖像傳感器MT9D112輸出分辨為1 600×1 200，預覽模式，每秒10幀。圖8為拍攝現(xiàn)場，圖9為預覽模式下的拍攝畫面。

圖8　拍攝現(xiàn)場圖

圖9　預覽模式下拍攝圖

3　總結(jié)

以CyPress公司的USB 2.0芯片CY7C68013A為核心搭建平臺，以CMOS圖像傳感器MT9D112為例，探討了如何通過USB技術(shù)將圖像傳感器的圖像數(shù)據(jù)在電腦上顯示。經(jīng)實驗，該平臺可對200萬像素以下的多種類型的CMOS圖像傳感器進行分辨率、幀頻、成像品質(zhì)等性能進行測試，目前已經(jīng)對OV7670、OV2640、OV5640三種圖像傳感器在上位機測試程序中成功進行了實驗，以O(shè)V5640為例實驗結(jié)果如圖10。

圖10　OV5640的測試結(jié)果圖

另外，因手工焊接需要，本設(shè)計所用主要芯片的規(guī)格如表1所示。而目前可供選擇的USB芯片CY7C68013A最小尺寸為8 mm×8 mm，QFN封裝。憑借其結(jié)構(gòu)小巧且能夠自主設(shè)計的優(yōu)勢，該系統(tǒng)可以設(shè)計在寬為10 mm的長條電路板上，進而能夠為空間狹小且需要監(jiān)控的區(qū)域設(shè)計符合其規(guī)格要求的監(jiān)控系統(tǒng)。

表1　主要芯片的規(guī)格

[1]周應發(fā),黃澤鍔.基于FPGA的USB視頻傳輸系統(tǒng)設(shè)計[J].價值工程,2014(13):192-193.

[2]梁風梅.基于USB 2.0的高速實時圖像采集系統(tǒng)[J].電腦開發(fā)與應用,2009(6):26-27.

[3]1/4-Inch System-On-A-Chip (SOC) CMOS Digital Image Sensor MT9D112[EB/OL].Micron Technology.http://m.doc88.com/p-798379716410.html/.

[4]EZ-USB FX2LP DataSheet[EB/OL].Cypress Semiconductor Co.Ltd.http://www.cypress.com/documentation/datasheets/.

[5]EZ-USB Development Kit User Guide[EB/OL].Cypress Semiconductor Co.Ltd.http://www.cypress.com/documentation/datasheets/.

[6]權(quán)曉紅,虛擬I2C在停車場門禁系統(tǒng)中的應用[J].自動化與儀器儀表,2014(3):71-74.

[7]張宇,楊世洪.基于CMOS圖像傳感器的高幀頻相機的設(shè)計[J].儀器儀表用戶,2011(18):41-44.[8]孫鑫.VC++深入詳解[M].北京：電子工業(yè)出版社,2009.[9]最簡單的視音頻播放示例2：GDI播放YUV,RGB[EB/OL].http://m.blog.csdn.net/blog/leixiaohua1020/4026

6503/.

[10]韓英.一種基于BMP圖片的顯示方法[J].儀表技術(shù),2011(2):61-62.

(責任編輯楊繼森)

Design of Video Transmission System Based on USB 2.0 Technology

LI Jiang-bo, MA Chun-ting, YANG Fan, CHEN Zhi-wei

(Ordnance Engineering College，Department of Artillery Engineering, Shijiazhuang 050000, China)

CMOS image sensor was used as photoelectric device. CY7C68013A was used as the USB 2.0 controller chip for the image information transmission channel. The video data of the CMOS was processed and transferred to the USB chip. Finally, the picture was displayed on the PC. The design with clear structure could be used not only as handheld device, but also as measurement of several types of image sensor.

USB; image capture; image transmission

2016-01-04；

2015-02-15

李江波(1980—)，男，碩士研究生，主要從事嵌入式系統(tǒng)研究。

10.11809/scbgxb2016.08.029

format:LI Jiang-bo, MA Chun-ting, YANG Fan, et al.Design of Video Transmission System Based on USB 2.0 Technology[J].Journal of Ordnance Equipment Engineering,2016(8):127-130.

TP37

A

2096-2304(2016)08-0127-05

【信息科學與控制工程】