羅云宜,陳奭,付威威,周哲,馮馳

(1.南京理工大學(xué)電子工程與光電技術(shù)學(xué)院,南京210000;2.中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所)

OMAP-L138核間通信高吞吐量圖像處理平臺及應(yīng)用

羅云宜1,2,陳奭2,付威威2,周哲2,馮馳1,2

(1.南京理工大學(xué)電子工程與光電技術(shù)學(xué)院,南京210000;2.中國科學(xué)院蘇州生物醫(yī)學(xué)工程技術(shù)研究所)

異構(gòu)雙核芯片AMR+DSP具有強(qiáng)大的任務(wù)管理、人機(jī)交互和數(shù)據(jù)處理功能,為嵌入式圖像處理領(lǐng)域提供了一種新的架構(gòu)。為了減少開發(fā)人員對底層驅(qū)動(dòng)的設(shè)計(jì),TI研發(fā)了Syslink驅(qū)動(dòng)用于核間通信,包括Notify、MessageQ協(xié)議等,其中基于MessageQ的通信協(xié)議常用于核間圖像傳輸,但其占用資源較多、延遲高。本文對TI公司的達(dá)芬奇架構(gòu)OMAP-L138處理器的多核通信理論進(jìn)行研究,利用核間中斷寄存器和共享內(nèi)存隊(duì)列存儲機(jī)制進(jìn)行數(shù)據(jù)交互,實(shí)現(xiàn)了一種高吞吐量的圖像處理平臺。

OMAP-L138;核間通信;共享內(nèi)存隊(duì)列機(jī)制設(shè)計(jì)

引 言

隨著電子技術(shù)和圖像處理技術(shù)的快速發(fā)展,數(shù)字圖像處理技術(shù)已廣泛應(yīng)用于軍事、工業(yè)視覺、醫(yī)療器械、汽車和無人機(jī)等領(lǐng)域。實(shí)際應(yīng)用中,考慮能夠運(yùn)行復(fù)雜圖像處理算法和大數(shù)據(jù)量的傳輸作為圖像處理平臺穩(wěn)定運(yùn)行的前提,采用PC機(jī)平臺能夠很好地滿足上述條件,但存在系統(tǒng)過于龐大和成本較高等缺點(diǎn)。因此,現(xiàn)階段基于ARM+ DSP異構(gòu)雙核的嵌入式圖像處理平臺應(yīng)運(yùn)而生[1-2],能夠很好滿足對系統(tǒng)體積、功耗和實(shí)時(shí)性要求,充分發(fā)揮了ARM的任務(wù)管理、人機(jī)交互特性和DSP的高速數(shù)據(jù)處理特性。然而在異構(gòu)雙核處理中,兩核的數(shù)據(jù)通信和同步變得尤為重要,采用德州儀器(TI)官方提供的Syslink[3]工具包能夠滿足系統(tǒng)的需要,但存在占用資源較多、延遲高的缺點(diǎn)。本文對TI一款低成本、性能較高的OMAPL138芯片的核間通信理論進(jìn)行研究,提出了一種基于核間中斷和共享的內(nèi)存通信方法,實(shí)現(xiàn)了一種高吞吐量的圖像處理平臺。

1 硬件構(gòu)成

OMAP-L138雙核處理器包含ARM926EJ-S和TMS320C6748內(nèi)核[4]。ARM926EJ-S采用增強(qiáng)的32位RISC指令集,內(nèi)部采用多級流水線,加快了處理器的運(yùn)算速率,ARM與DSP均采用了兩級高速緩存架構(gòu),二者均可獨(dú)立操作片載外設(shè)資源。本圖像處理平臺中,ARM負(fù)責(zé)進(jìn)行人機(jī)交互和流程控制,DSP負(fù)責(zé)圖像數(shù)據(jù)的接收、處理及處理結(jié)果的發(fā)送。

1.1 系統(tǒng)組成

圖1所示為系統(tǒng)組成框架圖,OMAP-L138片上系統(tǒng)包含ARM核心及DSP核心各一個(gè),并包含有常用接口(RS232,I2C,SPI等),用于系統(tǒng)擴(kuò)展。

視頻信號經(jīng)VPIF接口(Video Port Inter Face)由DSP接收并進(jìn)行處理,ARM與DSP雙核之間通過核間中斷和共享內(nèi)存進(jìn)行數(shù)據(jù)交互,然后ARM將接收到的處理結(jié)果傳輸?shù)饺藱C(jī)界面輸出處理結(jié)果,若系統(tǒng)需要,還可以將處理結(jié)果進(jìn)行本地或遠(yuǎn)程存儲。

圖1 系統(tǒng)框架圖

1.2 內(nèi)存劃分

ARM與DSP雙核通信系統(tǒng)基于外部128 MB DDR,由于ARM端運(yùn)行Linux系統(tǒng),DSP端根據(jù)需要運(yùn)行SYSBIOS實(shí)時(shí)操作系統(tǒng)或裸機(jī),其運(yùn)行環(huán)境和數(shù)據(jù)都存儲在DDR中,因此需要進(jìn)行DDR物理地址劃分,用于Linux系統(tǒng)、雙核通信共享內(nèi)存以及DSP,如圖2所示。

圖2 內(nèi)存分配

地址0xC200 0000到0xC2FF FFFF的16 MB空間用于雙核通信,根據(jù)需要包括通信組件和共享內(nèi)存;地址0xC300 0000到0xC3FF FFFF空間用于DSP,其余空間用于Linux系統(tǒng)。

2 軟件構(gòu)成

本系統(tǒng)中OMAP-L138處理器ARM端搭載Linux,通過Qt開發(fā)界面及流程處理程序;DSP端采用SYSBIOS實(shí)時(shí)系統(tǒng)或裸機(jī)程序用于算法處理[5-6]。

2.1 ARM軟件系統(tǒng)

圖3 Linux體系結(jié)構(gòu)

由于Linux系統(tǒng)可以免費(fèi)獲取、可自由裁減,具有出色的任務(wù)管理和人機(jī)交互界面,已廣泛應(yīng)用于服務(wù)器和嵌入式領(lǐng)域。圖3為Linux體系結(jié)構(gòu)圖,包括內(nèi)核空間和用戶空間。其中,內(nèi)核空間包括系統(tǒng)調(diào)用、內(nèi)核和平臺架構(gòu)相關(guān)代碼。用戶程序通過系統(tǒng)調(diào)用訪問內(nèi)核資源和服務(wù),同時(shí)通過內(nèi)核來執(zhí)行平臺相關(guān)驅(qū)動(dòng)代碼。

2.2 DSP軟件系統(tǒng)

2.2.1 基于Syslink核間通信

Syslink工具包是通用處理器ARM與DSP進(jìn)行核間通信的驅(qū)動(dòng)程序。Syslink有一套通用的API函數(shù),從應(yīng)用層虛擬了ARM與DSP之間的物理連接,降低了程序開發(fā)的復(fù)雜度。基于Syslink的軟件架構(gòu)圖如圖4所示。

圖4 基于Syslink軟件結(jié)構(gòu)圖

圖像處理算法運(yùn)行于DSP,通過Syslink來實(shí)現(xiàn)ARM 和DSP之間的通信與同步。核間通信模塊Syslink為處理器間通信提供了對等的軟件協(xié)議(如Notify、MessageQ 等)。MessageQ協(xié)議基于隊(duì)列,常用來傳輸視頻數(shù)據(jù)。

圖5所示為基于MessageQ的軟件代碼流程圖。

圖5 基于MessageQ的軟件代碼流程圖

軟件設(shè)計(jì)中,定義DSP處理器ID為0,ARM處理器ID為1,分別調(diào)用MultiPro_getID()得到對方的ID,然后通過Ipc_control()、Ipc_start()和Ipc_attach()來實(shí)現(xiàn)ARM與DSP的連接和握手,最后調(diào)用相關(guān)MessageQ的API實(shí)現(xiàn)雙核通信。

2.2.2 基于高吞吐量核間通信

OMAP-L138處理器提供了核間通信的消息觸發(fā)機(jī)制,本系統(tǒng)采用核間中斷寄存器和共享內(nèi)存機(jī)制來實(shí)現(xiàn)雙核間數(shù)據(jù)的收發(fā)。設(shè)定CHIPSIG(中斷寄存器)和CHIPSIG_CLR(中斷清除寄存器)的0～1位為ARM中斷,2～4位為DSP中斷,通過置位相應(yīng)位來產(chǎn)生硬件中斷。通過編寫中斷服務(wù)程序來處理接收到的消息,以建立握手協(xié)議。圖6為通信握手協(xié)議。

圖6 通信握手協(xié)議

通信握手協(xié)議建立以后,ARM和DSP端都獲得了共享內(nèi)存基地址和圖像數(shù)據(jù)大小。如圖7所示,ARM和DSP端采用隊(duì)列形式實(shí)現(xiàn)圖像數(shù)據(jù)傳輸,采用單變量增減方式實(shí)現(xiàn)隊(duì)列資源計(jì)數(shù)。為了快速實(shí)現(xiàn)數(shù)據(jù)的存取,本文將共享地址前12字節(jié)作為全局共享數(shù)據(jù)結(jié)構(gòu),定義如下數(shù)據(jù)結(jié)構(gòu):

圖7 圖像數(shù)據(jù)隊(duì)列結(jié)構(gòu)傳輸

msgCnt為隊(duì)列資源計(jì)數(shù)器,armCnt為ARM讀指針在共享內(nèi)存中讀取圖像數(shù)據(jù)偏移量,dspCnt為DSP寫指針在共享內(nèi)存中存放圖像數(shù)據(jù)偏移量。例如,設(shè)置隊(duì)列資源最大為10個(gè),當(dāng)DSP存放數(shù)據(jù)在第一個(gè)位置后,msgCnt加1同時(shí)觸發(fā)ARM核,DSP讀取一組數(shù)據(jù)后并觸發(fā)DSP,msgCnt減1,相應(yīng)的armCnt和dspCnt加1,當(dāng)有一個(gè)達(dá)到最大值10時(shí),相應(yīng)的指針回到原點(diǎn),并清零相應(yīng)的地址偏移計(jì)數(shù)器。

(1)通信機(jī)制設(shè)計(jì)

通信機(jī)制如圖8所示,圖像傳感器采集的視頻信號通過DMA通道傳輸?shù)紻DR,啟動(dòng)Cache機(jī)制,加速DDR與1級、2級緩存之間的數(shù)據(jù)傳輸,DSP處理完成后將數(shù)據(jù)存放到共享內(nèi)存的隊(duì)列中,同時(shí)將隊(duì)列資源計(jì)數(shù)器加1,然后觸發(fā)ARM核;ARM核根據(jù)資源計(jì)數(shù)器值大小讀取數(shù)據(jù)并觸發(fā)DSP,隊(duì)列資源計(jì)數(shù)器減1。

圖8 通信機(jī)制整體框圖

(2)ARM與DSP驅(qū)動(dòng)設(shè)計(jì)

ARM端Linux系統(tǒng)由于受到保護(hù)機(jī)制的制約,不能直接訪問實(shí)際內(nèi)存地址,可以通過虛擬內(nèi)存映射機(jī)制來實(shí)現(xiàn)物理寄存器和共享內(nèi)存基地址的間接訪問。觸發(fā)DSP中斷時(shí),先將CHIPSIG寄存器地址虛擬映射到用戶空間,然后置位CHIPSIG[2]或CHIPSIG[3]為1,最后由硬件機(jī)制觸發(fā)DSP中斷,核心代碼如下:

映射成功后的虛擬地址可以直接賦值置位核間中斷寄存器,如:*virt_addr=1<<2。ARM端以輪詢方式查詢外部核間中斷寄存器值是否置1,最后根據(jù)read()的input event事件判斷是哪個(gè)中斷位,并作出相應(yīng)的操作。

通過CMD文件配置,DSP程序可以直接訪問物理地址,將DSP處理后的數(shù)據(jù)直接放到共享內(nèi)存中。DSP中斷需開啟DSP中斷、全局中斷、映射中斷函數(shù)到指定中斷號以便使能中斷等操作。其中DSP接收ARM的中斷處

理函數(shù)如下:

(3)軟件工作流程

軟件流程如圖9、圖10所示,雙核握手之后開始協(xié)同運(yùn)行。與人機(jī)交互相關(guān)的全局變量Process_over控制整個(gè)軟件的運(yùn)行,通過核間中斷觸發(fā)來控制msgCnt值,DSP 與ARM分別根據(jù)偏移量大小存放和讀取數(shù)據(jù)。

圖9 ARM端軟件流程

圖10 DSP端軟件流程

3 實(shí)驗(yàn)結(jié)果

圖11為實(shí)驗(yàn)所測得的數(shù)據(jù),可以看出,在傳輸圖像數(shù)據(jù)時(shí),高吞吐量要比Syslink工具包中MessageQ組件節(jié)省大量的時(shí)間。在圖像為320×240×16位色分辨率時(shí),對比Syslink與本系統(tǒng)實(shí)現(xiàn)的高速核間數(shù)據(jù)通信,其耗時(shí)相差3倍左右,隨著圖像分辨率和數(shù)據(jù)量的增加,系統(tǒng)延時(shí)差別逐漸減小,至1280×1024×16位色時(shí),系統(tǒng)延時(shí)雖然十分接近,但仍然有接近3.7 ms左右的時(shí)差。因此,本方法實(shí)現(xiàn)的核間數(shù)據(jù)通信,非常適合突發(fā)式、大批次、小數(shù)據(jù)量的數(shù)據(jù)傳輸。

圖11 Syslink與高吞吐量時(shí)間延遲

結(jié) 語

為了滿足ARM與DSP核間通信數(shù)據(jù)延遲的需要,本文提出了一種自定義的核間通信方法,通過硬件中斷消息機(jī)制實(shí)現(xiàn)握手協(xié)議和數(shù)據(jù)傳輸協(xié)議。隨后,通過實(shí)驗(yàn)對比可知,該方法比Syslink延遲要小得多,能夠滿足實(shí)時(shí)性的要求?；诤碎g觸發(fā)中斷機(jī)制和共享內(nèi)存實(shí)現(xiàn)雙核通信,為更高端的異構(gòu)芯片提供了一種方案,在工程上具有一定的應(yīng)用價(jià)值。

[1]謝維波,賀文強(qiáng).基于OMAPL138的視頻監(jiān)控?zé)熿F檢測系統(tǒng)[J].計(jì)算機(jī)工程與應(yīng)用,2015,51(20):183-187.

[2]馮強(qiáng),胡毅,于東,等.基于OMAP處理器的核間通信機(jī)制設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程,2014,40(4):281-286.

[3]Texas Instruments.Building Syslink Applications Version 2. 21.01.05,2012.

[4]Texas Instruments.OMAP-L138 DSP+ARM Processor Technical Reference Manual,2011.

[5]趙加祥.DSP系統(tǒng)設(shè)計(jì)和BIOS編程應(yīng)用實(shí)例[M].北京:機(jī)械工業(yè)出版社,2008.

[6]劉紀(jì)紅,葉檸,尚奎,等.DSP+ARM雙核處理器OMAPL138開發(fā)入門[M].北京:清華大學(xué)出版社,2013.

羅云宜(碩士研究生),主要研究方向?yàn)榍度胧较到y(tǒng)與圖像處理應(yīng)用;陳奭(助理研究員),主要研究方向?yàn)榍度胧较到y(tǒng)與圖像算法研究;馮馳(碩士研究生),主要研究方向?yàn)榍度胧杰浖c光學(xué)設(shè)計(jì)。

High-throughput Capacity Image-processing Platform Based on OMAP-Ll38 Inter-core Communication

Luo Yunyi1,2,Chen Shi2,Fu Weiwei2,Zhou Zhe2,Feng Chi1,2

(1.School of Electronic Engineering and Optoelectronic Technology,Nanjing University Science and Technology,Nanjing 210000,China; 2.Suzhou Institute of Biomedical Engineering and Technology Chinese Academy of Science)

The heterogeneous dual-core chip AMR+DSP has a powerful function of task management,human-computer interaction and data processing,which also provides a new framework for embedded image processing.In order to reduce the underlying driven design for developers,TI has developed Syslink driver for inter-core communications,including Notify,MessageQ protocols and so on,among which the communication protocol based on MessageQ is commonly used in inter-core image transmission design,but it has resource intensive and high latency.In the paper,we focus on the multi-core communication theory of OMAP-L138 processor which has the Da Vinci framework,taking advantage of the inter-core interrupt registers and the shared memory queue storage mechanism to realize the data interaction,and finally a high-throughput image processing platform is achieved.

OMAP-L138;inter-core communication;shared memory queue mechanism

TP317

A

(責(zé)任編輯:薛士然2016-05-09)