寧紅揚(yáng) 李佩玥 于淼

關(guān)鍵詞： i.MX6Q平臺; 圖像融合; 雙路攝像頭; 程序設(shè)計(jì); Alpha blending算法; 內(nèi)核驅(qū)動

中圖分類號： TN911.73?34 ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A ? ? ? ? ? ? ? ? ? ? ? ? 文章編號： 1004?373X（2019）06?0001?05

Abstract： The low?power and high?performance i.MX6Q embedded development platform of NXP is selected to collect and fuse dual?channel video images， so as to realize technology verification of the hand?held corona mobile detector. The drive framework mainly constituted by the video processing unit （VPU）， image processing unit （IPU） and camera based on the Linux V4L2 architecture is constructed in this paper. The program design of the access interface and control algorithm is conducted for the hardware abstraction layer， application program framework layer， and application program layer on the basis of the kernel drive program. The images collected by the dual?channel camera are processed by the Alpha blending algorithm， so as to realize image fusion of dual?channel visible light videos. The test results show that the man?machine interaction interface is friendly， the video acquisition images are stable and clear， and the fusion operation effect is smooth， which lays a foundation for the subsequent study of UV?visible light dual?channel detection.

Keywords： i.MX6Q platform; image fusion; dual?channel camera; program design; Alpha?blending algorithm; kernel drive

0 ?引 ?言

高壓電力設(shè)備由于表面附著污穢、絕緣性降低等原因會產(chǎn)生電暈現(xiàn)象，對電力設(shè)備的表面造成損傷。因此需要快速準(zhǔn)確地檢查出電暈放電的位置，及時(shí)更換損壞的部件，保證電力系統(tǒng)的可靠運(yùn)行[1?2]。日盲紫外電暈探測技術(shù)是一種故障在線檢測技術(shù)，具有虛景率低、抗干擾性強(qiáng)的特點(diǎn)。其關(guān)鍵技術(shù)之一就是基于可見光CCD和紫外CCD的雙路圖像融合技術(shù)。i.MX6Q平臺是Freescale公司推出的面向多媒體設(shè)備的高性能低功耗應(yīng)用處理器，基于ARM Cortex?A9四核結(jié)構(gòu)，運(yùn)行頻率[3]最高可達(dá)1.2 GHz，具有性能穩(wěn)定，視頻圖像處理資源豐富等優(yōu)點(diǎn)。該處理器集成強(qiáng)大的視頻圖像處理子系統(tǒng)，包括內(nèi)置的視頻處理單元VPU、硬件加速圖形處理單元GPU，以及兩個(gè)獨(dú)立的影像處理單元IPU，完成視頻編解碼、圖形加速、連接攝像頭和顯示通路以及相關(guān)的處理、同步和控制等功能，并且該處理平臺具備低功耗模式下的動態(tài)電源管理技術(shù)，便于手持式電暈探測儀開發(fā)。同時(shí)i.MX6Q平臺可以運(yùn)行Android操作系統(tǒng)，能夠?yàn)橛脩籼峁┝己玫慕缑娼换ンw驗(yàn)。

1 ?視頻處理單元

在i.MX6Q平臺中多媒體應(yīng)用的處理流程為：IPU處理來自圖像傳感器的數(shù)據(jù)或者將數(shù)據(jù)送到顯示設(shè)備，主要進(jìn)行圖像增強(qiáng)和圖像轉(zhuǎn)換，與編解碼器相連。VPU是一種高性能多標(biāo)準(zhǔn)視頻編解碼引擎，對視頻數(shù)據(jù)進(jìn)行編解碼操作，而GPU主要進(jìn)行2D/3D或矢量圖形的加速。VPU，GPU和IPU之間的數(shù)據(jù)流交換在系統(tǒng)內(nèi)存中進(jìn)行，由CPU進(jìn)行控制。其中視頻處理單元VPU是整個(gè)多媒體應(yīng)用處理流程中的重要部分。該處理單元能執(zhí)行多標(biāo)準(zhǔn)的視頻編解碼操作，兼容H.264 BP/MP/HP，VC?1 SP/MP/AP，MPEG?4 SP/ASP（除GMC），DivX （Xvid），MPEG?1/2，VP8，AVS和MJPEG解碼，且支持H.264，MPEG?4，H.263和MJPG編碼。VPU支持全高清1 920×1 080的60i或30p解碼以及1 920×1 088編碼。它能同時(shí)使用多個(gè)視頻編解碼標(biāo)準(zhǔn)來進(jìn)行多個(gè)視頻剪輯片段的編解碼操作[4?5]，充分利用片上存儲來實(shí)現(xiàn)高性能。

在如圖1所示的VPU與主機(jī)軟件的控制模型中[6]，主機(jī)程序通常利用預(yù)先定義好的API函數(shù)來發(fā)送指令和相關(guān)參數(shù)進(jìn)行VPU的控制。主機(jī)程序接收到來自VPU的中斷，就標(biāo)志著請求操作完成，獲取相關(guān)的結(jié)果信息。在VPU內(nèi)部由16位DSP內(nèi)核即BIT處理器來控制內(nèi)部的視頻編解碼操作。利用主機(jī)接口寄存器（Host Interface Register）實(shí)現(xiàn)與主機(jī)之間的命令和響應(yīng)信號傳輸。而主機(jī)程序和VPU之間的所有像素?cái)?shù)據(jù)和流數(shù)據(jù)的處理則是通過SDRAM的共享內(nèi)存空間進(jìn)行。

2 ?系統(tǒng)功能設(shè)計(jì)與實(shí)現(xiàn)

整個(gè)平臺的軟件架構(gòu)主要基于Android系統(tǒng)本身的層次結(jié)構(gòu)，由應(yīng)用程序?qū)樱–ameraApp）、應(yīng)用程序框架層（CameraSevice）、硬件抽象層（CameraHAL）和內(nèi)核驅(qū)動層（CameraDriver）組成[7?9]。其結(jié)構(gòu)如圖2所示。

最底層為內(nèi)核驅(qū)動層，主要負(fù)責(zé)系統(tǒng)管理以及終端的硬件驅(qū)動;硬件抽象層增加接口模塊以訪問硬件驅(qū)動程序，并編譯成動態(tài)文件Libcamera.so。對于應(yīng)用程序框架層，由于Android系統(tǒng)的硬件訪問服務(wù)通常運(yùn)行在系統(tǒng)進(jìn)程中，而使用這些硬件訪問服務(wù)的應(yīng)用程序運(yùn)行在另外的進(jìn)程中，Android系統(tǒng)提供Binder進(jìn)程間通信機(jī)制來完成進(jìn)程間的通信。提供服務(wù)的Server進(jìn)程和使用服務(wù)的Client進(jìn)程通過Android接口描述語言（Android Interface Definition Language，AIDL）來進(jìn)行進(jìn)程間通信。所以在應(yīng)用程序框架層通過.aidl文件定義硬件訪問服務(wù)接口實(shí)現(xiàn)硬件訪問服務(wù)，并編寫硬件訪問服務(wù)中的JNI方法，編譯成動態(tài)鏈接庫LibcameraService.so。應(yīng)用程序?qū)油ㄟ^Service Manager獲得任務(wù)的Binder代理對象接口，進(jìn)一步通過調(diào)用它的成員函數(shù)來實(shí)現(xiàn)文件的讀取操作。

2.1 ?內(nèi)核驅(qū)動層

2.1.1 ?驅(qū)動模塊實(shí)現(xiàn)

1） Camera驅(qū)動

本次圖像融合驗(yàn)證平臺采用的是OV5640攝像頭。OV5640攝像頭支持兩種傳輸模式，并行接口和MIPI接口。本平臺前置攝像頭采用的是并行接口，后置攝像頭采用MIPI接口。OV5640攝像頭驅(qū)動處于Linux V4L2架構(gòu)下，由V4L2捕獲接口實(shí)現(xiàn)。應(yīng)用程序不能直接用攝像頭驅(qū)動，而是用V4L2捕獲驅(qū)動打開或關(guān)閉攝像頭進(jìn)行圖像預(yù)覽、捕獲和控制操作。在i.MX6Q中，V4L2驅(qū)動是用I2C總線來實(shí)現(xiàn)攝像頭的信號控制[10?11]。

2） IPU驅(qū)動

圖像處理單元（Image Processing Unit，IPU）支持視頻和圖像處理功能，并為視頻和靜態(tài)圖像傳感器和顯示設(shè)備提供接口。IPU驅(qū)動可以分為如下幾個(gè)部分：基于現(xiàn)實(shí)和同步幀緩存的幀緩存驅(qū)動;進(jìn)行IPU的預(yù)處理操作的V4L2捕獲驅(qū)動;進(jìn)行IPU的后期處理的V4L2輸出驅(qū)動;為用戶空間或V4L2驅(qū)動提供系統(tǒng)接口的IPU處理驅(qū)動;最后一個(gè)驅(qū)動是MXC顯示驅(qū)動，用來作為一個(gè)簡單的框架來管理IPU與顯示設(shè)備（如LCD，LVDS，HDMI，MIPI等）的驅(qū)動之間的交互。

3） VPU驅(qū)動

VPU承擔(dān)了所有的編解碼操作和大多數(shù)的比特流數(shù)據(jù)的解析和打包工作。VPU的內(nèi)核驅(qū)動負(fù)責(zé)系統(tǒng)控制和資源管理，為用戶空間的應(yīng)用程序?qū)荧@取系統(tǒng)資源提供相應(yīng)的IOCTL接口，用來進(jìn)行內(nèi)存分配和釋放操作等。

4） 圖像融合實(shí)現(xiàn)

為了充分利用i.MX6Q平臺的硬件資源，在IPU驅(qū)動文件ipu_mux.c中采用系統(tǒng)固有的input層和overlay層面的Alpha屬性進(jìn)行透明度圖像融合處理。

2.1.2 ?Alpha透明度融合原理

Alpha透明度法用RGB三個(gè)通道表示彩色功能圖像，定義一個(gè)全局透明度[α]，使高分辨率灰度圖像以該透明度從中透出來。記彩色功能圖像某一通道為前景A，高分辨率灰度圖像為背景B，在透明度[α]下，融合圖像相應(yīng)的通道F可以表示為：

[F=（255-α）A+αB] （1）

式中，[α]為混合因子的整數(shù)型表示，其主要是顏色混合[12]。

將攝像頭捕獲圖像編碼后的幀緩存數(shù)據(jù)分別設(shè)為input層和overlay層，進(jìn)行全局Alpha融合處理。程序?qū)崿F(xiàn)如下：

int ipu_yuvMux（unsigned char *yuvout， unsigned char *yuvin1， unsigned char *yuvin2）

{

int ret = 0;

struct timeval begin， end;

int sec， usec， run_time;

memcpy（inbuf， yuvin1， isize）;

memcpy（ovbuf， yuvin2， ovsize）;

task.overlay.alpha.gvalue = 100;

ret = ioctl（fd_ipu， IPU_QUEUE_TASK， &task）;

…

}

memcpy（yuvout， outbuf， osize）;

輸入圖像為YUV數(shù)據(jù)格式。在本平臺中，混合因子[α]取值為100。memcpy（inbuf， yuvin1， isize），memcpy（ovbuf， yuvin2， ovsize）函數(shù)分別實(shí)現(xiàn)將input層源數(shù)據(jù)yuvin1拷貝到幀緩存區(qū)inbuf和將overlay層源數(shù)據(jù)yuvin2拷貝到幀緩存區(qū)ovbuf。

圖3為對Camera獲得的數(shù)據(jù)流進(jìn)行編碼的過程，解碼的過程與這個(gè)流程相似。

2.2 ?硬件抽象層

在硬件抽象層（HAL）增加接口模塊以訪問上面定義的硬件驅(qū)動程序。Android系統(tǒng)的硬件抽象層以模塊的形式管理各個(gè)接口，每一個(gè)硬件模塊都對應(yīng)一個(gè)動態(tài)鏈接庫文件。在系統(tǒng)內(nèi)部，每一個(gè)硬件抽象層模塊都用結(jié)構(gòu)體hw_module_t來描述，而硬件設(shè)備則用結(jié)構(gòu)體hw_device_t來描述[13]。每一個(gè)硬件抽象層模塊在內(nèi)核中對應(yīng)有一個(gè)驅(qū)動程序，它們是通過讀/寫設(shè)備文件進(jìn)行通信的。在開發(fā)包頂層目錄hardware/libhardware/include/hardware下創(chuàng)建頭文件定義模塊和設(shè)備的ID，模塊和設(shè)備的結(jié)構(gòu)體。在設(shè)備結(jié)構(gòu)體中，fd表示設(shè)備文件描述符。然后定義設(shè)備打開關(guān)閉接口設(shè)備讀寫接口，若設(shè)備操作函數(shù)的參數(shù)id與設(shè)備ID匹配，就可以執(zhí)行設(shè)備文件的操作，進(jìn)而實(shí)現(xiàn)硬件設(shè)備的調(diào)用。

2.3 ?應(yīng)用程序框架層

JNI（Java Native Interface）用來實(shí)現(xiàn)Java與上述已編譯好的驅(qū)動代碼的交互。因此需要編寫JNI方法為應(yīng)用程序框架層提供Java接口。在frameworks/base/services/jni目錄中，創(chuàng)建CameraRecord.cpp源程序，定義JNI方法列表如下：

static JNINativeMethod gMethods[] = {

{"vpuRecord0"，"（）V"，（void*）native_vpuRecord0}，

{"vpuRecord1"，"（）V"，（void*）native_vpuRecord1}，

{"vpuStop"， "（）V"， （void*）native_vpuStop}，

{"vpuPlay0"， "（）V"， （void*）native_vpuPlay0}，

{"vpuPlay1"， "（）V"， （void*）native_vpuPlay1}，

{"takePicture"，"（）I"， （void*）native_takePicture}，

{"setVpuChNum"，"（I）V"，（void*）native_setVpuChNum}，

{"setVpuFileFlag"，"（I）V"，（void*）native_setVpuFileFlag}，

{"setSurface"，"（Landroid/view/Surface;）I"，（void*）native_setSurface}，

{"setSurfaceSize"，"（II）V"，（void*）native_setSurfaceSize}，

{"setMp4Name"，"（Ljava/lang/String;）V"，（void*）native_setMp4Name}，

{"setJpgName"，"（Ljava/lang/String;）V"，（void*）native_setJpgName}，

};

然后對本地接口方法進(jìn)行注冊，并修改對應(yīng)目錄的Android.mk文件，將此JNI方法進(jìn)行交叉編譯，并導(dǎo)出生成的libcamera.so動態(tài)庫文件。

2.4 ?應(yīng)用程序?qū)訉?shí)現(xiàn)

將應(yīng)用框架層生成的libcamera.so庫拷貝到應(yīng)用程序的jni目錄下，進(jìn)行接下來的應(yīng)用程序的設(shè)計(jì)和編寫。程序設(shè)計(jì)的基本流程如圖4所示。

VPU軟件被分為兩部分，除內(nèi)核驅(qū)動外，還有用戶空間的庫文件和應(yīng)用程序，用戶空間的應(yīng)用程序會調(diào)用相關(guān)的IOCTL接口和編解碼庫函數(shù)來實(shí)時(shí)完成復(fù)雜的編解碼操作。通過接口AudioManager audioManager = （AudioManager） getSystemService （Context. AUDIO_

SERVICE）來獲得系統(tǒng)服務(wù)，并在Androidmanifest.xml文件中完成android.hardware. camera（調(diào)用自定義的相機(jī)），android.permission. ACCESS_ SURFACE_ FLINGER（Android平臺上底層的圖形顯示支持，一般用于游戲或照相機(jī)預(yù)覽界面和底層模式的屏幕截圖），android. permission. RECORD_ AUDIO（允許程序錄制聲音通過手機(jī)或耳機(jī)的麥克）等功能的注冊。

平臺的界面顯示部分工作流程如圖5所示。

點(diǎn)擊雙路攝像頭融合.apk文件后顯示APP初始界面，然后調(diào)用后置MIPI接口攝像頭的幀緩存數(shù)據(jù)實(shí)現(xiàn)實(shí)時(shí)預(yù)覽。用戶點(diǎn)擊屏幕界面彈出菜單選項(xiàng)，對各配置項(xiàng)進(jìn)行選擇，獲取對應(yīng)緩存數(shù)據(jù)。該平臺系統(tǒng)可以實(shí)現(xiàn)如下功能：視頻的實(shí)時(shí)預(yù)覽、攝像頭的拍照、兩路視頻數(shù)據(jù)基于透明度的融合，用戶可以根據(jù)菜單列表選型進(jìn)行模式選擇（A/B/AB通道），設(shè)置.mp4或.jpeg文件的存儲路徑以便進(jìn)行文件的查閱。

3 ?系統(tǒng)測試

圖6為整體的測試平臺。其包括底板和核心板兩個(gè)部分：核心板上集成了處理器、內(nèi)存、電源管理、EMMC等;底板上集成了各個(gè)功能接口，如Camera MIPI接口、HDMI接口和LCD接口等。

雙通道進(jìn)行Alpha透明度融合得到的圖像如圖7所示。將兩個(gè)攝像頭分別拍到的用手機(jī)手電筒發(fā)出的光源和天花板墻體進(jìn)行透明度融合，可以看到前景和背景的重疊效果。

設(shè)置圖像的分辨率為1 080[×]720，兩個(gè)通道的幀率均設(shè)置為30 f/s，在0～255之間對透明度Alpha取不同的值，利用Eclipse軟件的Logcat顯示的日志信息進(jìn)行測試，取前30組數(shù)據(jù)，將每組的測試結(jié)果繪制成圖8。

將上述測試數(shù)據(jù)取平均值后得到的不同Alpha下的平均融合時(shí)間列成表格，如表1所示。可以得到平均融合時(shí)間約為41 ms，再加上其他程序代碼的執(zhí)行時(shí)間，最后測試融合視頻的幀率為15 f/s，即閃爍頻率高于15 Hz的電暈火花都可以被捕捉到，基本符合目標(biāo)要求。

4 ?結(jié) ?語

本文詳細(xì)介紹了基于Android系統(tǒng)的i.MX6Q平臺圖像融合開發(fā)過程。通過底層驅(qū)動的開發(fā)實(shí)現(xiàn)了雙路可見光攝像頭采集數(shù)據(jù)的融合處理，通過Android的應(yīng)用程序的開發(fā)為用戶提供良好的界面交互體驗(yàn)。攝像頭采集圖像和顯示屏的圖像顯示穩(wěn)定清晰，且效果較好，完成了日盲紫外電暈探測平臺的關(guān)鍵技術(shù)的驗(yàn)證。后續(xù)將加入密保識別等圖像融合算法做進(jìn)一步深入的研究，更好地完善該圖像融合平臺。

參考文獻(xiàn)

[1] 周影，婁洪偉，周躍，等.微弱日盲紫外電暈自動實(shí)時(shí)檢測方法[J].中國光學(xué)，2015，8（6）：926?932.

ZHOU Ying， LOU Hongwei， ZHOU Yue， et al. Automatic real?time detection method of faint solar?blind ultraviolet corona [J]. Chinese journal of optics， 2015， 8（6）： 926?932.

[2] 董建新，袁曉輝，潘瑞龍.全日盲紫外成像探測儀光學(xué)系統(tǒng)設(shè)計(jì)[J].現(xiàn)代電子技術(shù)，2017，40（1）：152?155.

DONG Jianxin， YUAN Xiaohui， PAN Ruilong. Design of optical system used for solar?blind UV imaging detector [J]. Modern electronics technique， 2017， 40（1）： 152?155.

[3] 陳崇森.基于i.MX6Q+FPGA平臺Android下EIM總線接口設(shè)計(jì)[J].現(xiàn)代計(jì)算機(jī)，2016（13）：60?65.

CHEN Chongsen. Design of EIM bus interface based on i.MX6Q+FPGA platform under Android [J]. Modern computer， 2016（13）： 60?65.

[4] NXP. i.MX VPU application programming interface Linux? reference manual [EB/OL]. [2018?05?11]. https：//www.nxp.com/docs/en/reference?manual/i.MX_VPU_Application_Programming_Interface_Linux_Reference_Manual.pdf.

[5] 葛翠麗.基于Freescale i.MX6的VPU視頻編解碼系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].沈陽：東北大學(xué)，2014.

GE Cuili. Design and implementation of video codec system based on Freescale i.MX6 VPU [D]. Shenyang： Northeastern University， 2014.

[6] 丁建橋，周磊，張正華.基于IMX53的視頻編碼的研究與應(yīng)用[J].無線電通信技術(shù)，2014，40（2）：86?89.

DING Jianqiao， ZHOU Lei， ZHANG Zhenghua. Research and application of video coding based on IMX53 [J]. Radio communications technology， 2014， 40（2）： 86?89.

[7] PHILLIPS B， STEWART C， MARSICANO K. Android programming： the big nerd ranch guide [M]. Altanta： Big Nerd Ranch， 2017.

[8] 林學(xué)森.深入理解Android內(nèi)核設(shè)計(jì)思想[M].北京：人民郵電出版社，2017.

LIN Xuesen. In?depth understanding of the Android core design ideas [M]. Beijing： Posts & Telecom Press， 2017.

[9] 王憲臻，王志剛，牛寶超.基于Android平臺的智能手持終端Camera模組驅(qū)動設(shè)計(jì)與研究[J].電子設(shè)計(jì)工程，2012，20（20）：23?24.

WANG Xianzhen， WANG Zhigang， NIU Baochao. Design of camera module driver based on the Android platform of intelligent handled terminal [J]. Electronic design Engineering， 2012， 20（20）： 23?24.

[10] NXP. i.MX Linux? users′ guide [EB/OL]. [2018?05?16]. https：//www.nxp.com/docs/en/user?guide/i.MX_Linux_User′s_Guide.pdf.

[11] 李校林，孫文華，李銀.基于Linux平臺的OV2715驅(qū)動研究與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2016，39（22）：71?75.

LI Xiaolin， SUN Wenhua， LI Yin. Research and implementation of OV2715 driver based on Linux [J]. Modern electronics technique， 2016， 39（22）： 71?75.

[12] 霍星，解凱.多投影無縫拼接中Alpha融合的研究[J].北京印刷學(xué)院學(xué)報(bào)，2014，22（2）：68?71.

HUO Xing， XIE Kai. Study on Alpha fusion in multi?projector′s seamless conjoin [J]. Journal of Beijing Institute of Graphic Communication， 2014， 22（2）： 68?71.

[13] 羅升陽.Android系統(tǒng)源代碼情景分析[M].北京：電子工業(yè)出版社，2012.

LUO Shengyang. Scenario analysis for source codes of Android system [M]. Beijing： Publishing House of Electronics Industry， 2012.