鄒嘉琪, 畢松林, 顧永剛, 翟 超

(中國(guó)科學(xué)技術(shù)大學(xué) 工程科學(xué)學(xué)院,安徽 合肥 230027)

0 引 言

近紅外(NIR)光學(xué)定位系統(tǒng)基于多目立體視覺(jué)理論對(duì)NIR波段發(fā)光目標(biāo)進(jìn)行三維空間定位,由于其非接觸式測(cè)量和工作在獨(dú)立紅外波段的特性,在手術(shù)導(dǎo)航及工業(yè)測(cè)量等場(chǎng)景應(yīng)用廣泛[1]。對(duì)視場(chǎng)內(nèi)NIR發(fā)光目標(biāo)的檢測(cè)是光學(xué)定位中的關(guān)鍵技術(shù)。隨著成像技術(shù)的不斷發(fā)展,圖像的分辨率和成像速率逐漸提高,在要求高精度和高實(shí)時(shí)性的應(yīng)用場(chǎng)景中,需要系統(tǒng)能夠快速地處理大量的圖像數(shù)據(jù),完成特定目標(biāo)的實(shí)時(shí)檢測(cè),對(duì)計(jì)算性能提出較高要求[2]。

Zynq系列可擴(kuò)展處理平臺(tái)是集成了ARM和現(xiàn)場(chǎng)可編程門陣列(field programmable gate array,FPGA)的片上系統(tǒng)(system on chip,SoC),其內(nèi)部結(jié)構(gòu)被劃分成處理系統(tǒng)(processing system,PS)和可編程邏輯(programmable logic,PL)兩部分,分別對(duì)應(yīng)ARM處理器和FPGA。依靠軟硬件協(xié)同設(shè)計(jì),Zynq平臺(tái)能夠兼顧處理器系統(tǒng)的穩(wěn)定性和可編程邏輯部分的靈活性,實(shí)現(xiàn)一系列復(fù)雜的快速圖像處理應(yīng)用,完成算法的硬件加速[3]。高層次綜合(high level synthesis,HLS)方法是一種將高層次編程語(yǔ)言轉(zhuǎn)換為滿足設(shè)計(jì)約束的寄存器轉(zhuǎn)換級(jí)(register transfer level,RTL)描述的工具,可以有效地縮短開發(fā)周期,方便復(fù)雜算法在硬件邏輯上的部署。

本文基于Zynq平臺(tái),采用軟硬件協(xié)同設(shè)計(jì)及高層次綜合方法設(shè)計(jì)了一種面向三目立體視覺(jué)光學(xué)定位應(yīng)用的NIR目標(biāo)實(shí)時(shí)檢測(cè)系統(tǒng),該系統(tǒng)應(yīng)用于手術(shù)動(dòng)態(tài)導(dǎo)航中,能夠?qū)κ中g(shù)器械上帶有多個(gè)紅外發(fā)光標(biāo)記點(diǎn)的靶標(biāo)進(jìn)行高精度的檢測(cè)追蹤,同時(shí)滿足實(shí)時(shí)性要求。

1 系統(tǒng)整體架構(gòu)

系統(tǒng)架構(gòu)總體劃分為PS和PL兩部分。其中，主控程序部署在PS,在Linux操作系統(tǒng)環(huán)境下完成整個(gè)視頻傳輸過(guò)程的控制調(diào)度以及與上位機(jī)的通信功能；PL接收來(lái)自PS端的圖像數(shù)據(jù),進(jìn)行一系列圖像處理算法后提取出目標(biāo)中心特征信息發(fā)送回PS部分。系統(tǒng)框架如圖1所示。

圖1 系統(tǒng)整體框架

系統(tǒng)由3臺(tái)工業(yè)相機(jī)、Zynq板卡和上位機(jī)組成,實(shí)物如圖2。3臺(tái)工業(yè)相機(jī)拍攝的視頻信號(hào)作為系統(tǒng)的前端輸入保存在DDR4內(nèi)存中,平臺(tái)選用的處理器芯片型號(hào)為ZU3EG,其PS部分包含有四核ARM Cortex-A53處理單元,處理單元控制PL部分的Video DMA(VDMA)模塊對(duì)內(nèi)存中圖像進(jìn)行讀取并傳送到一系列圖像處理模塊中,對(duì)圖像進(jìn)行實(shí)時(shí)的預(yù)處理、校正、分割和目標(biāo)灰度重心特征提取,控制器再將提取到的重心坐標(biāo)存儲(chǔ)到Block RAM存儲(chǔ)單元中供PS端處理器讀取。最后反饋信息通過(guò)以太網(wǎng)口傳輸?shù)缴衔粰C(jī)進(jìn)行后續(xù)處理。

圖2 近紅外目標(biāo)檢測(cè)系統(tǒng)實(shí)物

2 PS部分主控程序設(shè)計(jì)

平臺(tái)的主控程序部署在PS端,主要負(fù)責(zé)圖像數(shù)據(jù)的采集傳輸以及通信,根據(jù)上位機(jī)指令完成相關(guān)任務(wù)。

2.1 視頻采集與VDMA驅(qū)動(dòng)實(shí)現(xiàn)

根據(jù)立體視覺(jué)相關(guān)理論,定位的實(shí)現(xiàn)是通過(guò)多臺(tái)相機(jī)在不同方向采集目標(biāo)圖像完成的[4]。本文系統(tǒng)視頻信號(hào)通過(guò)同一水平面上3臺(tái)互成一定角度的面陣工業(yè)相機(jī)獲取,工業(yè)相機(jī)型號(hào)為Basler acA2000—165umNIR,相機(jī)鏡頭處加裝NIR濾光片以獲取清晰近紅外圖像。相機(jī)分辨率最高達(dá)到2 048像素×1 088像素,高速率的圖像數(shù)據(jù)通過(guò)USB3接口進(jìn)行傳輸。

工業(yè)相機(jī)的配置、控制以及圖像數(shù)據(jù)的采集在嵌入式Linux系統(tǒng)環(huán)境下進(jìn)行,其軟件設(shè)計(jì)框圖如圖3所示。對(duì)相機(jī)的配置遵循GenlCam標(biāo)準(zhǔn),該標(biāo)準(zhǔn)將相機(jī)的一系列屬性翻譯成C++的應(yīng)用編程接口[5],例如傳輸層帶寬的分配、外部觸發(fā)模式和曝光時(shí)間等。

圖3 PS部分主控程序流程

大部分光學(xué)定位系統(tǒng),特別是在運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)定位過(guò)程中,多臺(tái)相機(jī)間拍攝時(shí)間的不同步是造成定位誤差的重要原因[6]。相機(jī)通過(guò)外部信號(hào)觸發(fā)控制拍攝以消除不同步帶來(lái)的定位誤差,3路觸發(fā)信號(hào)由同一時(shí)鐘源生成以保證同步,從各相機(jī)I/O口輸入控制曝光。

由于ARM處理器難以快速處理海量的二維圖像數(shù)據(jù),緩存后的圖片數(shù)據(jù)需要傳輸?shù)絇L進(jìn)行并行處理以滿足實(shí)時(shí)性要求。通過(guò)PL端部署的VDMA IP核進(jìn)行傳輸,VDMA模塊將內(nèi)存中的二維圖像數(shù)據(jù)轉(zhuǎn)換為AXI4-Stream接口類型的數(shù)據(jù)流,實(shí)現(xiàn)PL端可編程邏輯和DDR4內(nèi)存之間的高速數(shù)據(jù)訪問(wèn)。

使用VDMA模塊需要添加設(shè)備驅(qū)動(dòng)程序進(jìn)行控制。本文采用物理地址映射的方法,通過(guò)讀寫內(nèi)存來(lái)實(shí)現(xiàn)對(duì)寄存器的控制,實(shí)現(xiàn)用戶空間下對(duì)VDMA模塊的控制。Linux系統(tǒng)中,/dev/mem文件對(duì)全物理內(nèi)存進(jìn)行了抽象,用系統(tǒng)調(diào)用函數(shù)mmap()將物理地址映射到用戶空間中,就能直接在用戶空間操作PL端于AXI總線上掛載的VDMA模塊的寄存器，從而控制數(shù)據(jù)傳輸。這種非驅(qū)動(dòng)控制的方式避免了用戶空間與內(nèi)核空間頻繁的數(shù)據(jù)拷貝,提高了程序的運(yùn)行性能[7]。

2.2 上位機(jī)通信

Zynq平臺(tái)與上位機(jī)的通信依靠以太網(wǎng)口,在Linux環(huán)境下建立TCP連接,通信過(guò)程依賴Socket套接字,平臺(tái)作為服務(wù)器,上位機(jī)作為客戶端。完成Socket的初始化后建立網(wǎng)絡(luò)連接,Zynq平臺(tái)作為客戶端向上位機(jī)發(fā)送請(qǐng)求,上位機(jī)接收到請(qǐng)求命令后向系統(tǒng)發(fā)送不同命令來(lái)控制系統(tǒng)的運(yùn)行,如系統(tǒng)運(yùn)行的開始和停止、一些相機(jī)關(guān)鍵參數(shù)的配置等。處理后的坐標(biāo)數(shù)據(jù)也通過(guò)網(wǎng)口傳輸?shù)缴衔粰C(jī)。

上位機(jī)運(yùn)行用戶界面程序,根據(jù)定位結(jié)果進(jìn)行三維重建,并隨著應(yīng)用場(chǎng)景的不同而導(dǎo)入相應(yīng)的三維模型進(jìn)行實(shí)時(shí)顯示。

3 PL圖像算法設(shè)計(jì)

3.1 預(yù)處理與畸變校正

相機(jī)的成像過(guò)程中,由于鏡頭制造偏差,往往會(huì)引入畸變,導(dǎo)致原始圖像的失真。另外，成像過(guò)程中不可避免地會(huì)引入高頻脈沖噪聲,同樣影響圖片的成像質(zhì)量。對(duì)圖片進(jìn)行濾波和畸變的校正,能有效改善圖片的失真和信噪比,提高檢測(cè)的精度[8]。

圖片的預(yù)處理及畸變校正算法采用高層次綜合方法,通過(guò)Vivado HLS軟件中，針對(duì)FPGA硬件優(yōu)化的圖像處理的庫(kù)函數(shù)實(shí)現(xiàn),庫(kù)函數(shù)將C/C++實(shí)現(xiàn)的代碼轉(zhuǎn)為硬件電路描述語(yǔ)言并綜合成硬件邏輯。算法采用多級(jí)流水線結(jié)構(gòu)實(shí)現(xiàn)，以達(dá)到實(shí)時(shí)處理的效果。

視頻流數(shù)據(jù)通過(guò)AXI4-Stream流式接口輸入中值濾波模塊,中值濾波是一種非線性濾波器,將N×N窗口內(nèi)中心像素以鄰域內(nèi)像素灰度的中位數(shù)代替,能有效對(duì)圖片進(jìn)行平滑處理,濾除椒鹽噪聲。經(jīng)過(guò)濾波后的視頻流輸入畸變校正模塊,模塊根據(jù)預(yù)先標(biāo)定的各相機(jī)內(nèi)參矩陣對(duì)輸入圖片逐像素進(jìn)行校正,采用最近鄰插值方法。

為了實(shí)現(xiàn)對(duì)紅外目標(biāo)的檢測(cè),需要對(duì)圖像進(jìn)行分割,將目標(biāo)與背景區(qū)分開來(lái)。閾值法是圖像分割中基本的方法,實(shí)現(xiàn)簡(jiǎn)單且性能穩(wěn)定[9]。本文系統(tǒng)根據(jù)先驗(yàn)知識(shí)設(shè)定閾值,將灰度小于所設(shè)定閾值的像素視為背景像素,對(duì)圖片進(jìn)行全局的閾值分割。

3.2 灰度重心法提取中心

分割后每幀圖片中僅剩下灰度高于閾值的目標(biāo)像素,視場(chǎng)內(nèi)的多個(gè)紅外目標(biāo)區(qū)域在圖片上體現(xiàn)為多個(gè)獨(dú)立的連通域,在采用灰度重心法提取中心之前需要對(duì)各連通域進(jìn)行標(biāo)記區(qū)分。不同于可以流水線式實(shí)現(xiàn)的圖像濾波等算法,硬件上實(shí)現(xiàn)的連通域標(biāo)記算法往往需要占據(jù)較多的時(shí)間和硬件資源,成為實(shí)時(shí)系統(tǒng)的瓶頸[10]。

由于紅外目標(biāo)在視場(chǎng)中的成像區(qū)域通常比較小,圖片中大部分像素為背景像素,所以，本文基于紅外圖像成像特性和需求，設(shè)計(jì)了一種簡(jiǎn)化的快速連通域標(biāo)記算法。

算法采用游程編碼的思想對(duì)輸入視頻流數(shù)據(jù)同時(shí)進(jìn)行標(biāo)記和特征提取,對(duì)每一行中連續(xù)的目標(biāo)像素進(jìn)行游程編碼,將視頻數(shù)據(jù)流轉(zhuǎn)換成攜帶特征信息的碼流。每個(gè)編碼所包含的信息如圖4代碼所示。

圖4 用于描述特征的游程編碼結(jié)構(gòu)體定義

對(duì)碼流進(jìn)行分析,根據(jù)8鄰域原則判斷編碼流是否連通,若連通則將位置及灰度信息進(jìn)行合并,否則建立新連通域,算法流程如圖5所示。

圖5 灰度重心算法流程

當(dāng)某個(gè)連通域沒(méi)有新的編碼能夠進(jìn)行合并時(shí),該連通域建立完成,此時(shí)進(jìn)行連通域中心的計(jì)算,并將結(jié)果寫入到BRAM模塊

(1)

式中I(x,y)為坐標(biāo)(x,y)的像素點(diǎn)的灰度,S為目標(biāo)連通域,(x0,y0)為計(jì)算得到的灰度中心坐標(biāo)。當(dāng)積累到足夠連通域個(gè)數(shù)或標(biāo)識(shí)幀結(jié)束的編碼到來(lái)時(shí),計(jì)算結(jié)束。

由于計(jì)算模塊需要多個(gè)時(shí)鐘周期進(jìn)行特征合并運(yùn)算,因此，在編碼模塊和計(jì)算模塊之間插入先進(jìn)先出(first-in first-out,FIFO)IP,作為緩沖,用于匹配模塊之間的運(yùn)算速度差異?；诩t外目標(biāo)成像的特點(diǎn),由于目標(biāo)像素個(gè)數(shù)占整幅圖像比例較小,系統(tǒng)實(shí)時(shí)性能夠得到保證。

系統(tǒng)包含3臺(tái)工業(yè)相機(jī),因此，上述預(yù)處理及灰度重心提取算法都需要部署3個(gè)實(shí)例,各實(shí)例并行運(yùn)算,對(duì)同一時(shí)刻各臺(tái)相機(jī)所拍攝圖片進(jìn)行同時(shí)處理。部署算法后的PL端可編程邏輯資源利用率如表1所示。

表1 PL資源占用率

4 實(shí)驗(yàn)與性能分析

基于本文所設(shè)計(jì)的NIR目標(biāo)實(shí)時(shí)檢測(cè)系統(tǒng),針對(duì)種植牙手術(shù)場(chǎng)景中的機(jī)械手上固定的主動(dòng)式紅外靶標(biāo)進(jìn)行實(shí)時(shí)檢測(cè)和后續(xù)的定位實(shí)驗(yàn),測(cè)試系統(tǒng)的精度和穩(wěn)定性,靶標(biāo)上裝有3個(gè)紅外發(fā)光二極管作為發(fā)光標(biāo)記點(diǎn),標(biāo)記點(diǎn)之間距離固定。在完成相機(jī)標(biāo)定后,通過(guò)3臺(tái)相機(jī)對(duì)靶標(biāo)的拍攝,定位3個(gè)標(biāo)記點(diǎn)位置并計(jì)算出靶標(biāo)尖點(diǎn)位置坐標(biāo)。實(shí)驗(yàn)所用靶標(biāo)和其所成的像如圖6所示。

圖6 實(shí)驗(yàn)所用靶標(biāo)實(shí)物及成像

系統(tǒng)以60幀/s的速率處理3臺(tái)相機(jī)同步拍攝的2 048像素×1 088像素分辨率的近紅外圖片。標(biāo)記點(diǎn)經(jīng)過(guò)本文系統(tǒng)實(shí)時(shí)檢測(cè)并確定位置后,根據(jù)本課題組先前對(duì)三目立體視覺(jué)匹配算法的研究工作[11],可以在上位機(jī)實(shí)時(shí)計(jì)算出靶標(biāo)尖點(diǎn)的世界坐標(biāo)位置,從而完成對(duì)靶標(biāo)尖點(diǎn)的實(shí)時(shí)定位。

進(jìn)行定位后的靶標(biāo)實(shí)時(shí)顯示在上位機(jī)界面,同時(shí)顯示的還有導(dǎo)入的被作為測(cè)量物的模型作為參考系,系統(tǒng)上位機(jī)程序界面如圖7所示。

圖7 系統(tǒng)上位機(jī)程序界面

實(shí)驗(yàn)對(duì)系統(tǒng)的檢測(cè)效果和定位精度進(jìn)行了評(píng)估,采用標(biāo)記點(diǎn)間相對(duì)偏差的標(biāo)準(zhǔn)差進(jìn)行量化,在靶標(biāo)平移及旋轉(zhuǎn)的運(yùn)動(dòng)姿態(tài)下,統(tǒng)計(jì)視場(chǎng)為824 mm×437 mm,景深為540～1 380 mm范圍內(nèi)50張圖片中3個(gè)標(biāo)記點(diǎn)間距離的標(biāo)準(zhǔn)差,如表2所示。

表2 各標(biāo)記點(diǎn)間精度結(jié)果 mm

5 結(jié)束語(yǔ)

本文研制了一種高精度的實(shí)時(shí)NIR目標(biāo)檢測(cè)系統(tǒng),該系統(tǒng)能夠應(yīng)用于基于三目立體視覺(jué)的光學(xué)定位應(yīng)用中。通過(guò)Zynq平臺(tái)軟硬件協(xié)同設(shè)計(jì)及高層次綜合的方法，實(shí)現(xiàn)了實(shí)時(shí)的圖像采集、預(yù)處理、閾值分割及特征提取等模塊設(shè)計(jì),傳輸和處理速率達(dá)到了60幀/s,最終對(duì)特定靶標(biāo)尖點(diǎn)定位精度達(dá)到0.093 8 mm,能夠滿足手術(shù)導(dǎo)航場(chǎng)景中的高精度、高實(shí)時(shí)性要求,該系統(tǒng)也易于推廣到其他光學(xué)定位應(yīng)用場(chǎng)景中。