李乃乾 劉楊

摘 要： 針對(duì)路亞運(yùn)動(dòng)中需要對(duì)捕獲魚的長(zhǎng)度進(jìn)行測(cè)量的問題，本文是基于iOS平臺(tái)上對(duì)目標(biāo)做出識(shí)別進(jìn)而測(cè)量出物體的長(zhǎng)度。主要是通過OpenCV在iOS中對(duì)手機(jī)拍攝的魚尺照片做出高精度的識(shí)別，保證能夠快速、準(zhǔn)確地對(duì)目標(biāo)進(jìn)行識(shí)別，同時(shí)既要保證高精度的測(cè)量尺寸的大小，還要保證同場(chǎng)競(jìng)技過程中的公平性。實(shí)驗(yàn)結(jié)果是測(cè)量誤差降到最低。

關(guān)鍵詞： iOS平臺(tái)；路亞運(yùn)動(dòng)；OpenCV；目標(biāo)識(shí)別；長(zhǎng)度測(cè)量

Abstract：In view of the problem that the fishes need to be measured in the Lure movement this paper is based on the iOS platform to identify the target and then measure the length of the object. It is mainly through the high-accuracy identification of fish feet photos taken by OpenCV in iOS not only to ensure that the target can be identified quickly and accurately but also to ensure the accuracy of the measurement size and ensure the fairness in the same field competition. The result of the experiment is that the measurement error is reduced to the lowest.

Key words： iOS platform；Lure fishing；OpenCV；target recognition；length measurement

引言

中國(guó)越來越多的人喜歡路亞運(yùn)動(dòng)，為了給海釣運(yùn)動(dòng)者們創(chuàng)造一個(gè)共同競(jìng)技的平臺(tái)，不受地域范圍、場(chǎng)地限制地享受釣魚運(yùn)動(dòng)的競(jìng)技樂趣，本次研究通過基于OpenCV的iOS移動(dòng)終端實(shí)現(xiàn)對(duì)目標(biāo)的識(shí)別，從而快速、高精度地測(cè)量出物體的長(zhǎng)度。

作為一個(gè)主流的計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)庫(kù)，OpenCV不但可以在多個(gè)操作系統(tǒng)上運(yùn)行，而且可以靈活嵌入于物理世界的實(shí)時(shí)應(yīng)用中。因其主要是輕量級(jí)而且高效，并由一系列 C 函數(shù)和少量 C++ 類構(gòu)成，對(duì)Python、Ruby、Matlab等語言均提供了可以調(diào)用的接口，這就在有關(guān)圖片視頻處理、圖像識(shí)別、機(jī)器學(xué)習(xí)等應(yīng)用研究方面占據(jù)了獨(dú)特優(yōu)勢(shì)。從設(shè)計(jì)原理來說，其實(shí)就是在開發(fā)一個(gè)通行可用的計(jì)算機(jī)視覺庫(kù)，為基本的視覺應(yīng)用提供開放且優(yōu)化的源代碼，使開發(fā)者在這個(gè)通用的架構(gòu)上展開后續(xù)進(jìn)一步操作。OpenCV已經(jīng)設(shè)計(jì)成為具備可移植性的庫(kù)，其代碼可以由主流編譯器進(jìn)行編譯 故而能夠運(yùn)行于大多數(shù)的商業(yè)系統(tǒng)。本文中通過采用OpenCV在iOS中對(duì)魚尺牌進(jìn)行高精度的識(shí)別，而將其作為釣魚運(yùn)動(dòng)的直接競(jìng)技判定標(biāo)準(zhǔn)。

1 目標(biāo)識(shí)別

OpenCV在iOS中對(duì)魚尺牌進(jìn)行高精度的識(shí)別，來作為釣魚運(yùn)動(dòng)切實(shí)直接的競(jìng)技判定標(biāo)準(zhǔn)。在對(duì)目標(biāo)識(shí)別的過程中，OpenCV的圖像識(shí)別就是對(duì)特征點(diǎn)的采取。首先，提取識(shí)別圖像中的特征點(diǎn)，同時(shí)判定每個(gè)圖像中的點(diǎn)是否歸屬同一個(gè)圖像特征；然后，提取在圖像中突出且具代表意義的一些點(diǎn)，便可以用來識(shí)別圖像。具體來說，Harris、ShiTomasi、亞像素級(jí)、SURF、Star關(guān)鍵點(diǎn)、FAST關(guān)鍵點(diǎn)、Lepetit關(guān)鍵點(diǎn)是OpenCV中的主要提取方法。經(jīng)過對(duì)照與比較研究可知，SURF算法運(yùn)算簡(jiǎn)單并且效率更高，為此將使用圖像SURF特征進(jìn)行拼接。

1.1 基本原理

SURF（Speeded Up Robust Features）是SIFT檢測(cè)算法的改進(jìn)版。重點(diǎn)是通過基于尺度空間理論來提取特征點(diǎn)，也就是通過檢測(cè)圖像局部極值點(diǎn)并定位到特征點(diǎn)的位置坐標(biāo)，即局部的最亮點(diǎn)或最暗點(diǎn)。

1.2 算法流程

1.2.1 構(gòu)造Hessian矩陣，計(jì)算特征值α

SURF與SIFT的不同之處有很多，關(guān)鍵一點(diǎn)就是SIFT采用了DOG圖像，而SURF采用了Hessian矩陣行列式中的近似值圖像。這里，隨即給出了圖像中一個(gè)像素點(diǎn)的Hessian矩陣的數(shù)學(xué)表述如下：

由于求解Hessian時(shí)要先進(jìn)行高斯平滑，再通過對(duì)二階導(dǎo)數(shù)求導(dǎo)，使模板卷積形成離散的像素點(diǎn)，這2種操作結(jié)合后只用一個(gè)模板代替就可以了。比如說，Y方向上的模版即如圖1所示。圖1展示了9×9方框?yàn)V波掩膜版，其中灰色部分掩膜版值為0，對(duì)應(yīng)二階高斯濾波系數(shù)σ=1.2，方框?yàn)V波模板和圖像卷積運(yùn)算后的值則分別標(biāo)記為L(zhǎng)xx、Lxy、Lyy。

有了這個(gè)近似的模板后，計(jì)算高斯濾波和二階導(dǎo)數(shù)兩個(gè)步驟就可以合并為一個(gè)步驟完成。同時(shí)，又引入了積分圖像，因此更提高了運(yùn)算效率。

1.2.2 構(gòu)造高斯金字塔

研究可知，在SIFT算法的高斯金字塔構(gòu)造過程中，SIFT算法的速度獲得了進(jìn)一步的提升。在SIFT算法中，每一組（octave）圖像的大小是不同的，下一組是上一組圖像的降采樣（1/4大?。坏诿恳唤M內(nèi)部，彼此的圖像大小是一樣的，不同的只是其中采用的尺度σ的不同。而且在模糊過程中，與其關(guān)聯(lián)的高斯模板大小總是不變的，就是尺度σ會(huì)發(fā)生改變。對(duì)于SURF而言，圖像的大小保持固定不變，改變的只是高斯模糊模板的尺寸，然而尺度σ也是會(huì)存在一定改變的。

圖2（a）是高斯模板保持不變、圖像大小改變的情況，因此對(duì)SIFT算法比較適用。圖2（b）是高斯模板做出了改變、圖像大小固定的情況，因此對(duì)SURF算法比較合適。究其原因在于SURF算法沒有降采樣的過程，就使得處理速度得到提高。

1.2.3 定位特征點(diǎn)

首先，對(duì)特征點(diǎn)進(jìn)行初步定維。如圖3所示，將經(jīng)過Hessian矩陣處理后的每個(gè)像素點(diǎn)與其三維領(lǐng)域的26個(gè)點(diǎn)大小進(jìn)行比較。比較后發(fā)現(xiàn)，如果這是26個(gè)點(diǎn)中比較后得到的極值，便保留下來，并作為初步的特征點(diǎn)。

然后，與SIFT算法類似，通過三維線性插值法的運(yùn)算處理將會(huì)得到亞像素級(jí)點(diǎn)，同時(shí)也會(huì)濾掉小于一定閾值的點(diǎn)。增加極值使檢測(cè)到的特征點(diǎn)數(shù)量減少，最終只有幾個(gè)特征最強(qiáng)點(diǎn)會(huì)被檢測(cè)出來。

1.2.4 確定特征點(diǎn)主方向

為了保證旋轉(zhuǎn)的不變性，SURF中對(duì)梯度直方圖不予標(biāo)記，然而卻需標(biāo)記特征點(diǎn)鄰域中的Harr小波特征。也就是將特征點(diǎn)作為中心，接下來會(huì)計(jì)算半徑為6s（s為特征點(diǎn)所在的相應(yīng)尺度值）的鄰域內(nèi)，即匯總統(tǒng)計(jì)扇形內(nèi)60°的點(diǎn)在水平和垂直方向的Haar小波回應(yīng)的總和（Haar小波長(zhǎng)取4s），并為這些回應(yīng)值賦予了高斯權(quán)重系數(shù)，使得靠近特征點(diǎn)的回應(yīng)貢獻(xiàn)大，而遠(yuǎn)離特征點(diǎn)的回應(yīng)貢獻(xiàn)小。與此同時(shí)，60°范圍內(nèi)的回應(yīng)相加后便形成新的矢量，遍歷整個(gè)圓形區(qū)域。再以此為基礎(chǔ)，選擇最長(zhǎng)矢量的方向設(shè)定為該特征點(diǎn)的主方向。然而，對(duì)特征點(diǎn)中的數(shù)值展開計(jì)算后，就會(huì)得到特征點(diǎn)的主方向。綜上可得，繪制該過程則如圖4所示。

1.2.5 構(gòu)造特征描述子

在特征點(diǎn)周圍取一個(gè)正方形框，正方形的邊長(zhǎng)為20s（s是過程檢測(cè)到該特征點(diǎn)所在的尺度）。該正方形是帶方向的，方向就是1.2.4節(jié)測(cè)試出來的主方向。通過把該框分為16個(gè)子區(qū)域，每個(gè)子區(qū)域統(tǒng)計(jì)25個(gè)像素的水平方向和垂直方向的haar小波特征，再利用主方向的相對(duì)位置，從而判斷出水平方向和垂直方向。該haar小波特征為水平方向值之和，水平方向絕對(duì)值之和、垂直方向值之和、垂直方向絕對(duì)值之和。基于上文內(nèi)容，推得這一特征構(gòu)造過程可如圖5所示。

這樣，每個(gè)小區(qū)域就會(huì)包含4個(gè)值，對(duì)于每個(gè)特征點(diǎn)是16*4=64維向量，相較SIFT而言，就減少了一半，這在特征匹配過程中會(huì)大大加快匹配的速度。

至此可得 SURF采用Henssian矩陣獲取圖像局部的極值仍可堪稱穩(wěn)定。在得到主方向的過程中，由于局部區(qū)域像素梯度方向的不可或缺，就有可能找到不準(zhǔn)確的主方向，后面特征向量的提取以及匹配卻都依托于找到的主方向，即使只有些許的角度偏差也將導(dǎo)致后面特征匹配會(huì)出現(xiàn)較大誤差，從而使得匹配并不成功；另外，圖像金字塔的層數(shù)選取未臻緊密也會(huì)使得尺度存在誤差，后面的特征向量提取過程同樣會(huì)依賴相應(yīng)的尺度，在這個(gè)問題上只能采用折中的解決方法，即：通過選取適量的層數(shù)來進(jìn)行下一步的插值運(yùn)算。

1.3 性能比較

實(shí)驗(yàn)中，通過對(duì) SIFT、PCA-SIFT和 SURF三種方法給出了性能上的測(cè)試比較。源圖片來自Graffiti dataset，對(duì)原始圖像進(jìn)行尺度、旋轉(zhuǎn)、模糊、亮度、仿射變換等一系列的設(shè)計(jì)處理后，再與原圖像進(jìn)行匹配，統(tǒng)計(jì)匹配的效果，并將可重復(fù)出現(xiàn)性作為評(píng)價(jià)指標(biāo)。測(cè)試對(duì)比結(jié)果可見表1。

由表1可知，SIFT在尺度和旋轉(zhuǎn)變換的情況下得到了良好效果；SURF在亮度變化下匹配實(shí)現(xiàn)效果較好，模糊效果的處理要優(yōu)于SIFT，而尺度和旋轉(zhuǎn)的變換則不如SIFT，旋轉(zhuǎn)不變上卻要明顯遜色于SIFT。而在算法速度上，SURF比SIFT速度則高了3倍。

2 自定義相機(jī)

作為專用的目標(biāo)識(shí)別并可測(cè)量長(zhǎng)度的相機(jī)，當(dāng)魚尺相機(jī)在可識(shí)別區(qū)域檢測(cè)到目標(biāo)后，就會(huì)生成可移動(dòng)的標(biāo)尺，用戶在手機(jī)屏幕上拖拽滑移標(biāo)尺校對(duì)測(cè)量物的尺寸，同時(shí)屏幕左下角也隨即顯示出實(shí)際尺寸，最后保存到本地相冊(cè)。因此，熟悉iOS相機(jī)拍攝原理 且通過AVFoundation框架自定義相機(jī)，成功制作了內(nèi)置魚尺的拍照相機(jī)。

具體來說，AVFoundation是一個(gè)Object-C媒體數(shù)據(jù)中的高級(jí)框架。AVFoundation的構(gòu)建考慮到了目前的硬件環(huán)境和應(yīng)用程序，其設(shè)計(jì)過程高度依賴多線程機(jī)制。充分利用了多核硬件的優(yōu)勢(shì)并大量使用block和GCD機(jī)制，將復(fù)雜的計(jì)算機(jī)進(jìn)程部署到后臺(tái)線程來集中處理。會(huì)自動(dòng)輔設(shè)硬件加速操作，確保在大部分設(shè)備上應(yīng)用程序能以最佳性能運(yùn)行。該框架的設(shè)計(jì)主要是針對(duì)64位處理器，因而能夠發(fā)揮64位處理器的全部?jī)?yōu)勢(shì)。AVFoundation 框架是基于一些功能設(shè)計(jì)類來實(shí)現(xiàn)圖像的捕捉過程，通過這些類可以訪問來自相機(jī)設(shè)備的原始數(shù)據(jù)并且控制其相關(guān)組件。為此，針對(duì)主要類的功能解析可闡釋如下：

（1）AVCaptureDevice 的接口是關(guān)于相機(jī)的硬件。主要用于控制硬件特性，諸如鏡頭的位置、曝光、閃光燈等。

（2）AVCaptureDeviceInput 的接口是提供來自設(shè)備中的數(shù)據(jù)信息。需要使用AVCaptureDeviceInput讓設(shè)備添加到session中，使用 AVCaptureDeviceInput掌控管理設(shè)備。

（3）AVCaptureOutput作為一個(gè)抽象的類，用來描述capturesession 的結(jié)果。這里，研究給出了3種關(guān)于靜態(tài)圖片捕捉的通用子類，分別是：捕捉靜態(tài)圖片，AVCaptureStillImageOutput、啟用檢測(cè)人臉和二維碼，AVCaptureMetadataOutput、實(shí)時(shí)預(yù)覽圖提供原始幀，AVCaptureVideoDataOutput。

（4）AVCaptureSession 的接口。是管理輸入與輸出之間的數(shù)據(jù)流和在出現(xiàn)問題時(shí)來捕獲運(yùn)行時(shí)錯(cuò)誤。

（5）AVCaptureVideoPreviewLayer作為 CALayer的子類，可以用于顯示相機(jī)并攝取實(shí)時(shí)的圖像。除此之外，也還涉及了數(shù)個(gè)工具性質(zhì)的方法，可將 layer 上的坐標(biāo)轉(zhuǎn)化到設(shè)備上。

3 實(shí)驗(yàn)結(jié)果

通過代碼編程、并經(jīng) Xcode 運(yùn)行通過，安裝到手機(jī)端來展開效果測(cè)試。測(cè)試后得知，能夠快速、準(zhǔn)確地對(duì)目標(biāo)進(jìn)行識(shí)別，同時(shí)手機(jī)屏幕上產(chǎn)生可移動(dòng)的標(biāo)尺用來測(cè)量物體的尺寸，屏幕左下角便會(huì)生成實(shí)際尺寸，最后保存到本地相冊(cè)，而且也用較低的誤差測(cè)量出尺寸的大小。實(shí)驗(yàn)仿真結(jié)果如圖6所示。

4 結(jié)束語

實(shí)驗(yàn)結(jié)果表明，Xcode中使用OpenCV來研發(fā)實(shí)現(xiàn)在移動(dòng)設(shè)備上的實(shí)時(shí)圖像處理，能夠快速、準(zhǔn)確地對(duì)目標(biāo)進(jìn)行識(shí)別，測(cè)量誤差也非常小。

參考文獻(xiàn)

[1] 黎松，平西建，丁益洪. 開放源代碼的計(jì)算機(jī)視覺類庫(kù)OpenCv的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用與軟件，2005，22（8）：134-136.

[2] 何鵬，王連鵬，楚艷紅. 基于OpenCV的機(jī)器視覺在智能手機(jī)中的應(yīng)用[J]. 計(jì)算機(jī)工程與設(shè)計(jì)，2011，32（8）：2901-2904.

[3] 陳雪嬌. 基于OpenCV的計(jì)算機(jī)視覺技術(shù)研究[J]. 電腦知識(shí)與技術(shù)，2015，11（30）：137-138，141.

[4] 陰法名. 基于OpenCV圖像處理[J]. 科技信息，2009（32）：220.

[5] 張家怡. 圖像識(shí)別的技術(shù)現(xiàn)狀和發(fā)展趨勢(shì)[J]. 電腦知識(shí)與技術(shù) 2010，6（21）：6045-6046.

[6] 胡輝. IOS環(huán)境下使用MVC模式進(jìn)行APP開發(fā)的設(shè)計(jì)思路探索[J]. 數(shù)字技術(shù)應(yīng)用，2015（6）：204，206.

[7] GALLOWAY M. Effective Objective-C 2.0：編寫高質(zhì)量iOS與OS X代碼的52個(gè)有效方法[M]. 愛飛翔，譯. 北京：機(jī)械工業(yè)出版社，2014.

[8] KNASTER S，MALIK W，DALRYMPLE M . Objective-C基礎(chǔ)教程[M]. 2版. 周慶成，譯. 北京：人民郵電出版社，2013.

[9] LOSSEF S V SCHWARTZ L H. Computerized literature reference system： Use of an optical scanner and optical character recognition software[J]. American Journal of Roentgenology，1990，155（3）：617-619.

[10]KIM D LEE V W CHEN Y K. Image processing on multicore x86 architectures[J] . IEEE Signal Processing Magazine 2010，27（2）：97-107.

[11]王福斌，李迎燕，劉杰，等. 基于OpenCV的機(jī)器視覺圖像處理技術(shù)實(shí)現(xiàn)[J]. 機(jī)械與電子，2010（6）：54-57.

[12]YAMADA S MURASE K. Effectiveness of flexible noise control image processing for digital portal images using computed radiography[J]. The British Journal of Radiology，2005，78（930）：519-527.