楊淞文 沙玲 歐俊臣
摘 要: 隨著智能手機(jī)的普及,人們對(duì)手機(jī)配件的需求也越來(lái)越大,特別是手機(jī)殼。文章基于達(dá)芬奇技術(shù)的DM6446視頻圖像處理平臺(tái),采用機(jī)器視覺(jué)檢測(cè)的方法,實(shí)現(xiàn)了手機(jī)殼尺寸檢測(cè)的功能。該系統(tǒng)由OV9650攝像頭拍攝圖像,TMS320DM6446圖像處理芯片進(jìn)行圖像處理,主要進(jìn)行了連通域檢測(cè),圖像灰度化,圖像增強(qiáng),邊緣檢測(cè)等處理,進(jìn)而通過(guò)計(jì)算得出手機(jī)殼的尺寸。
關(guān)鍵詞: 機(jī)器視覺(jué); 嵌入式; 尺寸檢測(cè); TMS320DM6446; OV9650
中圖分類號(hào):TP29 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1006-8228(2019)03-26-03
Mobile phone shell size detection system based on embedded vision
Yang Songwen, Sha Ling, Ou Junchen
(Mechanical and Automotive Engineering College, Shanghai University of Engineering Science, Shanghai 201620, China)
Abstract: With the popularity of smart phones, people are increasingly demanding mobile phone accessories, especially mobile phone shell. In this paper, based on DaVinci technology DM6446 video image processing platform, machine vision detection method is used to realize the function of cell phone shell size detection. The system uses OV9650 camera to take images and TMS320DM6446 image processing chip to process images. It mainly carries out connected area detection, image graying, image enhancement, edge detection and other processing, and then calculates the size of mobile phone shell.
Key words: machine vision; embedded; size detection; TMS320DM6446; OV9650
0 引言
日常生活中,多數(shù)人習(xí)慣在使用智能手機(jī)時(shí)使用手機(jī)殼,隨著智能手機(jī)的普及,手機(jī)殼的需求量也越來(lái)越大。手機(jī)殼的尺寸是衡量一款手機(jī)是否合格的重要標(biāo)準(zhǔn),傳統(tǒng)的機(jī)器視覺(jué)一般由一臺(tái)電腦作為上位機(jī),電腦雖然計(jì)算速度快,但其體積龐大,價(jià)格高昂,對(duì)于尺寸檢測(cè)這樣的圖像處理應(yīng)用場(chǎng)景,電腦的處理性能大大超過(guò)了圖像處理的需求,而嵌入式產(chǎn)品具有價(jià)格低、體積小、專用性強(qiáng)、功耗小、運(yùn)用靈活、軟硬件可裁剪、集成度高等優(yōu)點(diǎn)[1],更適合應(yīng)用于手機(jī)殼的檢測(cè)。
1 機(jī)器視覺(jué)國(guó)內(nèi)發(fā)展情況
目前在國(guó)內(nèi),機(jī)器視覺(jué)仍處于成長(zhǎng)期,機(jī)器視覺(jué)產(chǎn)品普及還不夠廣泛。隨著近年來(lái)我國(guó)經(jīng)濟(jì)的發(fā)展,技術(shù)的不斷積累與升級(jí),各行業(yè)對(duì)機(jī)器視覺(jué)的需求增強(qiáng)。國(guó)內(nèi)許多研究機(jī)構(gòu)及高校也在機(jī)器視覺(jué)方面投入了大量的資金與時(shí)間,進(jìn)行不斷的嘗試和創(chuàng)新,現(xiàn)在他們的研究成果已有很多被投入到生產(chǎn)中。影響機(jī)器視覺(jué)發(fā)展的因素有很多,如經(jīng)濟(jì)、技術(shù)等因素,但是起決定作用的還是制造業(yè)的自身發(fā)展。隨著我國(guó)制造業(yè)的升級(jí),各行業(yè)對(duì)機(jī)器視覺(jué)提出的要求越來(lái)越高,這決定了機(jī)器視覺(jué)由單純的采集、分析、傳遞數(shù)據(jù)、判斷動(dòng)作,逐漸朝著開(kāi)放性的方向發(fā)展,這也預(yù)示著機(jī)器視覺(jué)將朝著更加智能化的方向發(fā)展[2],它與自動(dòng)化的結(jié)合將會(huì)更加緊密。
2 系統(tǒng)總體方案
本文設(shè)計(jì)的基于嵌入式機(jī)器視覺(jué)的手機(jī)殼尺寸檢測(cè)系統(tǒng)主要由機(jī)器視覺(jué)和機(jī)械控制系統(tǒng)兩大子系統(tǒng)組成。應(yīng)用圖像采集器(工業(yè)相機(jī))和嵌入式處理器組成視覺(jué)檢測(cè)系統(tǒng)。由傳動(dòng)裝置、機(jī)械臂組成機(jī)械系統(tǒng)。檢測(cè)系統(tǒng)進(jìn)行圖像采集處理之后將識(shí)別結(jié)果傳輸?shù)綑C(jī)械系統(tǒng),機(jī)械系統(tǒng)根據(jù)識(shí)別結(jié)果,通過(guò)機(jī)械臂將檢測(cè)出的不合格手機(jī)殼剔除出來(lái)??傮w結(jié)構(gòu)如圖1所示。
3 硬件設(shè)計(jì)
采用TMS320DM6446做主控芯片,這款芯片是一款高度集成的視頻音頻圖像處理芯片,由德州儀器公司于2005年推出,它由兩個(gè)CPU核構(gòu)成,分別是控制圖像采集、圖像傳輸、圖像存儲(chǔ)、圖像顯示以及機(jī)械臂控制的ARM與負(fù)責(zé)圖像數(shù)據(jù)處理分析的DSP[3]。其系統(tǒng)組成如圖2所示。
攝像頭采用的是OmniVision公司生產(chǎn)的攝像頭OV9650,這種攝像頭具有許多優(yōu)良的特性,例如功耗低、分辨率高和敏感度高,它的最高分辨率可達(dá)1300*1028像素,并且支持大多數(shù)的圖像格式以及支持自動(dòng)圖像控制[4]。
4 軟件設(shè)計(jì)
本系統(tǒng)使用的軟件是TI公司的Code Composer Studio Vision3.3,即代碼設(shè)計(jì)工作室所設(shè)計(jì)。它是美國(guó)德州儀器TI公司推出的專門用于開(kāi)發(fā)TMS320系列DSP的集成開(kāi)發(fā)環(huán)境。設(shè)計(jì)出來(lái)的流程圖如圖3所示。
5 圖像處理
5.1 連通域檢測(cè)
首先采用連通域檢測(cè)的辦法,從照片中找到手機(jī)殼所在區(qū)域。連通域是指圖像上像素值相似的區(qū)域。連通域檢測(cè)的方法常用的是兩遍掃描法,Seed-Filling種子填充法等,本文采用的是兩遍掃描法尋找連通域,該方法就如它的名字一樣,就是通過(guò)掃描兩遍圖像,找出圖像上的連通區(qū)域,并為其做出標(biāo)記。這種方法的思路是在第一遍掃描圖像時(shí),給每一個(gè)像素賦予一個(gè)label值。這樣在進(jìn)行掃描時(shí),在一個(gè)連通區(qū)域就有可能被一個(gè)或多個(gè)label值所標(biāo)記,所以就需要把這些在同一連通域的標(biāo)記合并,就是把他們之間的相等關(guān)系記錄下來(lái);第二遍掃描就是將相等的equal_labels所標(biāo)記的像素認(rèn)為是一個(gè)連通區(qū)域并給他們一個(gè)相同的label值(label一般是equal_labels中的最小值)[5]。
5.2 灰度變換
數(shù)字圖像由像素點(diǎn)排列組成。不同格式的圖像,其每個(gè)像素點(diǎn)所占的空間大小也是不同的。在灰度圖像中,只要8位二進(jìn)制就可以表示一個(gè)像素,但是在彩色圖像中,每個(gè)像素卻需要24位二進(jìn)制才能表示[6]。因此,彩色圖像需要占據(jù)大量的存儲(chǔ)空間,這對(duì)系統(tǒng)的傳輸信道帶寬、傳輸速率、圖像處理速率、存儲(chǔ)空間上有著很高的性能要求。所以要對(duì)圖像進(jìn)行灰度處理,本文使用的是RGB與YCbCr轉(zhuǎn)換,公式如下:
5.3 邊緣檢測(cè)
邊緣檢測(cè)的方法有很多,常見(jiàn)的有Robert算子,Prewitt算子,LOG濾波器,canny算子等等。考慮到實(shí)際的問(wèn)題,本文采用的是Canny邊緣檢測(cè),此方法是在1986年由JohnF.Canny提出,它是一個(gè)由四步構(gòu)成的算法。
首先,為了減少后面檢測(cè)時(shí)的噪聲影響,先用一個(gè)5x5的高斯濾波器去除噪聲。
然后,對(duì)濾波后的圖像進(jìn)行水平方向和豎直方向的一階求導(dǎo),也就是求其圖像梯度Gx與Gy,這里使用的是Sobel算子。然后根據(jù)公式計(jì)算出邊界的梯度和方向,公式如下:
接著,對(duì)整副圖像進(jìn)行掃描,去除那些不在邊界上的點(diǎn)。然后檢查每一個(gè)像素,看看這個(gè)像素點(diǎn)是不是它所在鄰域中梯度方向最大的點(diǎn),檢測(cè)完后我們就可以得到一個(gè)包含“窄邊界”的二值圖像[7]。
最后,設(shè)置上限值和下限值。我們將圖像的灰度梯度與上/下限做比較,如果高于上限值,那么就可以認(rèn)為這里是真的邊界,如果小于下限值,就認(rèn)為這不是邊界,如果某個(gè)點(diǎn)剛好處于上、下限之間,則進(jìn)一步判斷它是否在我們已經(jīng)判斷出來(lái)的邊界上,如果在,那么它也是邊界,如果不在,那么它就不是。在本文中所使用的上、下限為200、500。用這兩個(gè)值可以清楚的分辨出邊界,原圖和經(jīng)過(guò)處理的邊界圖如圖4所示。
得到邊緣圖后遍歷像素的值,記錄下物體邊緣的坐標(biāo),通過(guò)對(duì)應(yīng)的計(jì)算公式,得到手機(jī)殼的尺寸。在得到圖像的像素點(diǎn)所在位置和被測(cè)物體的空間的相對(duì)尺寸后,通過(guò)圖像信息處理進(jìn)行成像縮小比計(jì)算,并最終在此基礎(chǔ)上進(jìn)行圖像的信息重建[8]。
6 結(jié)論
本系統(tǒng)采用了TI公司的DM6446圖像處理平臺(tái),充分利用其雙核架構(gòu)中DSP端強(qiáng)大的數(shù)據(jù)處理能力和ARM端的控制優(yōu)勢(shì),并利用相關(guān)的圖像處理技術(shù)設(shè)計(jì)出了性價(jià)比較高、穩(wěn)定性好、實(shí)時(shí)性好的手機(jī)殼檢測(cè)系統(tǒng),實(shí)現(xiàn)了嵌入式機(jī)器視覺(jué)技術(shù)對(duì)手機(jī)殼尺寸的實(shí)時(shí)檢測(cè)。其相對(duì)于傳統(tǒng)的機(jī)器視覺(jué)有兩大優(yōu)點(diǎn):①成本低廉;②占用工作區(qū)域空間小。此嵌入式機(jī)器的視覺(jué)尺寸檢測(cè)系統(tǒng)不僅適用于大批量的手機(jī)殼尺寸檢測(cè),在對(duì)其圖像處理程序更改后,還可為其他產(chǎn)品或零件做檢測(cè)。
參考文獻(xiàn)(References):
[1] 李林,王帥,姜樹明,劉曉輝,劉向陽(yáng),魏志強(qiáng).基于嵌入式的圖
像測(cè)量系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].山東科學(xué),2010.23(4):65-67
[2] 機(jī)器視覺(jué)最新技術(shù)動(dòng)態(tài)[J].中國(guó)光學(xué),2013.6(1):123
[3] 楊亞.嵌入式小模數(shù)齒輪缺陷視覺(jué)檢測(cè)系統(tǒng)的研究[D].重慶
理工大學(xué),2018.
[4] 徐海寶,杜偉龍,曹江濤.基于ARM-Linux多功能機(jī)器人的設(shè)
計(jì)[J].電子設(shè)計(jì)工程,2014.22(17):19-21,25
[5] 王斌.基于單目視覺(jué)移動(dòng)拍攝的手勢(shì)識(shí)別技術(shù)研究[D].南京
航空航天大學(xué),2016.
[6] 宋瑞祥,帥毓廷,吳醒樂(lè),石文斌,朱麗軍.基于嵌入式機(jī)器視
覺(jué)圖像二值化算法及實(shí)現(xiàn)[J].科技創(chuàng)新與應(yīng)用,2016.26:71
[7] 王保軍,趙海清,劉超.基于Canny算子改進(jìn)的邊緣檢測(cè)算法[J].
科學(xué)技術(shù)創(chuàng)新,2018.27:13-14
[8] 邢沖.基于激光測(cè)距和圖像處理的尺寸檢測(cè)系統(tǒng)設(shè)計(jì)[J].科
技資訊,2017.15(26):2-3