房曉楠

基于3D機(jī)器視覺(jué)技術(shù)的機(jī)械臂可以在制造業(yè)中實(shí)現(xiàn)智能作業(yè)，木地板生產(chǎn)線智能化檢測(cè)設(shè)備可以代替人力，實(shí)現(xiàn)連續(xù)、穩(wěn)定的質(zhì)量檢測(cè)，極大地提高生產(chǎn)效率。在如何利用AI賦能傳統(tǒng)行業(yè)的問(wèn)題上，浙江智慧視頻安防創(chuàng)新中心用實(shí)際行動(dòng)給出了答案。

報(bào)告顯示，2019年，全球機(jī)器人市場(chǎng)規(guī)模高達(dá)294億美元，其中工業(yè)機(jī)器人市場(chǎng)規(guī)模為159億美元，占比為54.1%。沒(méi)有迷人的外形、甜美的聲音，工業(yè)機(jī)器人也許不像服務(wù)機(jī)器人那樣招人喜歡，但它卻在工業(yè)自動(dòng)化中扮演著重要角色。傳統(tǒng)意義上的工業(yè)自動(dòng)化，工業(yè)機(jī)器人只能在控制系統(tǒng)的指揮下，重復(fù)特定的動(dòng)作流程完成加工，這也就意味著產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個(gè)機(jī)械系統(tǒng)的精度。而在加工過(guò)程中，諸如不可預(yù)測(cè)的震動(dòng)、產(chǎn)品在工位間傳送發(fā)生偏移等隨機(jī)誤差的產(chǎn)生在所難免。此外，隨著產(chǎn)品生產(chǎn)序列日益繁瑣、復(fù)雜，市場(chǎng)對(duì)于工業(yè)機(jī)器人提出了更高的要求。然而，上述這些問(wèn)題對(duì)于“看不見(jiàn)東西”的工業(yè)機(jī)器人來(lái)說(shuō)，解決起來(lái)尤為困難。

那么，如果機(jī)器人有了“眼睛”，這些問(wèn)題是不是就迎刃而解了？也許，浙江智慧視頻安防創(chuàng)新中心可以給出答案。

浙江智慧視頻安防創(chuàng)新中心（簡(jiǎn)稱“創(chuàng)新中心”）由北京大學(xué)信息技術(shù)高等研究院發(fā)起，海康威視、大華、阿里云、北京大學(xué)報(bào)告顯示，2019年，全球機(jī)器人市場(chǎng)規(guī)模高達(dá)294億美元，其中工業(yè)機(jī)器人市場(chǎng)規(guī)模為159億美元，占比為54.1%。沒(méi)有迷人的外形、甜美的聲音，工業(yè)機(jī)器人也許不像服務(wù)機(jī)器人那樣招人喜歡，但它卻在工業(yè)自動(dòng)化中扮演著重要角色。傳統(tǒng)意義上的工業(yè)自動(dòng)化，工業(yè)機(jī)器人只能在控制系統(tǒng)的指揮下，重復(fù)特定的動(dòng)作流程完成加工，這也就意味著產(chǎn)品加工精度的保障依賴于控制系統(tǒng)的穩(wěn)定性與整個(gè)機(jī)械系統(tǒng)的精度。而在加工過(guò)程中，諸如不可預(yù)測(cè)的震動(dòng)、產(chǎn)品在工位間傳送發(fā)生偏移等隨機(jī)誤差的產(chǎn)生在所難免。此外，隨著產(chǎn)品生產(chǎn)序列日益繁瑣、復(fù)雜，市場(chǎng)對(duì)于工業(yè)機(jī)器人提出了更高的要求。然而，上述這些問(wèn)題對(duì)于“看不見(jiàn)東西”的工業(yè)機(jī)器人來(lái)說(shuō)，解決起來(lái)尤為困難。

那么，如果機(jī)器人有了“眼睛”，這些問(wèn)題是不是就迎刃而解了？也許，浙江智慧視頻安防創(chuàng)新中心可以給出答案。

浙江智慧視頻安防創(chuàng)新中心（簡(jiǎn)稱“創(chuàng)新中心”）由北京大學(xué)信息技術(shù)高等研究院發(fā)起，海康威視、大華、阿里云、北京大學(xué)數(shù)字視頻編解碼技術(shù)國(guó)家工程實(shí)驗(yàn)室等10個(gè)機(jī)構(gòu)參與建設(shè)。在如何讓機(jī)器人能夠看得見(jiàn)的研究上，創(chuàng)新中心進(jìn)行了深入的探索。

手眼合一 精準(zhǔn)取物

在智慧視頻安防創(chuàng)新中心工業(yè)視覺(jué)事業(yè)部副總經(jīng)理黃廣寧看來(lái)，“3D機(jī)器視覺(jué)技術(shù)將賦予移動(dòng)機(jī)器人真正的眼睛?！?/p>

基于3D機(jī)器視覺(jué)技術(shù)的高精度機(jī)械臂控制引導(dǎo)系統(tǒng)，是創(chuàng)新中心以杰牌智能傳動(dòng)方案提供商的加工生產(chǎn)中心需求為實(shí)施對(duì)象，打造的一款工業(yè)級(jí)“手眼合一”導(dǎo)引系統(tǒng)。據(jù)介紹，該中心多組立式數(shù)控加工機(jī)床整列排布，對(duì)多種規(guī)格工件進(jìn)行加工，需要實(shí)現(xiàn)自動(dòng)化上下料。但由于工件個(gè)體差異較大，形狀和姿態(tài)較為復(fù)雜，來(lái)料姿態(tài)和位置也比較混亂、無(wú)序，常規(guī)機(jī)械臂抓取方案需要制作特定工裝，并對(duì)來(lái)料擺放的精度要求苛刻。

黃廣寧認(rèn)為，在做抓取動(dòng)作時(shí)要解決的核心問(wèn)題是“物體在哪里、抓取哪里”。對(duì)于人類來(lái)說(shuō)，解決這一問(wèn)題的關(guān)鍵是依靠眼睛來(lái)觀測(cè)，判斷相應(yīng)的位置，然后進(jìn)行抓取。而對(duì)于機(jī)器人來(lái)說(shuō)，3D機(jī)器視覺(jué)技術(shù)就是完成這個(gè)工作的眼睛。黃廣寧解釋道：“傳統(tǒng)抓取采用2D機(jī)器視覺(jué)技術(shù)，但是由于不具備獲取深度信息的能力，在解決立體問(wèn)題上具有很大的技術(shù)局限性，必須通過(guò)很多輔助條件，比如嚴(yán)格的初始位置、精準(zhǔn)的擺放、高精度工裝載具來(lái)輔助定位。而3D機(jī)器視覺(jué)技術(shù)可以在很短的時(shí)間內(nèi)，對(duì)任意擺放的物體進(jìn)行三維成像，精確識(shí)別物體的形狀、擺放方位，確定從什么方位抓取該物體，并引導(dǎo)機(jī)械臂執(zhí)行這一過(guò)程，極大地降低對(duì)環(huán)境的要求和操作的復(fù)雜度?！?/p>

基于此，創(chuàng)新中心廣泛結(jié)合企業(yè)的實(shí)際需求，推出了基于3D機(jī)器視覺(jué)技術(shù)的高精度機(jī)械臂控制引導(dǎo)系統(tǒng)。該系統(tǒng)采用了點(diǎn)云生成精度最高的3D成像技術(shù)—相移法結(jié)構(gòu)光技術(shù)，結(jié)合高穩(wěn)定性的3D物體檢測(cè)和識(shí)別技術(shù)，能夠?qū)崿F(xiàn)多個(gè)目標(biāo)物體的位置和姿態(tài)的同時(shí)準(zhǔn)確識(shí)別。配合相應(yīng)機(jī)械臂，可實(shí)現(xiàn)對(duì)無(wú)序堆疊的料框中工件進(jìn)行直接抓取、機(jī)床上料及料框下料碼放等過(guò)程實(shí)現(xiàn)全自動(dòng)化、無(wú)人化。

融合多領(lǐng)域技術(shù)

基于3D機(jī)器視覺(jué)技術(shù)的高精度機(jī)械臂控制引導(dǎo)系統(tǒng)的技術(shù)核心在于通過(guò)3D視覺(jué)測(cè)量技術(shù)精準(zhǔn)獲取料框中多種規(guī)格的工件位置和姿態(tài)信息、上料框的坐標(biāo)信息以及下料框隔板的坐標(biāo)信息，傳輸?shù)綑C(jī)械臂控制器并引導(dǎo)機(jī)械臂完成精確抓取、精確擺放?！斑@個(gè)產(chǎn)品的研發(fā)，涵蓋了數(shù)字光學(xué)、數(shù)字成像、數(shù)字電路、機(jī)械臂控制、3D重建、3D目標(biāo)識(shí)別等多個(gè)學(xué)科知識(shí)，是一個(gè)多領(lǐng)域融合創(chuàng)新產(chǎn)品。”黃廣寧解釋道。

目前市面上雖然已經(jīng)出現(xiàn)各種3D相機(jī)產(chǎn)品，但還是只屬于場(chǎng)景化定制產(chǎn)品，均沒(méi)有做到可廣泛應(yīng)用的程度。而創(chuàng)新中心研發(fā)的這一系統(tǒng)，是從基礎(chǔ)光學(xué)設(shè)計(jì)入手進(jìn)行整機(jī)以及工具化軟件設(shè)計(jì)，注重精度、速度、性價(jià)比的平衡性，打造的一款工業(yè)級(jí)標(biāo)準(zhǔn)化產(chǎn)品，以推廣3D機(jī)器視覺(jué)技術(shù)的應(yīng)用，促進(jìn)智能化升級(jí)。相較于同類視覺(jué)引導(dǎo)系統(tǒng)，該系統(tǒng)主要具有以下四個(gè)特點(diǎn)：

1.獨(dú)特的相移法3D重建技術(shù)，高速獲取清晰3D點(diǎn)云數(shù)據(jù);

2.高動(dòng)態(tài)范圍成像技術(shù)，有效識(shí)別金屬光澤或黑色物體;

3.高適應(yīng)性物體識(shí)別和抓取引導(dǎo)技術(shù)，多種工廠自動(dòng)化和物流解決方案;

4.示教式部署模式，極大地減少工程部署時(shí)間。

在談及這一系統(tǒng)在研發(fā)過(guò)程中的困難和挑戰(zhàn)時(shí)，黃廣寧認(rèn)為，最大的難點(diǎn)在于如何應(yīng)對(duì)復(fù)雜環(huán)境的光照干擾、高反光或高吸光材質(zhì)的物體成像、多種異構(gòu)物體堆疊狀態(tài)下的識(shí)別。針對(duì)些問(wèn)題，研發(fā)團(tuán)隊(duì)從光源、成像、高精度制造及人工智能算法等多個(gè)維度進(jìn)行了綜合設(shè)計(jì)。

目前，產(chǎn)品研發(fā)已經(jīng)取得了良好的成果。固定模式產(chǎn)品可實(shí)現(xiàn)最大1200×1200mm的檢測(cè)視場(chǎng);手眼模式產(chǎn)品可實(shí)現(xiàn)300×300mm的檢測(cè)視場(chǎng)。

在談到基于3D機(jī)器視覺(jué)技術(shù)的高精度機(jī)械臂控制引導(dǎo)系統(tǒng)的應(yīng)用情況時(shí)，黃廣寧表示，由于3D機(jī)器視覺(jué)技術(shù)還處于發(fā)展初期，技術(shù)成本比較高。該系統(tǒng)主要集中應(yīng)用在高端制造業(yè)上，如復(fù)雜結(jié)構(gòu)物料的自動(dòng)化上下料、多種規(guī)格混合物流的拆碼垛、高精準(zhǔn)自動(dòng)化裝配，以及焊接、涂膠等對(duì)三維精度要求很高的立體作業(yè)等。

賦能木地板質(zhì)量檢測(cè)

搭載了3D機(jī)器視覺(jué)技術(shù)的機(jī)械臂可以模擬人的可移動(dòng)性，實(shí)現(xiàn)物品的抓取等功能。那么，當(dāng)深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、圖像分割等AI技術(shù)進(jìn)入傳統(tǒng)木地板制造行業(yè)中，又將帶來(lái)怎樣的賦能效應(yīng)？

近年來(lái)，隨著人們生活水平的提高，消費(fèi)者對(duì)木制品的要求也不斷增加，這就要求木材加工行業(yè)從生產(chǎn)源頭至成品進(jìn)行全面的質(zhì)量管控。但目前大部分的木材加工企業(yè)，均是由人力完成質(zhì)量檢測(cè)。在重視質(zhì)量的生產(chǎn)企業(yè)中，專職檢測(cè)人員甚至占到50%以上。基于人力的檢測(cè)，往往存在自動(dòng)化程度不高、品控難、管控難的問(wèn)題，且人工檢測(cè)帶有經(jīng)驗(yàn)主義和主觀性，質(zhì)量無(wú)法量化管理。此外，木地板檢測(cè)環(huán)節(jié)涉及到多個(gè)工人協(xié)同配合，人力成本高昂、用工難等問(wèn)題也日益突出。

黃廣寧表示，在看到木地板制造行業(yè)存在的這些難點(diǎn)后，創(chuàng)新中心就在考慮：是否能夠研發(fā)一種可以實(shí)現(xiàn)自動(dòng)化、智能化的檢測(cè)設(shè)備來(lái)替代人力？

“雖然國(guó)外已有了成熟的智能化檢測(cè)設(shè)備，但由于國(guó)情不同，國(guó)外的木種比較單一，而國(guó)內(nèi)木種繁多，進(jìn)口產(chǎn)品水土不服，無(wú)法解決國(guó)內(nèi)的木材檢測(cè)問(wèn)題。在這個(gè)大環(huán)境下，我們決定研發(fā)適合于中國(guó)木材特點(diǎn)的智能化檢測(cè)設(shè)備?！?/p>

于是，創(chuàng)新中心推出了木地板生產(chǎn)線智能化檢測(cè)設(shè)備。它的核心技術(shù)在于基于神經(jīng)網(wǎng)絡(luò)的亞毫米級(jí)缺陷分割和基于半監(jiān)督學(xué)習(xí)的多樹(shù)種快速遷移的圖像分割技術(shù)，并深度結(jié)合專家知識(shí)庫(kù)系統(tǒng)形成定制化標(biāo)準(zhǔn)，以助力企業(yè)提高產(chǎn)品質(zhì)量。

該設(shè)備投入使用后將大量取代傳統(tǒng)人工檢測(cè)，因?yàn)樗粌H可以在準(zhǔn)確性上遠(yuǎn)超人眼能力，還可實(shí)現(xiàn)7×24小時(shí)連續(xù)、穩(wěn)定的檢測(cè)，極大地提高生產(chǎn)效率，在工作負(fù)荷上是人力無(wú)法比擬的。此外，在解決人力帶來(lái)的各種問(wèn)題的同時(shí)，還可以實(shí)現(xiàn)木材質(zhì)量的數(shù)值化、標(biāo)準(zhǔn)化，為現(xiàn)有木材加工工藝提供真正客觀的數(shù)字模型，進(jìn)一步促進(jìn)木材加工行業(yè)的技術(shù)升級(jí)。

在木地板的智能化檢測(cè)研發(fā)過(guò)程中也遇到過(guò)一些難題，主要挑戰(zhàn)就是木材種類。“中國(guó)用于木材加工的木種情況十分復(fù)雜。國(guó)外主流木種材料只有幾種，而國(guó)內(nèi)在使用的木種高達(dá)幾百種，每個(gè)木種都具有獨(dú)特的紋理和缺陷特征，并且有些特征在一些木種上是缺陷，在另外一些木種上又成為特色，這就對(duì)智能識(shí)別提出了極高的要求，也是真正的核心問(wèn)題。”黃廣寧解釋道。

為此，創(chuàng)新中心分析了大量的木材缺陷樣本，創(chuàng)新性地研發(fā)了木材缺陷識(shí)別算法，通過(guò)大量實(shí)驗(yàn)來(lái)確保算法的準(zhǔn)確度和穩(wěn)定性。目前，團(tuán)隊(duì)已完成質(zhì)檢原型機(jī)的開(kāi)發(fā)，蟲(chóng)眼、翹皮、斷裂的準(zhǔn)確率、召回率持續(xù)提高，檢測(cè)精度達(dá)到90%。其中，蟲(chóng)眼缺陷檢測(cè)準(zhǔn)確率為90.5%，召回率為94.4%;翹皮缺陷檢測(cè)準(zhǔn)確率為94.5%，召回率為93.4%;斷裂缺陷檢測(cè)準(zhǔn)確率為89.8%，召回率為91.1%。據(jù)黃廣寧介紹，目前該設(shè)備已經(jīng)在木地板加工企業(yè)中投入試運(yùn)行。

“木地板生產(chǎn)線智能化檢測(cè)設(shè)備雖然是針對(duì)木地板行業(yè)定制研發(fā)的，但其中蘊(yùn)含的木材檢測(cè)識(shí)別技術(shù)，對(duì)木材加工全行業(yè)是通用的?！痹谡劶澳镜匕迳a(chǎn)線智能化檢測(cè)設(shè)備的發(fā)展前景時(shí)，黃廣寧認(rèn)為，該設(shè)備的研發(fā)，不僅對(duì)我國(guó)年產(chǎn)量4億立方米、5000家以上的木地板企業(yè)有極大促進(jìn)作用以外，還可以進(jìn)一步研發(fā)適用于全木材加工行業(yè)的各種智能化檢測(cè)設(shè)備，具有廣闊的市場(chǎng)前景和發(fā)展空間。