歐水瑩，陳莉霞，史立奎，曹洪武

(塔里木大學(xué) 信息工程學(xué)院，新疆 阿拉爾 843300)

1 常見(jiàn)的特征點(diǎn)檢測(cè)算法

隨著智能手機(jī)的普及，人們?cè)谌粘Ｉ钪薪?jīng)常合影留作紀(jì)念。許多情況下，雖然拍攝時(shí)攝影師會(huì)盡力提醒每個(gè)參與者，但要做到協(xié)調(diào)好所有人保持合適的面部表情仍很困難，最終，照片中難免會(huì)出現(xiàn)少量的細(xì)微缺陷。例如：合影對(duì)象在拍照瞬間眨眼將導(dǎo)致眼睛半閉半開(kāi)，或者被拍攝者該有的笑容并沒(méi)有很好地被呈現(xiàn)在照片中。目前，對(duì)于圖像的后期處理，市場(chǎng)上已經(jīng)有多款成熟軟件能夠?qū)崿F(xiàn)對(duì)人臉照片的后期合成處理，比如Photoshop，Paint.NET、美圖秀秀等，但并不能自動(dòng)完成處理工作，大多都需要人工參與調(diào)整，而且使用者需要具備良好的軟件使用技巧和一定的藝術(shù)創(chuàng)新能力，處理過(guò)程耗時(shí)、耗力。因此，為了提高處理效率，本文設(shè)計(jì)一種適用于處理相似場(chǎng)景下正面人像照片中存在缺陷的交互合成方法，具備一定的實(shí)用價(jià)值。

對(duì)于人臉檢測(cè)的研究，常見(jiàn)的技術(shù)包括：(1)基于神經(jīng)網(wǎng)絡(luò)的方法。比如，Cai等[1]采用模糊匹配的方法建立膚色和發(fā)色模型；(2)基于統(tǒng)計(jì)理論的統(tǒng)計(jì)特征方法。比如，王靜波等[2]提出的卷積精神網(wǎng)絡(luò)人臉檢測(cè)算法等。上述方法從不同角度出發(fā)建立模型，對(duì)圖像特征進(jìn)行分析，最終提取出所包含的人臉信息。隨著云計(jì)算技術(shù)的發(fā)展，也出現(xiàn)了簡(jiǎn)潔易用的在線人臉檢測(cè)處理平臺(tái)，比如，北京曠世科技有限公司提供的Face++平臺(tái)。

常見(jiàn)的特征點(diǎn)檢測(cè)算法包括：Harris[3]角點(diǎn)算法，SIFT[4](Scale Invariant Features Transform)算法，SURF[5](Speeded Up Robust Features)算法等方法，本文考慮到時(shí)間效率，選用SURF算法，通過(guò)SURF算法可完成用戶感興趣區(qū)域人臉周邊鄰域的特征點(diǎn)檢測(cè)后可完成圖像配準(zhǔn)，為后續(xù)人臉圖像融合做好準(zhǔn)備。

多年來(lái)，各國(guó)學(xué)者從不同角度對(duì)圖像融合進(jìn)行研究，主要有小波圖像融合[6]，塔型分解多源圖像融合[7]和泊松融合[8]等。本文將通過(guò)實(shí)施簡(jiǎn)單人工交互，確定合成區(qū)域，然后提取圖像特征點(diǎn)完成圖片匹配，最終通過(guò)泊松融合算法來(lái)實(shí)現(xiàn)圖像的無(wú)縫融合，利用人臉數(shù)據(jù)及人臉周邊鄰域特征點(diǎn)信息，進(jìn)一步通過(guò)求解基于泊松方程，實(shí)現(xiàn)將截取的圖像能夠無(wú)縫地融合到目標(biāo)場(chǎng)景中。該方法的使用不需要使用者具有良好的圖像處理技巧，可以提升普通用戶利用該方法處理近似場(chǎng)景下人臉照片中瑕疵的處理效率。

2 相似場(chǎng)景下正面人像照片交互合成的研究思路及方法

本文結(jié)合實(shí)際需求分析，將綜合利用人臉檢測(cè)、感興趣區(qū)域選取、特征點(diǎn)匹配和圖像融合等技術(shù)實(shí)現(xiàn)設(shè)計(jì)目標(biāo)。包括4個(gè)模塊：(1)人臉檢測(cè)模塊；(2)興趣圖像區(qū)域選取模塊；(3)圖像特征點(diǎn)匹配模塊；(4)圖像融合模塊。

2.1 人臉檢測(cè)模塊

本文研究流程中的首要環(huán)節(jié)就是進(jìn)行人臉檢測(cè)，確定輸入圖像中的人臉位置。目前，市場(chǎng)上已經(jīng)存在比較專業(yè)的人臉檢測(cè)平臺(tái)，所以，考慮到時(shí)間和經(jīng)濟(jì)成本，為檢測(cè)出圖像中的人臉，為后續(xù)交互選取做準(zhǔn)備，選擇了選Face++ 在線人臉檢測(cè)服務(wù)，完成人臉檢測(cè)。

2.2 感興趣圖像區(qū)域選取模塊

完成人臉圖像的檢測(cè)后，用戶可以進(jìn)行人工交互判定。首先，選出自身認(rèn)可的人臉，包括面部特征的主觀判定，比如，是否閉眼、微笑等。其次，將該人臉周邊區(qū)域設(shè)定為感興趣圖像區(qū)域(REGION OF INTEREST，ROI)，用戶手動(dòng)從目標(biāo)圖像中截取出一個(gè)合適的圖像區(qū)域，為后續(xù)的圖像特征點(diǎn)匹配建立工作基礎(chǔ)。

2.3 圖像特征點(diǎn)匹配模塊與圖像融合模塊

(1)圖像特征點(diǎn)匹配模塊：在特征點(diǎn)匹配過(guò)程中，主要是通過(guò)SURF算法對(duì)圖像中已檢測(cè)出的人臉以及面部關(guān)鍵區(qū)域的特征點(diǎn)進(jìn)行提取并匹配，是圖像合成的重要環(huán)節(jié)。只有實(shí)現(xiàn)準(zhǔn)備配準(zhǔn)特征點(diǎn)，才能最終實(shí)現(xiàn)下一個(gè)階段的理想圖像融合。

(2)圖像融合模塊：為確保圖像間進(jìn)行平滑過(guò)渡，消除圖像間的拼接縫隙和色調(diào)變化等差異，本文主要采用泊松融合算法開(kāi)展圖像融合工作。

3 具體實(shí)驗(yàn)步驟

3.1 人臉檢測(cè)

實(shí)驗(yàn)選用的是Face++平臺(tái)完成人臉檢測(cè)，實(shí)現(xiàn)本功能主要是使用平臺(tái)提供的人臉檢測(cè)技術(shù)。提交檢測(cè)圖像到該平臺(tái)后，可以得到分析結(jié)果，F(xiàn)ace++將把檢測(cè)出的人臉區(qū)域進(jìn)行標(biāo)識(shí)，為后續(xù)ROI區(qū)域的選取提供了良好參照。

3.2 ROI區(qū)域選取

ROI區(qū)域選取及其后算法均在MATLAB 2016a工具中實(shí)現(xiàn)，在圖像區(qū)域選取中，在通過(guò)Face++標(biāo)注的人臉信息基礎(chǔ)上，通過(guò)用戶操作鼠標(biāo)交互完成，用戶選出主觀上視覺(jué)感知完美的ROI感興趣圖像區(qū)域，為后續(xù)的圖像融合打下基礎(chǔ)。

作為人臉融合預(yù)處理環(huán)節(jié)，選取感興趣區(qū)域圖像操作，如圖1所示。首先，點(diǎn)擊search按鍵，找到需要進(jìn)行感興趣區(qū)域標(biāo)定的圖像，點(diǎn)擊crop按鍵；其次，可用鼠標(biāo)框選出用戶感興趣的人臉區(qū)域；最后，可以點(diǎn)擊save按鍵，將得到的ROI圖像區(qū)域保存到合適的路徑下。

圖1 感興趣圖像區(qū)域選取

3.3 特征點(diǎn)匹配

為實(shí)現(xiàn)圖像融合，必要步驟是完成兩幅圖像的特征點(diǎn)匹配。在本文主要采用SURF算法完成人臉周邊鄰域的特征點(diǎn)檢測(cè)，SURF執(zhí)行效率較高，其結(jié)果可有效簡(jiǎn)化后續(xù)工作過(guò)程，并且減少人臉圖像融合的處理時(shí)間，增加精度。

SURF算法具體實(shí)現(xiàn)為把兩幅人臉圖像上傳后，先讀取圖像，再把RGB圖像變成灰色圖像，經(jīng)過(guò)特征點(diǎn)檢測(cè)、特征點(diǎn)定位、方向定位和特征描述子等步驟，實(shí)現(xiàn)了兩幅圖像的特征點(diǎn)匹配，并將匹配結(jié)果保存，作為圖像融合的工作基礎(chǔ)。

3.4 圖像融合

實(shí)現(xiàn)圖像融合是通過(guò)對(duì)泊松算法的改良算法來(lái)完成。利用獲取的圖像匹配數(shù)據(jù)，通過(guò)泊松算法，將輸入圖像3中部分用戶選擇的ROI區(qū)域圖像無(wú)縫融合進(jìn)圖像2。有缺陷圖像a、圖像b以及圖像最終融合結(jié)果分別如圖2-4所示。

在圖2中，右側(cè)的兩個(gè)人像笑容自然，面部特征正常，但圖像中左側(cè)位置1的人像，面部沒(méi)有笑容，對(duì)于用戶本人而言，主觀對(duì)此結(jié)果不滿意；同時(shí)，在圖3中，中間人像缺乏笑容，其余人臉情況用戶主觀滿意。因此，在交互式合成方法中，可依據(jù)前述ROI感興趣區(qū)域選取區(qū)域算法手工選取輸入圖像3中最左側(cè)人臉作為合成對(duì)象，最終融合得到圖4所示融合結(jié)果圖像。

圖4 最終融合結(jié)果

4 實(shí)驗(yàn)結(jié)果及討論

(1)在得到效果圖后，為了檢驗(yàn)融合的效果，得到融合后的效果圖后，邀請(qǐng)無(wú)關(guān)人群對(duì)融合最終效果圖進(jìn)行主觀評(píng)定，大部分人表示對(duì)圖4合成效果較好?？梢?jiàn)，本文所設(shè)計(jì)的方法能夠完成合成工作，能滿足普通用戶對(duì)瑕疵圖像的處理的基本需求。

(2)對(duì)圖像融合結(jié)果進(jìn)行討論，截取了融合結(jié)果如圖4所示的部分處理區(qū)域，如圖5左邊所示；其細(xì)節(jié)放大的示意如圖5右邊所示，其中，在頭發(fā)c，d兩處出現(xiàn)了錯(cuò)位和模糊的情況?？梢?jiàn)，處理結(jié)果中，仍然存在特征點(diǎn)匹配錯(cuò)誤的情況。

圖5 部分處理結(jié)果(左)及細(xì)節(jié)放大示意(右)

5 結(jié)語(yǔ)

為處理在相似場(chǎng)景下獲得的兩幅照片中諸如未展現(xiàn)笑容或者閉眼等細(xì)微瑕疵，本文通過(guò)用戶參與簡(jiǎn)單交互來(lái)獲取人臉信息及感興趣區(qū)域，進(jìn)行特征點(diǎn)匹配后，最終完成了圖像融合。在今后的工作中，對(duì)于如何優(yōu)化特征點(diǎn)匹配算法，獲得更好的圖像融合效果，將是研究的重點(diǎn)。