水蓮 梅玲 何帆

摘 要：本文提出并開發(fā)基于Android的智能化拍照軟件“美姿”APP，研究專業(yè)攝影圖像并進行分類，采用卷積神經(jīng)網(wǎng)絡構建專業(yè)拍照姿勢數(shù)據(jù)集，實現(xiàn)了基于用戶歷史偏好的標簽化姿勢推薦與構圖推薦。

關鍵詞：姿勢推薦;深度學習;Android相機

中圖分類號：TG659文獻標識碼：A文章編號：1003-5168（2020）20-0048-03

Abstract： This paper proposed and developed an Android-based intelligent photography software "Meizi" APP， studied and classified professional photographic images， used convolutional neural networks to construct professional photographic pose data sets， and realized tagging pose recommendation and composition recommendation based on users' historical preferences.

Keywords： posture recommendation;deep learning;Android camera

智能手機是目前最流行的拍照設備，其攝像頭像素越來越高，功能越發(fā)強大，人們更加青睞使用手機完成個人攝影。但是，很多用戶拍照時存在不會擺姿勢的問題，以至于拍出的照片視覺效果不好。很多手機拍照軟件提供了濾鏡、貼紙、美顏等功能來解決照片美化問題，但拍照姿勢的不足是后期難以修正的，嚴重影響照片質量[1]。

通過用戶調研與分析，筆者發(fā)現(xiàn)，一個較好的姿勢推薦APP應該滿足如下需求：首先，由于姿勢庫中姿勢種類是復雜繁多的，其應具備自動更新并為用戶推薦受歡迎的姿勢模板的功能;其次，姿勢界面展示應該是直觀的、分類清晰的，用戶能夠便捷地選擇和使用模板;另外，由于照片姿勢選擇是高度主觀的，為用戶提供的模板應考慮個性化的姿勢偏好?！懊雷恕盇PP能源源不斷地為用戶提供較為專業(yè)的、受歡迎的、多元的、高質量的拍照姿勢，幫用戶解決拍照姿勢匱乏等問題。

1 系統(tǒng)方案設計

1.1 總體架構

本文提出的“美姿”APP總體架構設計如圖1所示。前期通過對大量人物攝影圖片的姿勢特點和照片構圖特點相關攝影文獻的研究，總結出人物攝影最常用的六種姿勢和適用于不同場景的構圖類型。通過Python爬取圖片，調用卷積神經(jīng)網(wǎng)絡分類模型自動對圖片進行分類，利用OpenPose繪制人體姿勢線條的流程，定期更新姿勢數(shù)據(jù)集，為用戶提供更豐富的拍照姿勢?！懊雷恕盇PP通過構圖與拍照姿勢的標簽分類、鏡頭識別拍攝人物、記錄用戶歷史偏好等功能，實現(xiàn)為用戶推薦受歡迎的、適宜的、分類清晰的拍照姿勢和符合用戶個性化傾向的姿勢模板[2-3]。

1.2 姿勢分類

不同的場景適合不同的拍照姿勢。對人物拍照姿勢進行歸類且分析不同姿勢擺拍的特點，可以幫助用戶提高拍照效率。為方便用戶查找適用于不同人數(shù)、不同種類的姿勢，“美姿”APP中的姿勢采用分級分類設置。姿勢的類別分為兩級，第一級根據(jù)人物數(shù)量進行分類，分為單人、雙人和多人;第二級根據(jù)姿勢進行分類，分為站姿、坐姿、走姿、躺姿、趴姿和跳姿。用戶通過選擇一級和二級類別，將得到不同人數(shù)的具體姿勢模板。

1.3 構圖分類

構圖可以將照片中的人或景物加以強調、突出，提升畫面的美感，增強照片的表現(xiàn)力。通過研究專業(yè)攝影構圖，“美姿”APP為用戶提供的構圖分類有：首先按照攝影對象劃分為人像、風景、建筑、美食四種，然后對每種構圖進行細分?！懊雷恕盇PP還為用戶提供了最常用的幾種構圖方式，包括對稱、對角線、九宮格和水平構圖。

1.4 基于卷積神經(jīng)網(wǎng)絡的人物圖片分類

卷積神經(jīng)網(wǎng)絡是一種具有深度結構的前反饋神經(jīng)網(wǎng)絡，能夠對數(shù)據(jù)進行有效分類的神經(jīng)網(wǎng)絡算法?；诰矸e神經(jīng)網(wǎng)絡的算法有很多，人體姿勢分類可借助卷積神經(jīng)網(wǎng)絡算法自動學習的能力，實現(xiàn)圖像中人體姿勢的特征提取。

本文基于AlexNet卷積神經(jīng)網(wǎng)絡，該卷積神經(jīng)網(wǎng)絡結構如圖2所示。AlexNet有8層網(wǎng)絡結構，由5個卷積層和3個全連接層組成。其中，每一個卷積層都包含ReLU激活函數(shù)，加速網(wǎng)絡的收斂速度，第一、二卷積層還包含歸一化LRN，增加模型的泛化能力，第一、二、五卷積層后都跟有池化層（最大池化層），第三、四卷積層后未跟池化層。后三層全連接層將二維特征向量壓縮成一維向量，其中，第六、七全連接層包含ReLU激活函數(shù)，解決梯度消失的問題，同時包含Droupout正則化，避免模型過擬合，第八層全連接層用來分類。

采用上述卷積神經(jīng)網(wǎng)絡對圖片進行特征提取，通過自己構建的數(shù)據(jù)集訓練模型。本文卷積網(wǎng)絡輸入的圖像大小為224×224的RGB彩色圖像，卷積操作采用11×11、5×5、3×3大小的卷積核，步長為4和1，卷積操作后用ReLU激活函數(shù)得到卷積層的輸出。池化層均采用3×3的最大池化，步長設置為2，然后接3個全連接層，結合SoftMax分類函數(shù)對圖片進行分類。

1.5 姿勢推薦

APP的結構流程如圖3所示。服務器端自動獲取構圖與姿勢資源庫中的圖片信息并存入數(shù)據(jù)庫，當用戶進入APP時，APP自動獲取數(shù)據(jù)庫中的構圖與姿勢模板信息和存儲在本地歷史偏好文件中的用戶偏好與歷史模板數(shù)據(jù)。根據(jù)用戶偏好過濾構圖與姿勢模板信息，以標簽化構圖姿勢模板、實時姿勢推薦的方式展示給用戶;根據(jù)模板的使用次數(shù)過濾歷史模板數(shù)據(jù)，以歷史偏好展示給用戶，用戶可根據(jù)個人喜好進行選擇。用戶每次拍照完畢后，APP自動存儲此次拍照的構圖與姿勢使用情況，并自動更新服務器端數(shù)據(jù)庫中的模板使用次數(shù)。用戶可根據(jù)個人喜好對照片添加濾鏡。當用戶退出拍照時，用戶的手機內(nèi)部存儲中以文件的方式存儲此次的構圖與姿勢數(shù)據(jù)，并更新用戶歷史偏好。

2 基于Androd的APP系統(tǒng)開發(fā)實現(xiàn)

“美姿”APP的實現(xiàn)綜合運用網(wǎng)絡數(shù)據(jù)爬取、計算機圖形圖像處理、機器學習等技術，構建拍照姿勢數(shù)據(jù)集，解決拍照姿勢圖像識別、人物拍照姿勢自動學習及分類等問題，為智能化拍照姿勢推薦APP提供資源庫基礎。在APP的研發(fā)中，通過獲取服務器端資源庫信息，結合Android自定義相機、Palette庫、GPUImage圖像處理庫等技術，實現(xiàn)基于用戶歷史偏好的姿勢推薦、構圖推薦及濾鏡添加等功能?！懊雷恕盇PP包含以下功能：標簽化選擇模板、實時姿勢推薦、歷史偏好展示、濾鏡添加。

2.1 標簽化選擇模板功能

標簽化選擇的標簽信息存儲在Android端，待用戶每次訪問標簽化模板時，通過與來自服務器端數(shù)據(jù)庫的信息進行匹配，得到不同類別的姿勢和構圖。標簽化展示模板是通過TabLayout、Fragment和ViewPager組件實現(xiàn)，用戶點擊不同的標簽可查詢不同種類的構圖與姿勢，滑動模板圖片可切換模板，點擊即可使用該模板。

2.2 實時姿勢推薦功能

實時姿勢推薦是通過Android相機人臉識別技術，實時檢測人臉數(shù)量，獲得結果后與數(shù)據(jù)庫信息進行匹配，從而給用戶推薦數(shù)據(jù)庫中適合該人數(shù)的、較受歡迎的模板并展示在拍攝界面以供參考。姿勢將以橫向可滑動的縮略圖展示，用戶點擊可預覽模板。實時姿勢推薦的效果圖如圖4所示。

2.3 歷史偏好展示

用戶的歷史偏好保存在本地文件中，通過記錄用戶每次的構圖與姿勢使用情況，更新文件中的歷史偏好和模板使用詳情。當用戶進入拍照界面時，自動從文件中讀取歷史偏好信息并根據(jù)用戶選用的功能對模板數(shù)據(jù)進行篩選，展示在對應界面。界面為用戶設置了歷史選擇模塊，該模板匯總了歷史模板信息，用戶可直接查看歷史選擇并進行使用。

2.4 濾鏡添加功能

APP提供了兩種濾鏡：GPUImage濾鏡和Palette濾鏡。GPUImage濾鏡的作用是基于GPUImage圖像處理庫為靜態(tài)圖像添加濾鏡，用戶通過使用該濾鏡可為照片添加如伽馬射線、3×3卷積效果、疊加和白平衡等76種濾鏡效果。Palette濾鏡借助Palette庫獲取靜態(tài)圖片中畫面的不同顏色，與原圖疊加實現(xiàn)濾鏡效果，濾鏡添加的效果圖如圖5所示。

3 結論

本文對人像姿勢和照片構圖進行了分類研究，利用卷積神經(jīng)網(wǎng)絡實現(xiàn)了人物姿勢圖片的自動分類，并借助OpenPose對分類后的圖片進行人體姿勢線條描繪，最終得到拍照姿勢數(shù)據(jù)集，姿勢數(shù)據(jù)集和構圖數(shù)據(jù)集共同組成了資源庫。通過獲取資源庫圖片信息，本設計成功搭建了服務器端數(shù)據(jù)庫并實現(xiàn)了一款智能化姿勢推薦APP，該APP具有基于用戶歷史偏好的姿勢推薦、構圖推薦及濾鏡添加功能，可幫助用戶拍出滿意的高質量照片。

參考文獻：

[1]張明，于佳弘，劉博，等.一種基于深度學習的拍攝構圖方法和系統(tǒng)：中國，CN107705307A[P].2018-02-16.

[2]艾略特·西格爾.攝影師和模特的終極擺姿圣經(jīng)[M].北京：人民郵電出版社，2015.

[3]陳星宏.基于3D骨架的肢體動作識別研究[D].成都：電子科技大學，2019.