Foundation item: Supported by the National Natural Science Foundation of China(61171142)

? 通信作者： 徐向民(1972-)，男，教授，博士生導(dǎo)師，主要從事人機(jī)交互、計算機(jī)視覺和EDA設(shè)計研究.E-mail: xmxu@scut.edu.cn

基于構(gòu)圖規(guī)則的圖像美學(xué)優(yōu)化*

王偉凝劉劍聰徐向民?姜怡孜王勵

(華南理工大學(xué) 電子與信息學(xué)院, 廣東 廣州 510640)

摘要：隨著數(shù)碼相機(jī)和智能手機(jī)的普及，數(shù)字圖像的獲取越來越便捷.然而普通用戶由于缺少專業(yè)攝影知識，拍攝的照片往往難以獲得滿意的效果.為此，文中提出了一種綜合考慮圖像主體與背景構(gòu)圖規(guī)則的圖像自動美學(xué)優(yōu)化方法，根據(jù)三分法則和視覺平衡法則，采用主體提取、區(qū)域分隔線檢測、基于樣例的圖像修復(fù)方法、細(xì)縫裁減法、主體重置等方法，通過圖像主體位置、大小及背景區(qū)域劃分的調(diào)整對圖像進(jìn)行美化.實(shí)驗(yàn)結(jié)果表明，此方法能夠在保護(hù)圖像中的視覺不產(chǎn)生形變且保持圖像信息不丟失的基礎(chǔ)上，實(shí)現(xiàn)圖像的構(gòu)圖美化.

關(guān)鍵詞：圖像增強(qiáng)；圖像美學(xué)；構(gòu)圖優(yōu)化；基于樣例的圖像修復(fù)；細(xì)縫裁減算法

基金項(xiàng)目：* 國家自然科學(xué)基金資助項(xiàng)目(61171142);廣東省戰(zhàn)略性新興產(chǎn)業(yè)核心技術(shù)攻關(guān)項(xiàng)目(2011A010801005);廣州市科技計劃珠江新星項(xiàng)目(2012J2200010);華南理工大學(xué)中央高校基本科研業(yè)務(wù)費(fèi)專項(xiàng)資金資助項(xiàng)目(2014ZZ0036)

作者簡介：王偉凝(1975-),女,博士,副教授,主要從事圖像處理與模式識別、圖像情感分析、圖像分類與檢索、機(jī)器學(xué)習(xí)研究.E-mail: wnwang@scut.edu.cn

文章編號：1000-565X(2015)05-0051-08

中圖分類號：TP391

doi:10.3969/j.issn.1000-565X.2015.05.009

生活中處處存在著美,美的事物能使人在感官上產(chǎn)生愉悅快樂的感覺,往往更能吸引人們的注意,影響人們的判斷與選擇等行為.人們每天接收的信息中有超過90%是通過視覺來獲得的,故視覺美感是美學(xué)研究的重要課題.

隨著相機(jī)和智能手機(jī)的普及與發(fā)展,數(shù)字圖像的獲取越來越便捷.但由于拍攝水平和拍攝環(huán)境等多種因素的影響,普通攝影者拍攝的照片常常不能滿足人們的審美要求.對圖像進(jìn)行美化涉及到美學(xué)法則和構(gòu)圖布局方面的專業(yè)知識,十分復(fù)雜和耗時,普通用戶難以完成便捷的圖像美化處理.2005年,Hoening[1]在計算機(jī)科學(xué)領(lǐng)域提出了可計算美學(xué)的研究方向,推動了模擬人類感知的可計算美學(xué)決策的研究和應(yīng)用發(fā)展.可計算圖像美學(xué)是指讓計算機(jī)模擬人類視覺及審美思維對圖像進(jìn)行可行的美學(xué)決策和相關(guān)處理的方法,其研究結(jié)果可以應(yīng)用到融合主觀感知的基于語義的圖像檢索、圖像美學(xué)質(zhì)量評估、圖像的美學(xué)修正、攝影的美學(xué)預(yù)測、藝術(shù)作品風(fēng)格分析、人機(jī)交互等方面[2-3].在圖像美感自動評估與分類方面,Datta等[4]率先把圖像視覺特征應(yīng)用到圖像美學(xué)評判中,實(shí)現(xiàn)了圖像高低美感的分類和圖像美感分?jǐn)?shù)值的自動評估.

之后,學(xué)者們通過對大量圖像的主觀調(diào)查分析發(fā)現(xiàn),在影響圖像美感的色彩、光線、線條的眾多因素中,構(gòu)圖被認(rèn)為是一個最重要的因素[5].近年來,有學(xué)者提出了基于構(gòu)圖的圖像自動美感增強(qiáng)方法,即基于修復(fù)法和圖像重映射法的構(gòu)圖優(yōu)化.基于修復(fù)法的構(gòu)圖優(yōu)化中,Bhattacharya 等[6]提出了一種圖像美化的構(gòu)思,利用美學(xué)中的三分法則與視覺平衡法則改變圖像中主體目標(biāo)的位置,或?qū)D像中風(fēng)景天際線位置進(jìn)行調(diào)整,獲得更具視覺美感的圖像,但該文沒有給出具體的實(shí)現(xiàn)方法.對于有單個或多個前景對象的圖像,Zhang等[7]對圖像中的多個對象進(jìn)行結(jié)構(gòu)依賴關(guān)系分析,給出了同時調(diào)整前景對象及其依賴區(qū)域的位置的優(yōu)化方法,然后用Photoshop軟件手動實(shí)現(xiàn)圖像美化.基于圖像重映射方法的構(gòu)圖優(yōu)化中,Liu等[8-10]結(jié)合三分法、視覺平衡法則等美學(xué)構(gòu)圖規(guī)則,提出了一種基于裁剪與網(wǎng)格變形的圖像美化方法,將美學(xué)約束、圖像裁剪與三角形網(wǎng)格變形算法相結(jié)合,在保持圖像美感的基礎(chǔ)上優(yōu)化原始圖像的布局.首先用三角形網(wǎng)格將圖像劃分成各個子區(qū)域,設(shè)計相關(guān)美學(xué)能量函數(shù)以及三角網(wǎng)格的約束條件用于指導(dǎo)網(wǎng)格變形,通過對某些子區(qū)域進(jìn)行擴(kuò)大、拉伸、變形和對某些子區(qū)域進(jìn)行縮小、擠壓來達(dá)到主體位置與大小的調(diào)整.該方法運(yùn)算速度較快,可以較大程度地保留圖像原來的結(jié)構(gòu).但當(dāng)圖像紋理較復(fù)雜時,會出現(xiàn)紋理變形.Guo等[11]對圖像重映射算法中主體位置調(diào)整時出現(xiàn)的問題進(jìn)行改進(jìn),利用圖像相似性約束來保護(hù)圖像的內(nèi)容不被破壞.上述方法都只針對有主體的圖像,從前景對象角度進(jìn)行圖像優(yōu)化,忽略了更大面積的圖像背景區(qū)域,不適用于主體不明顯的圖像.

為此,文中基于圖像修復(fù)法,提出了一種綜合考慮圖像主體與背景區(qū)域布局的圖像美化方法,采用了自適應(yīng)的改進(jìn)圖像修復(fù)算法以兼顧算法的時間代價與修復(fù)效果，設(shè)計了主體與背景的一致性準(zhǔn)則以保護(hù)圖像的內(nèi)容,在一定程度上減少美化后圖像可能出現(xiàn)的不合理情況.

1圖像構(gòu)圖法則與算法流程

構(gòu)圖是指將圖像中涉及的各種元素進(jìn)行有意義的安排和處理,突出畫面的主題含義,使之主次分明,畫面達(dá)到美的境界[12].在攝影領(lǐng)域,為獲得具有美感的圖像,專業(yè)攝影者在拍攝照片時都遵循一些常用的構(gòu)圖規(guī)則,文中采用兩種主要的構(gòu)圖法則.

1.1三分構(gòu)圖法

三分構(gòu)圖法在攝影界久負(fù)盛名,將畫面橫向和縱向各分為3等份,形成一個井字格,三分構(gòu)圖法要求圖像中的主體盡可能靠近4個交點(diǎn)中的一個.已有研究表明,人們對圖像的注意力往往不是首先落在圖像的中心,而是處于這4個交點(diǎn)上,這是近似符合黃金分割的位置,也是非常符合人類的視覺習(xí)慣[12].三分構(gòu)圖法示例如圖1所示.

1.2視覺平衡法則

大部分照片所表現(xiàn)的空間都不是單一的,有明顯的區(qū)域劃分,例如天空和地面、天空和海面、公路和草坪等.區(qū)域分隔線是指這些不同空間的分界線.視覺平衡法則是一種適用于水平構(gòu)圖和垂直構(gòu)圖的法則,描述視覺美感高的圖像的空間區(qū)域分布比重應(yīng)遵循的規(guī)律.

圖1三分法構(gòu)圖示例

Fig.1Example of composition by the rule of trisection

圖2視覺平衡法則構(gòu)圖示例

Fig.2Examples of composition by the rule of visual balance

1.3圖像構(gòu)圖美化算法流程

從普通用戶日常攝影需求出發(fā),結(jié)合上述圖像美學(xué)構(gòu)圖法則,文中提出了一種基于主體調(diào)整與視覺平衡法則的圖像美學(xué)優(yōu)化方法,其流程圖如圖3所示.

本方法模塊包括主體提取、主體尺寸優(yōu)化、主體移除區(qū)域修復(fù)、區(qū)域視覺平衡尺寸調(diào)整、主體重置等模塊,根據(jù)美學(xué)規(guī)則,通過對主體進(jìn)行尺寸和位置上的調(diào)整以及對背景區(qū)域的尺寸調(diào)整來完成既有主體又有區(qū)域分割線圖像的構(gòu)圖美化.此外,文中還對基于樣例的圖像修復(fù)算法進(jìn)行了優(yōu)化,采用了自適應(yīng)的圖像填補(bǔ)方法,以減少算法的計算時間,保證良好的視覺效果.

圖3　基于構(gòu)圖優(yōu)化的圖像美學(xué)優(yōu)化流程圖

Fig.3Flowchart of image aesthetics enhancement through composition optimization

2主體優(yōu)化與調(diào)整

主體往往是畫面的視覺中心,在內(nèi)容上占有主導(dǎo)地位,通過調(diào)整主體區(qū)域的大小和位置,能有效提升圖像的美感.

2.1主體區(qū)域提取

主體是控制圖像全局的焦點(diǎn),一般具有較高的顯著程度.文中利用顯著區(qū)域檢測與主體區(qū)域分割相結(jié)合的方法來檢測圖像主體.

文中采用一種基于Lab顏色空間的顯著區(qū)域檢測算法進(jìn)行顯著性檢測[13],它利用圖像的顏色和亮度特征計算顯著性.對于圖像I,其顯著圖S滿足:

式中,Iu是圖像所有像素的平均值,Iw是原圖像高斯模糊(以消除紋理細(xì)節(jié)和噪音等的影響)后的圖像.Iu和Iw都用Lab顏色空間表示,通過計算Iw和Iu的歐幾里德距離來計算顯著性.

在得到圖像的顯著性分布圖后,還需要進(jìn)行圖像分割以提取主體區(qū)域.Mean-Shift分割算法是一種比較成熟的算法,它綜合考慮了圖像的空間信息和色彩信息,具有收斂速度快、分割效果好且魯棒性強(qiáng)的特點(diǎn).

文中采用Mean-Shift算法并結(jié)合顯著圖信息對圖像進(jìn)行主體區(qū)域提取.用Mean-Shift 算法對圖像進(jìn)行分割后,計算子區(qū)域k的平均顯著性Sk,然后與整幅圖像的平均顯著性Su作比較,取顯著性高的子區(qū)域作為主體.多次實(shí)驗(yàn)結(jié)果顯示,當(dāng)Sk>2Su時,分割得到的最大連通區(qū)域最接近圖像主體.主體區(qū)域提取的具體步驟如圖4所示.

圖4主體區(qū)域提取的步驟

Fig.4Steps of subject region extraction

2.2主體尺寸優(yōu)化

得到主體區(qū)域后,需要將主體的大小縮放到合適的比例.Liu等[9]通過對高美感圖像主體大小的主觀調(diào)查發(fā)現(xiàn),顯著區(qū)域大小與整體圖像大小的比例為0.10、0.56或0.82時,圖像美感較高.據(jù)此,文中以尺寸變化量最小為原則,保持縱橫比例不變,調(diào)整原來主體的大小,使其與整體圖像大小的比例為上述3個比例之一.

2.3區(qū)域修復(fù)

圖像的主體區(qū)域移出后,需要對背景中的空缺區(qū)域進(jìn)行修復(fù).文中首先對基于樣例的圖像修復(fù)算法[14]進(jìn)行優(yōu)化,使其具有較高的圖像修復(fù)速度和較好的修復(fù)效果.

文獻(xiàn)[14]算法的主要思路為:確定待修復(fù)區(qū)域及其邊界線后,計算邊界線上每個像素點(diǎn)的優(yōu)先權(quán),找到優(yōu)先權(quán)最大的像素點(diǎn)p,取以p為中心的n×n像素塊ψp作為最先修復(fù)的待修復(fù)塊;依次從圖像中尋找最相似的像素塊ψq作為最佳樣例來替換待修復(fù)像素塊ψp,重復(fù)上述步驟直至修復(fù)完畢.具體過程如下:

設(shè)原圖像I分為已知區(qū)域Φ和待修復(fù)區(qū)域Ω,首先提取待修復(fù)區(qū)域Ω的邊界線δΩ,對所有像素點(diǎn)?p∈δΩ,計算其優(yōu)先權(quán)F.

F(p)=C(p)D(p)

(2)

式中,C(p)是置信因子,D(p)是數(shù)據(jù)因子,

然后找到優(yōu)先權(quán)最大的像素塊ψp作為最先修復(fù)的待修復(fù)塊.對Φ中的像素塊進(jìn)行計算,找到與ψp均方差最小的像素塊ψq作為最佳樣例,以之替換待修復(fù)像素塊.

最后更新ψp中原來待修復(fù)區(qū)域的置信因子.重復(fù)執(zhí)行以上步驟,直到Ω=Φ,即待修復(fù)區(qū)域全部填充完畢.

在文獻(xiàn)[14]算法的基礎(chǔ)上,文中對最佳樣例的搜索半徑、替換和修復(fù)塊的大小等進(jìn)行了優(yōu)化.具體如下:

1)由于原算法在尋找最佳替換樣例時是對整幅圖像進(jìn)行搜索,而最佳匹配塊一般出現(xiàn)在目標(biāo)區(qū)域附近,全圖搜索會導(dǎo)致計算量增大和時間的耗費(fèi).為此,文中在搜索最佳替換樣例時,設(shè)置了一個半徑為R(取R=50)的搜索范圍,以提高搜索速度.

圖5不同尺寸替換塊的修復(fù)效果

Fig.5Restoration effect of different replace window sizes

針對搜索半徑及圖像待填補(bǔ)區(qū)域占圖像面積的比例r,對原修復(fù)算法和優(yōu)化后的修復(fù)算法進(jìn)行了測試(25幅圖像,平均尺寸為400×300),計算了平均修復(fù)時間并評價修復(fù)效果,結(jié)果如表1所示.可以看出:搜索半徑越小,圖像修復(fù)時間越短,但修復(fù)效果越差;使用較小的替換半徑可以在一定程度上改善修復(fù)效果.

文中設(shè)置了搜索半徑R=50,替換塊大小為5×5,大大減少了原算法的修復(fù)時間,且具有更好的修復(fù)效果.采用文中算法,主體移出后空缺區(qū)域的修復(fù)結(jié)果如圖6所示.

表1不同搜索范圍下兩種算法的修復(fù)時間及修復(fù)效果

Table 1Restoration time and effect of two algorithms with different search ranges

修復(fù)算法R大小修復(fù)耗時/s搜索塊替換塊r=5%r=8%r=15%修復(fù)效果整圖9×99×940.5661.2997.30較優(yōu)優(yōu)化前509×99×92.093.093.67較優(yōu)309×99×90.470.750.82一般優(yōu)化后509×95×55.247.758.23優(yōu)

圖6　優(yōu)化前后的修復(fù)結(jié)果比較

Fig.6Comparison of restoration results before and after optimization

2.4主體重置

完成圖像原主體移除區(qū)域的修復(fù)后,就可以進(jìn)行主體重置,即計算主體質(zhì)心和4個交點(diǎn)的距離,將縮放后的主體移動到最近的交點(diǎn),主體重置效果如圖7所示.

圖7主體重置結(jié)果

Fig.7Result of subject retargeting

然而在實(shí)際重置中,會出現(xiàn)主體重置的位置與原圖邏輯上不相符的情況.如圖8(b)所示,如果單純按三分法重置,則樹木懸空在地面上方,不符合原圖的邏輯關(guān)系,因此,文中引入一致性法則來約束主體位置重置.由于并非所有情況下的調(diào)整都會造成不合理情況,因此用戶可自主選擇是否采用此約束來進(jìn)行構(gòu)圖優(yōu)化.具體調(diào)整法則為:若檢測到背景中有明顯的水平/垂直分隔線,則先判斷主體與水平/垂直分隔線相對位置的關(guān)系(如圖9所示),并在重置中保持這種約束關(guān)系,圖中圓圈代表主體,橫線代表區(qū)域分隔線.圖9(a)中主體的可調(diào)整范圍限制在分隔線以下所有區(qū)域,而圖9(e)中則相反;圖9(b)-9(d)中主體必須要在保持與分隔線相切或相交的前提下再進(jìn)行接近三分構(gòu)圖法則位置的調(diào)整.

圖8　一致性法則調(diào)整前后的主體重置結(jié)果

Fig.8Results of subject retargeting with and without the rule of consistency

圖9　主體與分隔線的關(guān)系

采用一致性法則約束的主體重置結(jié)果如圖8(b)所示.

3基于區(qū)域平衡法則的圖像美化

有些圖像(如風(fēng)光攝影等)中不存在明顯的主體,但存在區(qū)域分割線,文中采用視覺區(qū)域平衡法則對此類具有明顯垂直或水平布局的圖像進(jìn)行優(yōu)化:檢測出區(qū)域分隔線后,采用拉伸分隔線某一側(cè)區(qū)域的方法來實(shí)現(xiàn)分隔線兩側(cè)的區(qū)域尺寸比例滿足黃金分割比例.

3.1區(qū)域分隔線檢測及拉伸區(qū)域選定

從上述結(jié)果可知:編號為1,4,5的故障模式，即齒條移動過位、齒面疲勞磨損、齒條斷齒，屬于關(guān)鍵故障灰類；編號為3,6的故障模式，即齒條移動發(fā)出異響、齒條移動不平穩(wěn)，屬于主要故障灰類；編號為2的故障模式，即漏油，屬于次要故障灰類。

首先對灰度圖像進(jìn)行邊緣檢測,然后進(jìn)行二值化,最后使用霍夫變換進(jìn)行區(qū)域分隔線檢測,檢測的準(zhǔn)則為:①分隔線要有連貫性,梯度信息明顯;②分隔線兩側(cè)圖像的差異性要足夠大.文中以水平分隔線檢測為例來說明算法的步驟:

(1)對原始圖像的邊緣二值圖像進(jìn)行霍夫變換,得到若干條直線,按長度排序找出其中較長的直線(文中取長度超過圖像寬度或高度1/2的直線),對選出的直線分別計算其兩側(cè)區(qū)域的平均梯度的比值,選擇比值最大的直線作為最佳分隔線,如圖10所示.

(2)根據(jù)分隔線的水平位置計算上下兩個區(qū)域的高度,按照黃金分割比例及變動尺寸最小的原則,選定不足或超出比例的一側(cè),計算出符合黃金分割比例的目標(biāo)尺寸(高度),與原區(qū)域尺寸相減即得到需要拉伸的長度.

在區(qū)域拉伸的過程中,需要保持與原圖盡可能的相似.如果直接進(jìn)行簡單的插值拉伸,則會導(dǎo)致圖像中所有物體發(fā)生形變,達(dá)不到美化圖像的效果.此外,待拉伸區(qū)域的顯著物體(高能量點(diǎn))和紋理復(fù)雜度會影響不同方法的拉伸效果,因此文中根據(jù)待拉伸區(qū)域的紋理復(fù)雜度選擇基于細(xì)縫裁減算法[15]的區(qū)域拉伸方法或改進(jìn)的基于樣例的圖像修復(fù)算法進(jìn)行操作.

3.2基于細(xì)縫裁減算法的區(qū)域拉伸

當(dāng)待優(yōu)化區(qū)域的紋理復(fù)雜度較低時,文中采用基于細(xì)縫裁減算法[15]的區(qū)域拉伸方法進(jìn)行區(qū)域拉伸,具體步驟如下:

(1)采用Sobel算子的梯度運(yùn)算結(jié)果作為待拉伸區(qū)域的能量圖,如圖11(a)所示;

(2)在能量圖中找出能量之和最小的路徑,即低重要性像素線;

(3)重復(fù)步驟(2)多次,得到多條低重要性像素線,如圖11(b)所示;

(4)在低重要性像素線的位置處插入多條像素線,插入值為與其相鄰的兩條像素線的平均值,進(jìn)行圖像拉伸;

(5)插入或刪除像素線后,重復(fù)步驟(1)-(5),直至新的圖像達(dá)到目標(biāo)尺寸,如圖11(e)所示.

對于上述步驟,文中做了如下改進(jìn):在得到一條低能量路徑后,在此路徑上提升能量圖灰度值50,以減小下次低能量路徑搜索時重復(fù)選擇此路徑中像素點(diǎn)的概率.多次實(shí)驗(yàn)結(jié)果表明,此改進(jìn)能在計算低能量路徑時更好地避開圖像中的顯著內(nèi)容.為了保證拉伸后圖像的寬高比例不發(fā)生變化,文中對另一維度也采用細(xì)縫裁減算法進(jìn)行拉伸,結(jié)果如圖11(f)所示.

該方法對總體紋理復(fù)雜度不高的待拉伸區(qū)域具有良好的拉伸效果,由于選擇低能量路徑進(jìn)行復(fù)制,故可以保護(hù)圖像中的顯著物體不出現(xiàn)拉伸后的形變,從而保證圖像質(zhì)量.如圖11(c)、 11(d)所示,細(xì)縫裁減法避開了圖中的海鷗,沒有引起海鷗的形變,同時拉伸了天空的尺寸,在保持與原圖較大相似性的情況下,美化了圖像的區(qū)域分布.

3.3基于樣例修復(fù)算法的圖像區(qū)域拉伸

當(dāng)待優(yōu)化區(qū)域的紋理復(fù)雜度較高時,文中采用基于樣例的修復(fù)算法進(jìn)行區(qū)域拉伸或縮小.

對于紋理復(fù)雜度較高的區(qū)域,由于區(qū)域中大部分地方的梯度較高,具有較高的能量,若使用細(xì)縫裁減算法,會導(dǎo)致紋理的模糊,效果不理想.而基于樣例的修復(fù)算法是在已有的圖像區(qū)域中,尋找相似的最佳像素塊來對空缺區(qū)域進(jìn)行填補(bǔ),從而實(shí)現(xiàn)拉伸,故能較好地保證拉伸后圖像的紋理質(zhì)量.

圖10　區(qū)域分隔線的提取

圖11細(xì)縫裁減算法示例

Fig.11Examples of seam-carving algorithm

3.4兩種拉伸方法的效果對比

對紋理復(fù)雜度高的圖像區(qū)域,文中分別使用上述兩種拉伸方法進(jìn)行拉伸效果對比,結(jié)果如圖12所示,可以看出細(xì)縫裁減算法拉伸后復(fù)雜紋理區(qū)域會產(chǎn)生模糊,而基于樣例的圖像修復(fù)方法則具有較好的紋理一致性.

圖12　兩種算法的修復(fù)效果對比

Fig.12Comparison of restoration effects between two algorithms

由于基于樣例的圖像修復(fù)方法較為復(fù)雜和耗時,因此對于紋理簡單的區(qū)域(如天空等),文中采取細(xì)縫裁減算法進(jìn)行拉伸,而對于紋理復(fù)雜的區(qū)域(如草地、樹叢等),則采用基于樣例的方法進(jìn)行拉伸.通過設(shè)定合適的紋理復(fù)雜度閾值,可自適應(yīng)地選擇合適的方法實(shí)現(xiàn)區(qū)域優(yōu)化.

4實(shí)驗(yàn)結(jié)果比較與分析

采用文中方法對一系列圖像(有明顯主體但無區(qū)域分隔的圖像、既有區(qū)域分割線又有明顯主體的圖像)進(jìn)行美化,結(jié)果圖13所示.

對于一幅大小為480×320、主體區(qū)域約占10%的圖像,在i5-2450M雙核2.5GHz、內(nèi)存4GB的計算機(jī)上運(yùn)行文中算法,主體提取、主體調(diào)整修復(fù)、區(qū)域視覺平衡調(diào)整所需時間分別為7.32、8.34、3.72s.

圖13　不同圖像的美學(xué)優(yōu)化結(jié)果

為了說明文中方法的有效性,對文中方法、文獻(xiàn)[6,8]方法的實(shí)驗(yàn)結(jié)果進(jìn)行了對比,結(jié)果見圖14、15.如圖14所示:文獻(xiàn)[6]方法會對美化后圖像產(chǎn)生擠壓變形,但文中方法沒有產(chǎn)生變形且較好地保持了圖像的紋理效果;文獻(xiàn)[6]方法僅僅對圖像進(jìn)行了三分法構(gòu)圖優(yōu)化或視覺平衡調(diào)整,但文中方法結(jié)合主體三分法構(gòu)圖和視覺平衡調(diào)整進(jìn)行優(yōu)化,并對主體與區(qū)域分割線的位置關(guān)系進(jìn)行了約束,以避免出現(xiàn)不合理的情況.

從圖15可以看出:文獻(xiàn)[8]方法具有較好的美化效果,但對海平面和海面波浪、沙灘、礁石等產(chǎn)生了扭曲;文中方法沒有對背景產(chǎn)生扭曲.不過對于含有多主體的圖像,文中方法只對面積最大的主體進(jìn)行美化,而文獻(xiàn)[8]方法可對多主體同時進(jìn)行美化.

圖14　文中方法與文獻(xiàn)[6]方法的實(shí)驗(yàn)結(jié)果對比

Fig.14Comparison of experimental results between the proposed method and the method in reference[6]

圖15　文中方法與文獻(xiàn)[8]方法的實(shí)驗(yàn)結(jié)果對比

Fig.15Comparison of experimental results between the proposed method and the method in reference[8]

由于尚未見有關(guān)對圖像構(gòu)圖優(yōu)化或者變形算法好壞的評價方法,只能通過人的主觀判斷做出評價,因此筆者進(jìn)行了一次問卷調(diào)查.共組織36人參與問卷調(diào)查,對圖14、15的圖像美化結(jié)果及原圖像進(jìn)行美感投票,結(jié)果顯示,認(rèn)為文中方法美化效果最好的占72.2%.

綜合上述實(shí)驗(yàn)結(jié)果可知,文中方法具有以下優(yōu)點(diǎn):①結(jié)合了主體三分法則與區(qū)域視覺平衡法則進(jìn)行圖像構(gòu)圖美化,適用于有主體或區(qū)域分割線的各類圖像美化;②文中對基于樣例的圖像修復(fù)算法進(jìn)行了改進(jìn),降低了計算量,并在一定程度上提升了修復(fù)效果;③可以根據(jù)調(diào)整區(qū)域的紋理復(fù)雜度,自適應(yīng)選擇改進(jìn)的基于樣例的圖像修復(fù)算法或細(xì)縫裁減法進(jìn)行區(qū)域填補(bǔ),既可以保持圖像內(nèi)容不丟失,處理速度更快,又可以保證修復(fù)后紋理的質(zhì)量;④在主體重置過程中,對主體與區(qū)域分割線的關(guān)系進(jìn)行了一定規(guī)則的約束,保證調(diào)整后的主體符合客觀自然規(guī)律.

不過,文中方法也存在一定的局限性:①只能依照常用的構(gòu)圖方式對圖像進(jìn)行美化,不適用于一些個性化較強(qiáng)或者結(jié)構(gòu)復(fù)雜的構(gòu)圖方式;②由于文中方法受制于主體檢測與顯著分割線檢測的效果,因此對于背景復(fù)雜的圖像,可能會因?yàn)橹黧w或分割線提取不準(zhǔn)確而導(dǎo)致修復(fù)效果不夠理想;③對于多主體及分割線傾斜度較大的圖像,文中方法不能進(jìn)行有效的美化.

5結(jié)論

文中提出了一種基于主體調(diào)整與視覺平衡法則的圖像美學(xué)優(yōu)化方法,采用主體提取、區(qū)域分割線檢測、基于樣例的圖像修復(fù)方法、細(xì)縫裁減法、主體重置等方法對圖像進(jìn)行構(gòu)圖優(yōu)化處理,以獲得增強(qiáng)圖像美感的效果.實(shí)驗(yàn)結(jié)果表明,文中方法可有效地保護(hù)圖像內(nèi)容,在一定程度上減少美化后圖像可能出現(xiàn)的不合理情況(如地面上的物體懸空等),為圖像美學(xué)優(yōu)化研究提出了新的思路.文中方法也適用于PC和Android平臺,能為用戶提供拍照后圖像的即時構(gòu)圖美化,具有較高的實(shí)用性.

然而,文中方法的優(yōu)化效果會受到圖像主體檢測和顯著線檢測算法的限制,對某些圖像的處理效果不太好.同時,圖像構(gòu)圖是一個比較復(fù)雜的問題,構(gòu)圖樣式千變?nèi)f化,除了三分構(gòu)圖法和視覺平衡法則外,還需要考慮別的構(gòu)圖法則或規(guī)律,如對角線法則、對稱式構(gòu)圖、曲線構(gòu)圖等.基于更多不同的構(gòu)圖規(guī)律的圖像構(gòu)圖美化是今后的研究方向.此外,圖像的美感還與顏色的搭配和分布有關(guān),今后還可以結(jié)合圖像的色彩開展圖像美化研究.

參考文獻(xiàn)：

[1]Hoening F.Defining computational aesthetics [C]∥Proceedings of the First Eurographics Conference on Computational Aesthetics in Graphics,Visualization and Imaging.Aire-la-Ville:Eurographics Association Press,2005:13-18.

[2]王偉凝,蟻靜緘,賀前華.可計算圖像美學(xué)研究進(jìn)展 [J].中國圖象圖形學(xué)報,2012,17(8):893-901.

Wang Wei-ning,Yi Jing-jian,He Qian-hua.Review for computational image aesthetics [J].Journal of Image and Graphics,2012,17(8):893-901.

[3]王偉凝,蟻靜緘,徐向民,等.可計算的圖像美學(xué)分類與評估 [J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2014,26(7):1075-1083.

Wang Wei-ning,Yi Jing-jian,Xu Xiang-min,et al.Computational aesthetics of image classification and evaluation [J].Journal of Computer Aided Design and Computer Graphics,2014,26(7):1075-1083.

[4]Datta R,Joshi D,Li J,et al.Studying aesthetics in photographic images using a computational approach [C]∥Proceedings of 2006 European Conference on Computer Vision.Berlin/Heidelberg:Springer-Verlag,2006:288-301.

[5]Yao L,Suryanarayan P,Qiao M,et al.Oscar:on-site composition and aesthetics feedback through exemplars for photographers [J].International Journal of Computer Vision,2012,96(3):353-383.

[6]Bhattacharya S,Sukthankar R,Shah M.A framework for photo quality assessment and enhancement based on visual aesthetics [C]∥Proceedings of the 18th International Conference on Multimedia.New York:ACM,2010:271-280.

[7]Zhang F L,Wang M,Hu S M.Aesthetic image enhancement by dependence-aware object recomposition [J].IEEE Transactions on Multimedia,2013,15(7):1480-1490.

[8]Liu L G,Jin Y,Wu Q B.Realtime aesthetic image retargeting [C]∥Proceedings of the Sixth International Conference on Computational Aesthetics in Graphics,Visua-lization and Imaging.Aire-la-Ville:Eurographics Association Press,2010:1-8

[9]Liu L G,Chen R J,Wolf L,et al.Optimizing photo composition [J].Computer Graphics Forum,2010,29(2):469-478.

[10]Jin Y,Wu Q B,Liu L G.Aesthetic photo composition by optimal crop-and-warp [J].Computers & Graphics,2012,36(8):955-965.

[11]Guo Y W,Liu M,Gu T T,et al.Improving photo composition elegantly:considering image similarity during composition optimization [J].Computer Graphics Forum,2012,31(7):2193-2202.

[12]視覺新媒體.構(gòu)圖決定成敗 [M].北京:機(jī)械工業(yè)出版社,2013.

[13]Achanta R,Hemami S,Estrada F,et al.Frequency-tuned salient region detection [C]∥Proceedings of 2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami:IEEE,2009:1597-1604.

[14]Criminisi A,Pérez P,Toyama K.Region filling and object removal by exemplar-based image inpainting [J].IEEE Transactions on Image Processing,2004,13(9):1200-1212.

[15]Avidan S,Shamir A.Seam carving for content-aware ima-ge resizing [J].ACM Transactions on Graphics,2007,26(3):10-18.

Aesthetic Enhancement of Images Based on Photography

Composition Guidelines

WangWei-ningLiuJian-congXuXiang-minJiangYi-ziWangLi

(School of Electronic and Information Engineering,South China University of Technology,Guangzhou 510640,Guangdong,China)

Abstract:With the prevalence of digital cameras and smart phones, people can acquire digital images more and more conveniently. However, normal users are not satisfied with their photos constantly because they are not fami-liar with the professional knowledge of photography. In order to solve this problem, an approach of image aesthetic enhancement, which takes into consideration both the subject and the background layout of an image, is presented. According to the rules of trisection and visual balance, this approach retargets the subject and resizes the certain part of background in an image to enhance image aesthetic quality by means of subject extraction, region borderline detection, exemplar-based image inpainting, seam carving and subject retargeting. Experimental results show that the proposed approach can enhance the aesthetics of image composition without deforming the salient objects in an image and without losing any image information.

Key words: image enhancement;image aesthetics;composition optimization;exemplar-based image inpainting;seam-carving algorithm