摘 "要： 風(fēng)能是一種重要的可再生資源，因此對(duì)風(fēng)力發(fā)電機(jī)組進(jìn)行損傷檢測(cè)具有重要意義。由于葉片圖像的清晰度對(duì)損傷檢測(cè)有很大影響，因此需要通過(guò)自動(dòng)調(diào)焦步驟獲得清晰的圖像。不停機(jī)風(fēng)力發(fā)電機(jī)葉片追蹤圖像中葉片的位置和尺寸改變，無(wú)法準(zhǔn)確評(píng)估圖像清晰度。因此，通過(guò)聚焦搜索策略無(wú)法實(shí)現(xiàn)自動(dòng)聚焦步驟。文中提出一種基于改進(jìn)的清晰度評(píng)價(jià)方法的自動(dòng)調(diào)焦系統(tǒng)。通過(guò)基于面積補(bǔ)償系數(shù)的方法補(bǔ)償清晰度評(píng)價(jià)，并進(jìn)行仿真實(shí)驗(yàn)和風(fēng)力發(fā)電機(jī)模型實(shí)驗(yàn)。葉片目標(biāo)變化對(duì)清晰度評(píng)價(jià)的影響從0.218降至0.030，葉片目標(biāo)變化對(duì)清晰度的影響大大降低。在改進(jìn)的清晰度評(píng)價(jià)方法的基礎(chǔ)上，采用爬山法的搜索策略實(shí)現(xiàn)自動(dòng)調(diào)焦步驟，同時(shí)，由于需要考慮算法程序?qū)τ诓煌C(jī)風(fēng)力發(fā)電機(jī)的實(shí)時(shí)性，計(jì)算了自動(dòng)調(diào)焦步驟的消耗時(shí)間，通過(guò)降低圖像分辨率和調(diào)用NumPy庫(kù)，將耗時(shí)從13.79 s減小到0.1 s以下。最后，實(shí)現(xiàn)了不停機(jī)風(fēng)力發(fā)電機(jī)葉片追蹤圖像的自動(dòng)調(diào)焦步驟，為提高自動(dòng)調(diào)焦技術(shù)的性能提供了借鑒。

關(guān)鍵詞： 風(fēng)力發(fā)電機(jī)； 自動(dòng)調(diào)焦； 葉片變化； 清晰度評(píng)價(jià)； 調(diào)焦搜索； 損傷檢測(cè)

中圖分類號(hào)： TN911?34 " " " " " " " " " " " " " 文獻(xiàn)標(biāo)識(shí)碼： A " " " " " " " " " " " "文章編號(hào)： 1004?373X（2024）21?0139?10

Improved auto?focusing system for non?stop wind turbine blade

TIAN Hang， CHEN Guo， ZHAO Hui， TAO Wei， Lü Na

（School of Sensing Science and Engineering， School of Electronic Information and Electrical Engineering， Shanghai Jiao Tong University， Shanghai 200240， China）

Abstract： Wind energy is an important renewable resource， so the damage detection of wind turbines is of great significance. Since the definition of the blade image has a great influence on damage detection， it is necessary to obtain clear images by the step of auto?focusing. The blade position and size of the blade in the blade tracking image of the non?stop wind turbine are changing， so it is difficult to evaluate the image definition accurately. As a result， the step of auto?focusing cannot be realized by focusing search strategy. In this paper， an auto?focusing system based on the improved definition evaluation method is proposed. The definition evaluation is compensated by the method based on the area compensation coefficient. The simulation experiments and wind turbine model experiments are carried out. The experimental results show that the influence of the change of blade （the object） on definition evaluation decreases from 0.218 to 0.030. It can be seen that the effect from change of blade （the object） on definition is reduced greatly. Then， based on the improved definition evaluation method， the search strategy of mountain climbing method is used to realize the step of auto?focusing. It is necessary to take into account the real?time performance of the algorithm program for the non?stop wind turbine， so the consuming time of the step of auto?focusing is calculated， and the consuming time is reduced from 13.79 s to less than 0.1 s by reducing the image resolution and calling NumPy library. Finally， the step of auto?focusing for the blade tracking image of the non?stop wind turbine is realized. To sum up， it provides a reference for improving the auto?focusing technology.

Keywords： wind turbine; auto?focusing; change of blade; definition evaluation; focus search; damage detecting

0 "引 "言

風(fēng)能在許多國(guó)家的能源結(jié)構(gòu)中占很大比例，風(fēng)能產(chǎn)業(yè)是幫助世界找到擺脫當(dāng)前能源危機(jī)的可行途徑的關(guān)鍵資源。風(fēng)機(jī)在使用過(guò)程中，不可避免地會(huì)發(fā)生損壞，包括葉片表面裂紋、雷擊和腐蝕等。放置不顧葉片損傷將導(dǎo)致嚴(yán)重后果，因此有必要對(duì)葉片損傷進(jìn)行早期檢測(cè)和預(yù)警?，F(xiàn)有的研究大多是在風(fēng)力發(fā)電機(jī)停機(jī)狀態(tài)下進(jìn)行的。為了降低甚至消除停機(jī)狀態(tài)下葉片損傷檢測(cè)的成本，有必要實(shí)現(xiàn)風(fēng)力發(fā)電機(jī)運(yùn)行狀態(tài)下的損傷檢測(cè)。

在風(fēng)力發(fā)電機(jī)運(yùn)行狀態(tài)下，通過(guò)葉片追蹤可以獲得葉片目標(biāo)圖像。但是，此時(shí)獲得的圖像可能不是最高清晰度的圖像，因此無(wú)法準(zhǔn)確識(shí)別葉片表面的損傷。為了準(zhǔn)確識(shí)別葉片表面損傷，有必要對(duì)追蹤葉片目標(biāo)圖像的清晰度進(jìn)行評(píng)估，并利用焦點(diǎn)搜索方法實(shí)現(xiàn)自動(dòng)調(diào)焦系統(tǒng)。

自動(dòng)調(diào)焦系統(tǒng)包含圖像清晰度評(píng)價(jià)和調(diào)焦搜索方法兩部分。

圖像清晰度評(píng)價(jià)是視覺(jué)圖像質(zhì)量測(cè)量的核心，對(duì)視覺(jué)圖像清晰度評(píng)價(jià)的研究是實(shí)現(xiàn)視覺(jué)檢測(cè)的關(guān)鍵技術(shù)之一[1?3]。大多數(shù)清晰度評(píng)價(jià)方法[4]都是基于空間域的，基于空間域的清晰度方法主要是通過(guò)圖像灰度和邊緣信息對(duì)圖像進(jìn)行評(píng)價(jià)[5?6]。大多數(shù)基于頻域的方法使用變換方法[7]，如傅里葉變換和小波變換，計(jì)算圖像的頻域特征來(lái)表示圖像的清晰度評(píng)價(jià)[8]?；趯W(xué)習(xí)的方法從機(jī)器學(xué)習(xí)發(fā)展到深度學(xué)習(xí)。此外，學(xué)者們還研究開(kāi)發(fā)了幾種方法相結(jié)合的方法[9]。為了提高自動(dòng)調(diào)焦技術(shù)的性能，近年來(lái)人們研究了各種改進(jìn)的圖像清晰度評(píng)價(jià)函數(shù)。文獻(xiàn)[10]在模糊濾波的基礎(chǔ)上，計(jì)算了相鄰像素在垂直和水平方向上的灰度差絕對(duì)值之和，并將兩者的最大值作為圖像清晰度評(píng)價(jià)指標(biāo)，取得了較好的效果。文獻(xiàn)[11]提出了基于四鄰域多向兩階段梯度函數(shù)的自動(dòng)調(diào)焦函數(shù)和基于感興趣區(qū)域融合卷積神經(jīng)網(wǎng)絡(luò)智能窗口的瞳孔定位函數(shù)。文獻(xiàn)[12]結(jié)合Brenner函數(shù)和Roberts函數(shù)，提高了微納結(jié)構(gòu)邊緣取向分辨函數(shù)的穩(wěn)定性和靈敏度。文獻(xiàn)[13]采用Tenengrad梯度函數(shù)分兩步搜索焦點(diǎn)位置，可有效提高三軸視覺(jué)測(cè)量系統(tǒng)的聚焦效率和精度。調(diào)焦搜索方法也很重要，常用的調(diào)焦搜索方法[14]包括函數(shù)逼近法、斐波那契法和爬山法，在實(shí)際應(yīng)用中結(jié)合圖像清晰度評(píng)價(jià)實(shí)現(xiàn)自動(dòng)調(diào)焦。此外，通過(guò)結(jié)合Sobel算子圖像清晰度評(píng)價(jià)的變步長(zhǎng)兩階段快速搜索方法，最終實(shí)現(xiàn)了精度高、實(shí)時(shí)性好的自動(dòng)調(diào)焦方法[15]。

對(duì)于運(yùn)行中的風(fēng)力發(fā)電機(jī)，通過(guò)葉片追蹤方法可以獲得風(fēng)力發(fā)電機(jī)的局部葉片圖像，但是，當(dāng)前追蹤圖像和下一追蹤圖像中的葉片目標(biāo)發(fā)生了變化，包括葉片目標(biāo)位置和面積的變化。當(dāng)葉片目標(biāo)在圖像序列中發(fā)生變化時(shí)，會(huì)對(duì)清晰度評(píng)價(jià)產(chǎn)生很大的影響，背景中白云的存在也會(huì)對(duì)清晰度評(píng)價(jià)產(chǎn)生干擾?，F(xiàn)有方法的精度和魯棒性都得到了很大的提高，但在目標(biāo)物體變化時(shí)的清晰度評(píng)價(jià)方法存在一定的不足，清晰度評(píng)價(jià)的結(jié)果容易受到目標(biāo)對(duì)象變化的影響，并且清晰度評(píng)價(jià)會(huì)隨著目標(biāo)對(duì)象的變化而變化，圖像清晰度評(píng)價(jià)沒(méi)有統(tǒng)一的標(biāo)準(zhǔn)。

本文提出了一種改進(jìn)的清晰度評(píng)價(jià)方法，以減少同一目標(biāo)運(yùn)動(dòng)引起目標(biāo)變化時(shí)對(duì)圖像清晰度的影響。然后采用調(diào)焦搜索法分析了自動(dòng)調(diào)焦過(guò)程中所花費(fèi)的時(shí)間。最后，實(shí)現(xiàn)了自動(dòng)調(diào)焦步驟，得到了在目標(biāo)變化時(shí)最清晰的葉片圖像。

1 "清晰度評(píng)價(jià)方法與實(shí)驗(yàn)

1.1 "三種經(jīng)典的清晰度評(píng)價(jià)方法

本文介紹了三種經(jīng)典的清晰度評(píng)價(jià)方法，包括方差法、Brenner法和Laplace法。

1） 方差法

采用方差法實(shí)現(xiàn)圖像清晰度的評(píng)價(jià)，方差法的計(jì)算公式如下：

[Fvariance=1m×nf（x，y）-u2] （1）

式中：[m]和[n]表示圖像的尺寸；[f（x，y）]表示圖像中點(diǎn)處的灰度值；[u]表示圖像灰度的均值。[u]的計(jì)算公式如下：

[u=1m×nf（x，y）] （2）

當(dāng)圖像中的物體發(fā)生變化時(shí)，圖像中對(duì)應(yīng)位置的點(diǎn)或區(qū)域的像素灰度值也會(huì)發(fā)生變化。當(dāng)整個(gè)圖像的灰度均值和方差發(fā)生變化時(shí)，方差法計(jì)算的清晰度評(píng)價(jià)值也隨之發(fā)生變化。

2） Brenner法

采用Brenner法計(jì)算圖像清晰度評(píng)價(jià)的公式如下：

[FBrenner=1m×nf（x+2，y）-f（x，y）2] （3）

式中：[f（x，y）]和[f（x+2，y）]分別表示圖像中點(diǎn)[（x，y）]和點(diǎn)[（x+2，y）]處的灰度值。Brenner方法通過(guò)計(jì)算[f（x，y）]相距2個(gè)像素位置處的差值，最終得到圖像清晰度的評(píng)價(jià)值。

3） Laplace法

采用Laplace法計(jì)算圖像清晰度評(píng)價(jià)的公式如下：

[FLaplace=1m×n4f（x，y）-f（x，y+1）-f（x，y-1）- " " " " " " " " " " f（x+1，y）-f（x-1，y）2 " " " " " " " " （4）]

式中[f（x，y）]表示圖像中點(diǎn)[（x，y）]的灰度值。Laplace方法通過(guò)計(jì)算[f（x，y）]及其周圍4個(gè)像素點(diǎn)的灰度值的差值，最終得到圖像清晰度的評(píng)價(jià)值。

本文采用方差進(jìn)行清晰度評(píng)價(jià)，在方差法的基礎(chǔ)上進(jìn)行補(bǔ)償?shù)玫礁倪M(jìn)的清晰度評(píng)價(jià)方法。

1.2 "改進(jìn)的清晰度評(píng)價(jià)方法

1.2.1 "清晰度評(píng)價(jià)方法的局限性

在葉片的清晰度評(píng)價(jià)過(guò)程中，圖像中的背景會(huì)影響清晰度評(píng)價(jià)，圖像中葉片目標(biāo)的變化會(huì)導(dǎo)致葉片目標(biāo)位置、葉片目標(biāo)大小等的變化，位置和大小也影響清晰度的評(píng)價(jià)。

1） 風(fēng)力發(fā)電機(jī)的葉片背景干擾

圖1為包含葉片目標(biāo)和背景的風(fēng)電葉片圖像。背景包括藍(lán)天、白云等，白云與葉片目標(biāo)灰度接近，使用圖像灰度方法進(jìn)行清晰度評(píng)價(jià)時(shí)，白云會(huì)對(duì)計(jì)算葉片目標(biāo)清晰度的評(píng)價(jià)造成干擾。

2） 風(fēng)力發(fā)電機(jī)葉片位置的影響

圖2為風(fēng)力發(fā)電機(jī)運(yùn)行中葉片位于不同位置時(shí)的圖像。葉片運(yùn)行時(shí)，葉片目標(biāo)在多次追蹤的圖像中位置不同，圖像中葉片目標(biāo)的位置改變對(duì)圖像清晰度評(píng)價(jià)有影響。如圖2所示，當(dāng)葉片目標(biāo)在圖像中處于不同位置時(shí)，在葉片目標(biāo)旋轉(zhuǎn)后，葉片高度、水平等的變化會(huì)導(dǎo)致與檢測(cè)裝置的距離發(fā)生變化，造成葉片目標(biāo)與檢測(cè)裝置在三維空間中的距離發(fā)生變化，從而影響圖像清晰度評(píng)價(jià)。

3） 風(fēng)力發(fā)電機(jī)葉片面積的影響

圖3為風(fēng)力發(fā)電機(jī)運(yùn)行中不同面積大小葉片目標(biāo)的圖像。當(dāng)風(fēng)力發(fā)電機(jī)葉片運(yùn)行時(shí)，在多次追蹤的圖像中，葉片目標(biāo)面積是不同的，這對(duì)圖像清晰度評(píng)價(jià)有影響。對(duì)于方差法，圖像中葉片目標(biāo)區(qū)域的變化導(dǎo)致目標(biāo)區(qū)域灰度值的變化，從而造成圖像的平均灰度值和對(duì)應(yīng)區(qū)域的灰度值方差的變化，最后，影響方差法的清晰度評(píng)價(jià)結(jié)果。

1.2.2 "改進(jìn)的清晰度評(píng)價(jià)方法

針對(duì)之前提出的圖像清晰度評(píng)價(jià)的局限性，提出解決的方法。

1） 針對(duì)圖像中背景的影響干擾

對(duì)于圖像中的背景，采用差分和圖像分割的方法獲取葉片目標(biāo)的區(qū)域。

將葉片目標(biāo)圖像與背景圖像進(jìn)行差分后，在差分圖像中消除背景中白云的干擾，然后通過(guò)閾值分割得到目標(biāo)連通域，即葉片目標(biāo)的區(qū)域。

2） 針對(duì)葉片目標(biāo)位置的影響

對(duì)于圖像中葉片位置的變化影響清晰度評(píng)價(jià)，根據(jù)葉片目標(biāo)位置計(jì)算位置補(bǔ)償系數(shù)。

當(dāng)葉片目標(biāo)位于圖像中不同位置時(shí)，清晰度評(píng)價(jià)值不同。利用葉片目標(biāo)的位置補(bǔ)償系數(shù)獲得葉片目標(biāo)在圖像中心位置的清晰度評(píng)價(jià)值。

3） 針對(duì)葉片目標(biāo)面積的影響

由于圖像中葉片目標(biāo)面積的變化影響清晰度評(píng)價(jià)，根據(jù)葉片目標(biāo)面積計(jì)算面積補(bǔ)償系數(shù)，實(shí)現(xiàn)對(duì)清晰度評(píng)價(jià)的補(bǔ)償。

當(dāng)葉片目標(biāo)面積發(fā)生變化時(shí)，對(duì)方差法計(jì)算的清晰度評(píng)價(jià)有較大影響。通過(guò)對(duì)葉片目標(biāo)面積的計(jì)算，實(shí)現(xiàn)基于目標(biāo)面積的補(bǔ)償系數(shù)對(duì)清晰度評(píng)價(jià)的補(bǔ)償。

4） 方差法的清晰度評(píng)價(jià)值與葉片目標(biāo)改變之間的關(guān)系

葉片目標(biāo)的變化包括葉片目標(biāo)位置和面積大小的變化等。對(duì)于葉片目標(biāo)位置的變化，可以從葉片目標(biāo)的不同位置計(jì)算位置補(bǔ)償系數(shù)，最后補(bǔ)償為葉片目標(biāo)位于圖像中心時(shí)的清晰度評(píng)價(jià)。本文主要采用方差法考慮葉片目標(biāo)面積變化與清晰度評(píng)價(jià)之間的關(guān)系，從葉片目標(biāo)面積計(jì)算面積補(bǔ)償系數(shù)，得到補(bǔ)償后的圖像清晰度評(píng)價(jià)。

針對(duì)葉片目標(biāo)面積改變與方差法計(jì)算圖像清晰度評(píng)價(jià)的關(guān)系，分析如下。

圖4為包括目標(biāo)和背景的圖像。其中，圖像中目標(biāo)的灰度均為[u1]，背景的灰度均為[u2]。背景部分占圖像總面積的比例為[k1]，目標(biāo)部分占圖像總面積的比例為[k2]，并且[k1+k2=1]。

圖像灰度均值的計(jì)算公式如下：

[u=k1u1+k2u2=（1-k2）u1+k2u2] （5）

圖像灰度方差的公式如下：

[σ2=k1（u1-u）2+k2（u2-u）2] （6）

整理式（5）、式（6）之后的公式如下：

[σ2=（1-k2）k2C] （7）

式中，[C=（u1-u2）2]，是一個(gè)與目標(biāo)灰度均值與背景灰度均值相關(guān)的常值。所以，表示方差[σ2]與目標(biāo)面積的比例[k2]存在公式（7）的函數(shù)關(guān)系。

補(bǔ)償葉片目標(biāo)面積之后的清晰度評(píng)價(jià)公式如下：

[Fcompensated=Fvariance*kcompensated=1m×nf（x，y）-u2*kcompensated] （8）

式中[kcompensated=1k2（1-k2）]是面積補(bǔ)償系數(shù)。通過(guò)補(bǔ)償系數(shù)[kcompensated]來(lái)減小目標(biāo)面積對(duì)圖像清晰度評(píng)價(jià)的影響，最終得到補(bǔ)償之后的清晰度評(píng)價(jià)結(jié)果。

1.3 "清晰度評(píng)價(jià)實(shí)驗(yàn)

本節(jié)介紹了圖像清晰度評(píng)價(jià)實(shí)驗(yàn)，包括：采用方差法、Brenner法和Laplace法對(duì)同一葉片目標(biāo)進(jìn)行的清晰度評(píng)價(jià)實(shí)驗(yàn)；變換葉片目標(biāo)圖像清晰度評(píng)價(jià)改進(jìn)的圖像清晰度評(píng)價(jià)實(shí)驗(yàn)；改進(jìn)了不同焦點(diǎn)下的圖像清晰度評(píng)價(jià)實(shí)驗(yàn)。

實(shí)驗(yàn)包括仿真實(shí)驗(yàn)和風(fēng)力發(fā)電機(jī)葉片模型實(shí)驗(yàn)。通過(guò)Matlab軟件實(shí)現(xiàn)了仿真實(shí)驗(yàn)。在圖5中，風(fēng)力發(fā)電機(jī)模型實(shí)驗(yàn)使用風(fēng)電葉片模型和檢測(cè)裝置。檢測(cè)裝置包括鏡頭、相機(jī)、云臺(tái)等。檢測(cè)裝置與風(fēng)力發(fā)電機(jī)葉片模型之間的長(zhǎng)度為1 m。

相機(jī)為大恒水星系列，1 220萬(wàn)像素，幀率為9 f/s，在分辨率降低的情況下可以提高幀率，最大幀率為14 f/s，實(shí)驗(yàn)中，相機(jī)增益為24 dB，曝光時(shí)間為10 ms。鏡頭支持電動(dòng)聚焦、變焦和可調(diào)光圈，焦距范圍為10～200 mm，實(shí)驗(yàn)中，將光圈調(diào)節(jié)到最大，調(diào)整變焦和聚焦，得到風(fēng)電模型的圖像。

云臺(tái)支持水平和垂直方向的旋轉(zhuǎn)，實(shí)驗(yàn)中，可以改變檢測(cè)裝置的水平方向和垂直方向。轉(zhuǎn)速檢測(cè)時(shí)，轉(zhuǎn)動(dòng)機(jī)頭使檢測(cè)裝置面向風(fēng)電葉片模型，垂直角度分別調(diào)整為0°、30°和45°。

圖6為上位機(jī)界面，包括參數(shù)部分和自動(dòng)調(diào)焦部分。經(jīng)過(guò)葉片追蹤步驟，得到位于葉片目標(biāo)中心附近的圖像。為了獲得具有最高清晰度評(píng)價(jià)的圖像，自動(dòng)調(diào)焦部分在啟動(dòng)調(diào)焦步驟后，調(diào)整控制鏡頭的焦距來(lái)實(shí)現(xiàn)自動(dòng)調(diào)焦步驟。

實(shí)驗(yàn)部分包括仿真實(shí)驗(yàn)與風(fēng)電模型實(shí)驗(yàn)兩部分。仿真實(shí)驗(yàn)中，使用了Matlab軟件，針對(duì)目標(biāo)位置與目標(biāo)面積改變兩種情況，進(jìn)行了實(shí)驗(yàn)并得到實(shí)驗(yàn)結(jié)果。風(fēng)電模型實(shí)驗(yàn)中，采用檢測(cè)裝置采集風(fēng)電模型的圖像，并使用方差法和改進(jìn)后的方差法進(jìn)行清晰度評(píng)價(jià)，驗(yàn)證改進(jìn)后清晰度評(píng)價(jià)方法的有效性。

1.3.1 "仿真實(shí)驗(yàn)

使用Matlab軟件進(jìn)行仿真實(shí)驗(yàn)。仿真實(shí)驗(yàn)中，分別得到如圖7a）和圖8a）所示的目標(biāo)位置與目標(biāo)面積改變的圖像序列，并采用方差法的清晰度評(píng)價(jià)方法，得到相應(yīng)的清晰度評(píng)價(jià)曲線分別如圖7b）和圖8b）所示。

圖7a）和圖8a）分別為目標(biāo)位置與目標(biāo)面積改變的圖像序列，目標(biāo)為灰色，背景為白色。圖7a）中，目標(biāo)的面積不變，目標(biāo)位置改變，目標(biāo)位于圖像中9個(gè)不同的位置。圖8a）中，目標(biāo)位置基本不變，目標(biāo)面積改變，每次目標(biāo)面積增加整個(gè)圖像的[116]。

圖7b）和圖8b）的圖像清晰度曲線中，橫坐標(biāo)為第[n]張圖像，縱坐標(biāo)為歸一化后的清晰度。圖7b）中，歸一化的清晰度評(píng)價(jià)的改變張度小于0.007，所以目標(biāo)位置對(duì)圖像清晰度評(píng)價(jià)的影響很小。圖8b）中，歸一化的清晰度評(píng)價(jià)的改變范圍是0～1，所以目標(biāo)面積對(duì)圖像清晰度的影響很大。

由仿真實(shí)驗(yàn)結(jié)果得到，目標(biāo)位置對(duì)圖像清晰度評(píng)價(jià)影響很小，目標(biāo)面積對(duì)圖像清晰度的影響很大。

1.3.2 "改進(jìn)方法前后的風(fēng)電葉片模型實(shí)驗(yàn)

對(duì)于風(fēng)電葉片模型，通過(guò)采集不同焦點(diǎn)下的圖像得到圖像序列。

表1中采集三組圖像序列，三組圖像序列中葉片目標(biāo)的面積不同。在圖像序列中，從第1張圖像到第5張圖像，葉片目標(biāo)的清晰度評(píng)價(jià)升高；從第5張圖像到第8張圖像，葉片目標(biāo)的清晰度評(píng)價(jià)降低。

對(duì)三組圖像序列進(jìn)行清晰度評(píng)價(jià)，得到如圖9所示的清晰度評(píng)價(jià)曲線。其中，圖9a）為補(bǔ)償前的清晰度評(píng)價(jià)曲線，圖9b）為補(bǔ)償后的清晰度評(píng)價(jià)曲線。

在圖9a）中，三組圖像的清晰度評(píng)價(jià)曲線均顯示第五組圖像清晰度最高，但在同一焦點(diǎn)下，不同葉片目標(biāo)區(qū)域的清晰度評(píng)價(jià)存在一定差異。計(jì)算相同焦點(diǎn)下不同目標(biāo)清晰度評(píng)價(jià)的最大差值，最終差值的平均值為0.218。在圖9b）補(bǔ)償后的清晰度評(píng)價(jià)曲線中，不同葉片目標(biāo)的清晰度差異小于補(bǔ)償前，計(jì)算差值的平均值為0.030。雖然在第一組和第二組的清晰度評(píng)價(jià)曲線中，第六張圖像的清晰度評(píng)價(jià)與第五張圖像的清晰度評(píng)價(jià)接近，但通過(guò)計(jì)算不同葉片目標(biāo)的圖像清晰度評(píng)價(jià)的平均值，可以獲得最高清晰度的圖像。

風(fēng)電葉片模型實(shí)驗(yàn)結(jié)果中，經(jīng)過(guò)面積補(bǔ)償后的改進(jìn)的清晰度評(píng)價(jià)方法不同葉片目標(biāo)的圖像清晰度評(píng)價(jià)差距明顯減小，所以通過(guò)補(bǔ)償后的清晰度評(píng)價(jià)可以減小葉片目標(biāo)變化對(duì)清晰度評(píng)價(jià)的影響。

1.4 "不同焦點(diǎn)圖像中的葉片損傷

風(fēng)力發(fā)電機(jī)在使用過(guò)程中葉片表面會(huì)產(chǎn)生很多損傷，包括葉片表面裂紋、磨損、雷電焦痕等。因此，在風(fēng)力發(fā)電機(jī)模型中設(shè)計(jì)了不同寬度的線段標(biāo)記作為損傷。較窄的線段代表不同寬度的裂紋損傷，最寬的線段代表磨損或雷擊焦痕等損傷。在獲得不同焦點(diǎn)下的葉片損傷圖像后，計(jì)算改進(jìn)方法的清晰度評(píng)價(jià)，在此基礎(chǔ)上，建立清晰度評(píng)價(jià)與葉片損傷之間的關(guān)系。

圖10顯示不同寬度的線段標(biāo)志。線段寬度是1磅、2磅、4磅、8磅、16磅。因此，線寬的比例為1∶2∶4∶8∶16。最寬的線段標(biāo)志表示葉片磨損損傷，其他較窄的線段標(biāo)志表示葉片裂紋損傷。

圖11為風(fēng)力發(fā)電機(jī)模型葉片損傷情況。由于葉片磨損主要存在于葉尖，因此在同一葉片上添加標(biāo)志，且線標(biāo)最寬的位置在葉尖。將較窄的線段作為葉片的裂紋損傷，線段分布在葉片根部和葉片中部之間。

在不同焦點(diǎn)下得到不同清晰度評(píng)價(jià)的圖像，圖像中存在不同的損傷。

圖12為不同焦點(diǎn)下葉片損傷圖像。在圖12a）～圖12f）中，損傷數(shù)分別為5、4、3、2、2、0。同時(shí)，葉片損傷區(qū)域和邊緣變得模糊。如圖12所示，葉片目標(biāo)位置尺寸發(fā)生了變化。此時(shí)，采用改進(jìn)的清晰度評(píng)價(jià)方法，圖12a）～圖12f）的清晰度評(píng)價(jià)分別為412.5、254.5、229.7、144.2、76.3、63.8，清晰度評(píng)價(jià)不斷降低。

因此，采用改進(jìn)的清晰度評(píng)價(jià)方法，當(dāng)清晰度評(píng)價(jià)值最高時(shí)，葉片損傷最清晰、數(shù)量最多。

采用改進(jìn)的清晰度評(píng)價(jià)方法，對(duì)不同焦點(diǎn)下的圖像進(jìn)行相應(yīng)的清晰度評(píng)價(jià)。結(jié)果表明，不同清晰度評(píng)價(jià)的圖像對(duì)應(yīng)的葉片損傷程度不同。當(dāng)清晰度評(píng)價(jià)值最高時(shí)，可以識(shí)別出最多的損傷。所以，通過(guò)風(fēng)力發(fā)電機(jī)模型實(shí)驗(yàn)，當(dāng)獲得清晰度評(píng)價(jià)最高的葉片目標(biāo)圖像時(shí)，有利于后續(xù)的葉片損傷識(shí)別。

2 "調(diào)焦搜索方法與實(shí)驗(yàn)

2.1 "調(diào)焦搜索方法

搜索策略是基于圖像處理的自動(dòng)調(diào)焦過(guò)程中的一項(xiàng)關(guān)鍵技術(shù)。調(diào)焦搜索策略應(yīng)當(dāng)合理，盡量避免重復(fù)搜索或搜索失敗，目前常見(jiàn)的幾種方法包括：函數(shù)逼近法、斐波那契搜索法以及爬山法。

1） 函數(shù)逼近法

采集不同位置的評(píng)價(jià)函數(shù)值，由二階或三階函數(shù)進(jìn)行曲線擬合實(shí)現(xiàn)逼近評(píng)價(jià)曲線。自動(dòng)調(diào)焦過(guò)程中，通過(guò)求取擬合曲線的極值點(diǎn)實(shí)現(xiàn)自動(dòng)調(diào)焦。

函數(shù)逼近法的特點(diǎn)：曲線局部波動(dòng)影響極值的搜索，可能出現(xiàn)增加調(diào)焦時(shí)間以及誤調(diào)焦的現(xiàn)象；當(dāng)某個(gè)或某部分?jǐn)?shù)據(jù)出現(xiàn)較大誤差時(shí)，會(huì)導(dǎo)致曲線擬合的結(jié)果產(chǎn)生較大誤差，極大地影響調(diào)焦結(jié)果，可靠性不強(qiáng)。

2） 斐波那契搜索法

搜索區(qū)間為[[a0，b0]]，由斐波那契數(shù)減小區(qū)間長(zhǎng)度，最終得到評(píng)價(jià)曲線極值對(duì)應(yīng)的區(qū)間，從而實(shí)現(xiàn)自動(dòng)調(diào)焦。

該方法的優(yōu)點(diǎn)是：不確定區(qū)間可預(yù)測(cè)，采樣的實(shí)驗(yàn)點(diǎn)是有限的且收斂性比較好；不足之處：當(dāng)評(píng)價(jià)曲線出現(xiàn)大量局部極大值時(shí)，容易無(wú)法跳脫局部極大值的區(qū)域?qū)е抡`調(diào)焦。

3） 爬山法

通過(guò)評(píng)價(jià)曲線的走勢(shì)，在最佳聚焦位置到達(dá)峰值，遠(yuǎn)離時(shí)評(píng)價(jià)函數(shù)減小。

爬山法的特點(diǎn)：由實(shí)際需要調(diào)整搜索步長(zhǎng)，通常第一次進(jìn)行大范圍搜索確定目標(biāo)范圍，第二次搜索時(shí)，范圍較小以便目標(biāo)定位。

函數(shù)逼近法與斐波那契搜索法易受局部極大值的影響，爬山法可以采用調(diào)整搜索步長(zhǎng)的方式減小局部極大值的影響，本文采用的調(diào)焦搜索策略為爬山法。

2.2 "自動(dòng)調(diào)焦實(shí)驗(yàn)

自動(dòng)調(diào)焦包括清晰度評(píng)價(jià)方法與調(diào)焦搜索策略兩部分。完成葉片追蹤步驟后，獲取圖像中葉片目標(biāo)發(fā)生的改變，本文通過(guò)基于面積補(bǔ)償系數(shù)的方法實(shí)現(xiàn)圖像清晰度評(píng)價(jià)，減小了目標(biāo)改變對(duì)清晰度評(píng)價(jià)的影響，之后，基于改進(jìn)的清晰度評(píng)價(jià)方法使用爬山法實(shí)現(xiàn)調(diào)焦搜索，并實(shí)現(xiàn)自動(dòng)調(diào)焦。

在檢測(cè)過(guò)程中，葉片旋轉(zhuǎn)周期為1.5 s，經(jīng)過(guò)葉片追蹤步驟后，獲取了自動(dòng)調(diào)焦過(guò)程的視頻結(jié)果，并且檢測(cè)過(guò)程中一直在執(zhí)行葉片追蹤步驟，自動(dòng)調(diào)焦步驟在完成調(diào)焦后結(jié)束。其中，圖13為自動(dòng)調(diào)焦在視頻中第4 s時(shí)的結(jié)果，圖14為自動(dòng)調(diào)焦在視頻中第12 s時(shí)的結(jié)果。

圖13與圖14中的葉片圖像存在差別：葉片目標(biāo)面積與位置發(fā)生改變；葉片圖像的清晰度發(fā)生改變，圖14中葉片圖像清晰度更高。

圖15為自動(dòng)調(diào)焦過(guò)程中的清晰度評(píng)價(jià)曲線，記錄第4 s、第7 s、第10 s、第12 s和第13.5 s時(shí)的清晰度評(píng)價(jià)結(jié)果，繪制清晰度評(píng)價(jià)曲線。從第4 s～第12 s，清晰度評(píng)價(jià)逐漸升高；第12 s～第13.5 s，清晰度評(píng)價(jià)降低；第12 s時(shí)清晰度評(píng)價(jià)最高，此時(shí)的圖像也最清晰。

自動(dòng)調(diào)焦實(shí)驗(yàn)結(jié)果中，葉片目標(biāo)發(fā)生改變，通過(guò)改進(jìn)的清晰度評(píng)價(jià)方法與爬山法搜索策略，最終獲取到清晰度評(píng)價(jià)最高的葉片圖像，此時(shí)圖像也最清晰，實(shí)現(xiàn)了自動(dòng)調(diào)焦。

3 "自動(dòng)調(diào)焦系統(tǒng)的耗時(shí)

3.1 "計(jì)算耗時(shí)的原因與降低耗時(shí)的方法

本文建立一套不停機(jī)的風(fēng)力發(fā)電機(jī)葉片損傷檢測(cè)系統(tǒng)，需要考慮采集圖像與處理的實(shí)時(shí)性。在風(fēng)力發(fā)電機(jī)運(yùn)行過(guò)程中，葉片追蹤步驟持續(xù)被調(diào)用來(lái)進(jìn)行葉片目標(biāo)追蹤，自動(dòng)調(diào)焦步驟則需要對(duì)每次追蹤到的葉片圖像進(jìn)行清晰度評(píng)價(jià)與調(diào)焦搜索控制，自動(dòng)調(diào)焦步驟需要在兩次葉片追蹤到的圖像之間完成，因此考慮自動(dòng)調(diào)焦部分的耗時(shí)是一個(gè)重要的步驟。

使用筆記本電腦計(jì)算耗時(shí)，系統(tǒng)為Windows 10，CPU為R7?5800H，顯卡為RTX3050，Python版本為3.10。當(dāng)圖像分辨率為3 000×2 200時(shí)，使用累加方法計(jì)算清晰度評(píng)價(jià)，經(jīng)過(guò)灰度化與方差法后程序耗時(shí)為13.79 s，耗時(shí)太長(zhǎng)不能應(yīng)用在實(shí)際的自動(dòng)調(diào)焦過(guò)程中。

因此尋找降低調(diào)焦部分耗時(shí)的方法。采用降低圖像分辨率和調(diào)用Python的科學(xué)計(jì)算庫(kù)——NumPy（Numerical Python）來(lái)降低程序耗時(shí)。

1） 降低圖像分辨率。通過(guò)降低圖像分辨率來(lái)降低程序運(yùn)行耗時(shí)。但是，降低分辨率后是否會(huì)影響圖像清晰度評(píng)價(jià)，降低分辨率對(duì)圖像均值與方差等影響較小，對(duì)于圖像細(xì)節(jié)影響也較小。不同分辨率下，對(duì)不同焦點(diǎn)下的圖像進(jìn)行清晰度評(píng)價(jià)實(shí)驗(yàn)。

圖16為不同分辨率下的圖像序列。將分辨率為3 000×2 200的圖像序列降低分辨率，得到分辨率為300×220的圖像序列。從圖像序列中可以看出，分辨率對(duì)清晰度評(píng)價(jià)較小。采用方差法進(jìn)行清晰度評(píng)價(jià)。

圖17為不同分辨率下的清晰度評(píng)價(jià)曲線。清晰度評(píng)價(jià)曲線中，在分辨率分別為300×220與3 000×2 200下均得到第5張圖像清晰度評(píng)價(jià)最高，不同分辨率下清晰度評(píng)價(jià)的變化趨勢(shì)一致。所以，不同分辨率的圖像對(duì)清晰度評(píng)價(jià)的影響較小。

2） 調(diào)用Python的科學(xué)計(jì)算庫(kù)——NumPy。NumPy是一個(gè)開(kāi)源的Python庫(kù)，是用于科學(xué)計(jì)算的基礎(chǔ)庫(kù)之一，提供了高性能的多維數(shù)組對(duì)象和處理數(shù)組的函數(shù)。

3.2 "耗時(shí)結(jié)果

分辨率分別為3 000×2 200與300×220時(shí)，計(jì)算單張圖像的清晰度評(píng)價(jià)耗時(shí)。表2為分辨率為3 000×2 200時(shí)的清晰度評(píng)價(jià)耗時(shí)，由表中數(shù)據(jù)可知，調(diào)用NumPy庫(kù)后單張圖像耗時(shí)明顯減小。

表3為分辨率為300×220的耗時(shí)結(jié)果。與分辨率為3 000×2 200類似，在調(diào)用NumPy庫(kù)之后，耗時(shí)明顯減小。

當(dāng)分辨率由3 000×2 200到300×220變化時(shí)，單張圖像的耗時(shí)明顯減小，同時(shí)在調(diào)用NumPy庫(kù)后也降低了程序耗時(shí)。

本節(jié)計(jì)算了圖像清晰度評(píng)價(jià)時(shí)的耗時(shí)，同時(shí)采用降低圖像分辨率與調(diào)用NumPy庫(kù)的方法實(shí)現(xiàn)了降低程序耗時(shí)的目的。調(diào)焦搜索策略的耗時(shí)主要在控制鏡頭電機(jī)中，額外耗時(shí)包括通過(guò)設(shè)置的電機(jī)運(yùn)行時(shí)間控制鏡頭焦點(diǎn)移動(dòng)步距的耗時(shí)等，額外耗時(shí)影響較小。

4 "結(jié) "論

對(duì)于運(yùn)行中的風(fēng)力發(fā)電機(jī)，通過(guò)葉片追蹤方法可以獲得風(fēng)力發(fā)電機(jī)局部葉片的圖像，但葉片目標(biāo)在當(dāng)前追蹤圖像和下一次追蹤圖像之間發(fā)生變化，包括葉片目標(biāo)位置和尺寸等的變化。當(dāng)葉片目標(biāo)在圖像中發(fā)生變化時(shí)，會(huì)對(duì)清晰度評(píng)價(jià)產(chǎn)生很大的影響。

本文提出了一種自動(dòng)調(diào)焦方法，包括改進(jìn)的清晰度評(píng)價(jià)方法和爬山搜索方法兩部分。針對(duì)圖像中目標(biāo)發(fā)生變化時(shí)，本文提出一種改進(jìn)的清晰度評(píng)價(jià)方法。首先，在方差法計(jì)算清晰度評(píng)價(jià)的基礎(chǔ)上，加入葉片目標(biāo)區(qū)域面積補(bǔ)償系數(shù)，得到補(bǔ)償后的清晰度評(píng)價(jià)；然后，進(jìn)行了仿真實(shí)驗(yàn)和風(fēng)力發(fā)電機(jī)葉片模型實(shí)驗(yàn)，結(jié)果表明，目標(biāo)變化時(shí)對(duì)清晰度評(píng)價(jià)的影響很大，為0.218，改進(jìn)后的方法對(duì)清晰度評(píng)價(jià)的影響明顯減小，為0.030。本文在改進(jìn)的清晰度評(píng)價(jià)方法的基礎(chǔ)上，采用爬山搜索方法實(shí)現(xiàn)自動(dòng)調(diào)焦步驟。本文分析了自動(dòng)調(diào)焦步驟的耗時(shí)，針對(duì)不停機(jī)風(fēng)電機(jī)組需要考慮檢測(cè)系統(tǒng)的實(shí)時(shí)性，因此分析了自動(dòng)調(diào)焦步驟的耗時(shí)，并考慮了降低耗時(shí)的方法，結(jié)果中耗時(shí)明顯降低，控制在0.1 s以內(nèi)。最后，在圖像中葉片目標(biāo)發(fā)生改變時(shí)，得到了清晰度評(píng)價(jià)最高的葉片圖像，同時(shí)也是最清晰的葉片圖像，實(shí)現(xiàn)了自動(dòng)調(diào)焦。

當(dāng)外界光照發(fā)生變化，圖像整體亮度發(fā)生變化時(shí)，也會(huì)對(duì)清晰度評(píng)價(jià)產(chǎn)生很大的影響，可利用現(xiàn)有圖像目標(biāo)的亮度標(biāo)定方法對(duì)其進(jìn)行改進(jìn)。同時(shí)，可結(jié)合多種方法對(duì)改進(jìn)后的圖像清晰度進(jìn)行評(píng)價(jià)。在清晰度評(píng)價(jià)方法的基礎(chǔ)上，找到合適的搜索策略，快速準(zhǔn)確地找到評(píng)價(jià)最高的圖像。

注：本文通訊作者為趙輝、呂娜。

參考文獻(xiàn)

[1] KE F， LIU H， ZHAO D， et al. A high precision image registration method for measurement based on the stereo camera system [J]. Optik， 2020， 204： 164186.

[2] LIU T J， LIU H H， PEI S C， et al. A high?definition diversity?scene database for image quality assessment [J]. IEEE access， 2018， 6： 45427?45438.

[3] VARGA D. No?reference image quality assessment with convolutional neural networks and decision fusion [J]. Applied sciences， 2022， 12（1）： 101.

[4] ZHAI G， MIN X. Perceptual image quality assessment： A survey [J]. Science China information sciences， 2020， 63（11）： 1?52.

[5] MITTAL A， MOORTHY A K， BOVIK A C. No?reference image quality assessment in the spatial domain [J]. IEEE transactions on image processing， 2012， 21（12）： 4695?4708.

[6] LI Q H， LIN W S， FANG Y M. No?reference quality assessment for multiply?distorted images in gradient domain [J]. IEEE signal processing letters， 2016， 23（4）： 541?545.

[7] BOVIK A C， LIU S Z. DCT?domain blind measurement of blocking artifacts in DCT?coded images [C]// 2001 IEEE International Conference on Acoustics， Speech， and Signal Processing. New York： IEEE， 2001： 1725?1728.

[8] HOU W L， GAO X B， TAO D C， et al. Blind image quality assessment via deep learning [J]. IEEE transactions on neural networks and learning systems， 2015， 26（6）： 1275?1286.

[9] ZHU M Q， YU L J， WANG Z B， et al. Review： A survey on objective evaluation of image sharpness [J]. Applied sciences， 2023， 13（4）： 2652.

[10] BAHY R M. Autofocus microscope system based on blur measurement approach [J]. Journal of physics： Conference series， 2021， 1721（1）： 012058.

[11] 汪路涵，鞏巖，張艷微，等.人眼自動(dòng)對(duì)焦及瞳孔中心自動(dòng)對(duì)準(zhǔn)系統(tǒng)[J].光學(xué)學(xué)報(bào)，2023，43（5）：118?126.

[12] 熊銳，顧乃庭，徐洪艷.一種適應(yīng)多方向灰度梯度變化的自動(dòng)對(duì)焦評(píng)價(jià)函數(shù)[J].激光與光電子學(xué)進(jìn)展，2022，59（4）：373?380.

[13] 周鵬，胡成海，畢超，等.三軸視覺(jué)測(cè)量系統(tǒng)自動(dòng)對(duì)焦技術(shù)[J].紅外與激光工程，2021，50（12）：443?450.

[14] 尤玉虎，劉通，劉佳文.基于圖像處理的自動(dòng)對(duì)焦技術(shù)綜述[J].激光與紅外，2013，43（2）：132?136.

[15] 潘宏亮，孫金霞，韓希珍.圖像清晰度評(píng)價(jià)與變步長(zhǎng)融合調(diào)焦方法[J].紅外與激光工程，2023，52（1）：248?253.

作者簡(jiǎn)介：田 "航（1999—），男，河北保定人，碩士研究生，主要從事視覺(jué)檢測(cè)、圖像處理方面的研究。

陳 "果（2000—），男，江西撫州人，碩士研究生，主要從事焊縫檢測(cè)等方面的研究。

趙 "輝（1965—），男，黑龍江哈爾濱人，博士研究生，教授，主要從事新型傳感器、光電與視覺(jué)檢測(cè)等方面的研究。

陶 "衛(wèi)（1975—），女，遼寧大連人，博士研究生，教授，主要從事光電視覺(jué)檢測(cè)、生物信息傳感等方面的研究。

呂 "娜（1983—），女，陜西西安人，博士研究生，副研究員，碩士生導(dǎo)師，主要從事視覺(jué)檢測(cè)、多信息傳感技術(shù)等方面的研究。