劉海華，胡　艷

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢430074)

?

視皮層簡單細胞三維時空計算模型

劉海華，胡艷

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢430074)

摘要以模擬初級視覺皮層(V1)簡單細胞基本屬性為基礎(chǔ)，構(gòu)造了能檢測視頻序列中運動信息的三維時空計算模型，即聯(lián)合感受野模型(3D CORF).該模型充分利用背側(cè)外側(cè)膝狀核(LGNd細胞)與V1之間的映射關(guān)系，給出了時空不可分離的LGNd細胞運動信息檢測方法，建立了能展現(xiàn)多個LGNd細胞響應(yīng)聯(lián)合特性的子集單元，提出了利用空間上幾何平均、時間上加權(quán)平均的方法計算特定區(qū)域內(nèi)子集單元的聯(lián)合響應(yīng)，從而實現(xiàn)了簡單細胞對運動信息的檢測.實驗結(jié)果表明：建議的3D CORF模型比現(xiàn)有的時空計算模型(如3D Gabor模型)更能反映真實簡單細胞的特性，且具有較好的魯棒性.

關(guān)鍵詞運動檢測；聯(lián)合感受野；V1簡單細胞；背側(cè)外側(cè)膝狀體；時空特性

人類視覺系統(tǒng)是最高效、最完整的運動信息感知系統(tǒng).模擬人類視覺系統(tǒng)實現(xiàn)準確而快速的運動信息檢測是計算機視覺領(lǐng)域的重要研究內(nèi)容，在智能監(jiān)控、目標跟蹤、高級人機交互等方面有廣泛的應(yīng)用前景.

視皮層不同區(qū)域中不同的神經(jīng)細胞參與了提取運動特征的信息處理.其中，初級視覺皮層(V1)簡單細胞是一系列后續(xù)信息處理的基礎(chǔ).各種模擬視皮層簡單細胞運動信息機制的計算模型[1]應(yīng)運而生.Simoncelli等人提出以高斯三階導(dǎo)數(shù)模擬V1簡單細胞檢測運動信息的方法[2]；Petkov等提出了模擬V1簡單細胞時空屬性的3D Gabor計算模型[3].這些計算模型都沒有考慮如響應(yīng)飽和度、交叉方位抑制等非線性性質(zhì)屬性.Azzopardi等人于2012年提出了一種檢測圖像信息的簡單細胞計算模型[4]，稱之為聯(lián)合感受野(CORF).該模型充分考慮了真實簡單細胞各種屬性，其圖像信息提取效果明顯優(yōu)于2D Gabor模型.本文在2D CORF空間模型的基礎(chǔ)上提出了與LGNd(背側(cè)外膝體)細胞相關(guān)聯(lián)的簡單細胞三維聯(lián)合感受野計算模型(3D CORF)，實現(xiàn)運動信息檢測.

1計算模型

1.1模型的整體結(jié)構(gòu)

運動信息檢測的基本處理流程是輸入視頻通過LGNd細胞的處理，獲得其刺激響應(yīng).該響應(yīng)通過LGN神經(jīng)元的軸突后傳遞到V1的簡單細胞前突觸，獲得V1簡單細胞的輸入.這種多對一的突觸連接形成了由LGNd細胞形成的子集；這些子集之間的相互作用，實現(xiàn)了由LGN至V1的完全映射關(guān)系，從而實現(xiàn)了運動信息的檢測.計算模型的整體結(jié)構(gòu)如圖1所示.圖1詳細顯示了三維CORF時空模型各個部分的組成以及它們之間的相關(guān)性.圖2給出了時空不可分離的3D CORF模型簡單細胞(45°方向運動).

圖1　三維CORF模型的結(jié)構(gòu)Fig.1　Structure of 3D CORF model

需要注意的是，圖2中的子集由多個具有相同極性(中心-正或中心-負)的LGNd細胞集合組成，它的響應(yīng)是一個特定時空區(qū)域內(nèi)LGNd細胞的加權(quán)和，其感受野是在該特定時空區(qū)域中所有LGNd細胞感受野的集合，因此每個子集同樣具有LGNd細胞檢測運動對比度變化的能力，但所檢測的區(qū)域更大.為此，子集也可看作為一種類型的細胞，具有兩個不同的極性(中心-負和中心-正)，如圖2所示.同時也考慮子集細胞對V1細胞的整體映射，即在某區(qū)域內(nèi)所有不同極性子集的響應(yīng)的綜合獲取V1簡單細胞的響應(yīng)，從而獲取CORF模型響應(yīng).

圖2　三維CORF模型(45°方向)Fig.2　3D CORF model(directly 45°)

1.2LGND細胞模型

不同的文獻表明，靈長類動物的LGN細胞可以通過高斯差函數(shù)來模擬[5,6].然而，近來神經(jīng)生物學(xué)的研究表明，LGNd細胞具有速度調(diào)制特性，即LGNd細胞的屬性表現(xiàn)在時空域中，而不是簡單的空間屬性，且在時空域上是不分離的.為此，根據(jù)Kilavik和Cugell的研究結(jié)果[7,8]，在原有的空間模型基礎(chǔ)上增加時間域上的描述因子.同時，LGNd細胞的生理學(xué)實驗結(jié)果表明其在時空域中具有一定的方向性.因此，用自主定義的三維高斯差函數(shù)(3D DoG)來模擬LGNd細胞：

(1)

由(1)可以看出，3DDoG是由一個空間域的二維高斯差函數(shù)和時間域的高斯函數(shù)的乘積構(gòu)成.σ是外環(huán)高斯函數(shù)的標準差，表達了其周邊作用的范圍大小，其值的選擇符合哺乳動物中LGNd細胞的電生理數(shù)據(jù)[9].研究表明，視皮層V1簡單細胞感受野的大小與速度的關(guān)系是通過局部區(qū)域內(nèi)LGNd細胞數(shù)量多少來構(gòu)造的.運動速度越大，參與感知的LGNd細胞就越多，因此感受野就相對較大.由于單一的LGNd細胞只能檢測運動速度較低的刺激，為了簡化模型，忽略LGNd細胞在運動速度變化上的影響，則決定LGNd細胞感受野大小的σ取值為常數(shù)2.5.計算模型檢測的運動刺激來自于視頻序列，當(dāng)其幀率是25Hz，其時間單元大概為40ms，根據(jù)文獻[10]中的神經(jīng)生理學(xué)實驗數(shù)據(jù)，選取τ=2.75，而μ1=1.75.

圖3　子集細胞的2維空間模型圖Fig.3　2D space model figure for subsets

圖3給出由式(1)定義的LGNd細胞的行為，其中第一行為中心-正的LGNd細胞行為，而第二行為中心-負LGNd細胞的行為.由圖3和根據(jù)式(1)的定義可以發(fā)現(xiàn)，中心-正的LGNd細胞的模擬函數(shù)與中心-負的LGNd細胞的模擬函數(shù)之間存在以下關(guān)系，即：

(2)

根據(jù)式(1)的定義，則LGNd細胞對于其輸入刺激的響應(yīng)應(yīng)該為，其激勵與模擬函數(shù)之間卷積的非線性處理，即：

(3)

|·|+表示半波整流處理.

圖4　不同極性子集細胞對序列圖像的檢測Fig.4　Detection to different polar subsets

不同極性LGNd細胞對視頻序列刺激的響應(yīng)如圖4所示.其中第一行為輸入圖像序列，第二行為中心-正細胞對序列圖像的檢測效果，而第三行為中心-負細胞對序列圖像的檢測效果.由此可知不同極性的細胞都能檢測輸入序列圖像的運動邊界，且檢測的邊緣是對稱的.

1.3子集細胞感受野

1.3.1子集細胞的參數(shù)設(shè)置過程

每個CORF簡單細胞由一些子集單元或是子集細胞組成，這些子集細胞在時空域上的分布如圖5所示.然而，組成在某一時空位置上子集單元的子集細胞在時空域等方面是需要滿足一些約束條件的.即在空間、時間以及細胞極性和數(shù)量等方面參數(shù)需要符合一定的要求，即1個CORF模型簡單細胞可表示為：

S={(δi,ti,ρi,φi)|i=1,2,…,n},

(4)

其中n表示集合中所包含子集細胞的數(shù)量，δi表示某個子集細胞的極性，而(ti,ρi,φi)表示子集細胞時空域上相對于子集單元中心的具體位置，即時間、極徑、極角.

在本設(shè)計中，每個子集細胞由16個子集細胞的集合組成，分別分布在當(dāng)前幀和前1幀序列圖像上；而在每幀圖像上又分別由4個不同極性的子集細胞組成，如圖5所示.

圖5　子集細胞在時空上的分布Fig.5　Distribution of subsets on space-time

假設(shè)在當(dāng)前幀中子集細胞的集合為S0，其集合為：

(5)

然而，對于前1幀中的子集細胞的集合與當(dāng)前幀中的子集細胞的集合有所不同，這主要表現(xiàn)在子集單元的中心位置由于運動發(fā)生了變化.

1.3.2子集細胞感受野

(6)

其中x′=(x-Δxi-(x′+vt),y-Δyi-(y′+vt),t-t′),Δxi=-ρicosφi,Δyi=-ρisinφi,-3σ′≤x′,y′≤-3σ′,

其中，τ=1+exp(-(v2/2)),U(t)為階躍函數(shù).

該三維高斯函數(shù)Gσ′沒有方向，其參數(shù)設(shè)置是與3DDoG函數(shù)基本一致，只是τ為速度的正態(tài)分布函數(shù)[11].而高斯函數(shù)的范圍為LGNd細胞平均RF半徑[12].標準差與極徑的關(guān)系為：σ=(d0+αρ)/6,d0=2,α=0.9.

1.4CORF模型細胞響應(yīng)

對于CORF模型的簡單細胞，其響應(yīng)應(yīng)該歸咎于在其定義范圍內(nèi)所有子集細胞的響應(yīng).如何根據(jù)這些子集細胞的響應(yīng)求模型簡單細胞的響應(yīng)也是該設(shè)計的關(guān)鍵問題.在文獻[4]中，2DCORF模型細胞的響應(yīng)rv,θ(x,y,t)為空間子集細胞的幾何平均，為此，該設(shè)計定義模型簡單細胞的響應(yīng)與每幀序列圖像上的子集細胞的幾何平均相關(guān)，而與不同幀上子集細胞響應(yīng)的加權(quán)平均相關(guān)，即其定義為:

函數(shù)使用了一個增補數(shù)，主要是為了填補在幾何平均時由幾幀的積所造成的衰減[13].為了簡化計算模型，計算從當(dāng)前幀至前1幀的序列圖像.

2實驗結(jié)果分析

2.1方向選擇性和速度選擇性

為了驗證簡單細胞模型的有效性，首先利用人工合成序列圖像進行測試，測試內(nèi)容包括方向選擇性和速度選擇性.圖6給出了不同方向的計算模型對不同運動方向邊界的檢測效果.可以看出，當(dāng)輸入圖像序列中運動方向與模型的方向相同時，模型細胞的響應(yīng)效果最強，而兩個方向不相匹配時，模型細胞的響應(yīng)較弱.

圖6　3D CORF的方向選擇性Fig.6　Direction selection of 3D CORF

同樣，圖7給出了不同速度的模型簡單細胞對不同運動速度邊界的響應(yīng)結(jié)果.該圖顯示了5個不同的速度3D CORF簡單細胞(方向為0°)，如速度為1ppF(每幀運動1個像素)、2ppF、3ppF和4ppF，分別對邊界水平運動為1ppF、2ppF、3ppF和4ppF序列圖像的響應(yīng)效果圖.從圖中同樣可以發(fā)現(xiàn)，當(dāng)序列圖像中邊界的運動速度與模型細胞的速度相一致時，其響應(yīng)最大；反之，響應(yīng)較小，且當(dāng)速度相差越大，其響應(yīng)越小.

圖7　3D CORF的速度選擇性效果圖Fig.7　Speed selection of 3D CORF

2.23D CORF與3D Gabor的比較

對于簡單細胞時空模型，最為接近真實細胞屬性的模型有3D Gabor模型[3].為了證實建議的3D CORF模型有效性，將該模型的性能與3D Gabor模型比較.比較內(nèi)容主要從兩個基本的調(diào)制屬性進行，即方向選擇性和速度選擇性.

圖8給出了3D CORF模型和3D Gabor模型對不同運動方向和速度的刺激的調(diào)制特性.其中刺激為如圖7類似的人工合成圖像序列，序列圖像中邊界以不同的速度沿不同的方向運動，模型固有的運動速度和方向分別為2ppF和0°.從圖8(a)可看出，3D CORF模型與3D Gabor模型相比具有更好的方位選擇性，即當(dāng)運動邊界與模型固有方向不相匹配時，建議模型對響應(yīng)的抑制更強，方向偏離模型固有方向越大，抑制效果約強，當(dāng)偏離度大于π/4時，響應(yīng)基本消失.這結(jié)果與神經(jīng)生理實驗中簡單細胞感知運動刺激的方位選擇性一致[14].

a)方向調(diào)制曲線　　　　　　b)速度調(diào)制曲線圖8　3D CORF和3D Gabor的調(diào)制特性比較Fig 8　The modulation contrast between 3D CORF and 3D Gabor

類似地，圖8(b)給出了兩個三維時空模型對不同運動速度邊界的速度調(diào)制特性.由圖可以發(fā)現(xiàn)，當(dāng)輸入圖像序列中邊界的運動速度2ppF時，兩個模型對刺激的響應(yīng)最大，而當(dāng)運動速度偏離模型固有速度時，其響應(yīng)受到抑制；運動速度偏離越遠，響應(yīng)強度降低越多.同時可以發(fā)現(xiàn)3D CORF模型的速度選擇性具有較好的對稱性，而3D Gabor雖然也具有速度選擇性，但其速度調(diào)制曲線的不規(guī)則性，使得其速度選擇性不可預(yù)測.

2.3魯棒性

在真實的視頻圖像序列中伴隨著各種各樣的噪聲，對于這些噪聲的抑制能力表現(xiàn)為計算模型的魯棒性.為了檢驗建議計算模型的魯棒性，仍然采用人工合成圖像序列作為刺激，序列圖像為1根小棒在不同噪聲背景下運動，如圖9所示.建議模型對刺激的響應(yīng)同樣與3D Gabor模型進行比較.圖9給出了兩個模型對于隨機高斯噪聲(SNR=30dB)背景下運動小棒的響應(yīng)圖，其中第2、3行分別是3D Gabor和3D CORF模型的檢測結(jié)果.該結(jié)果說明3D CORF模型具有相對較強的抗噪聲能力.

圖9　對有高斯噪聲的圖像序列的處理Fig.9　The process of image sequence with Gaussian noise

為了定量分析比較兩個模型的抗噪聲能力，圖10給出了兩個模型對不同類型噪聲(高斯噪聲和椒鹽噪聲)下不同信噪比圖像檢測的定量曲線圖.圖10(a)是計算模型對高斯噪聲的響應(yīng)結(jié)果，而圖10(b)是對椒鹽噪聲響應(yīng)結(jié)果，可以看出，3D CORF相對3D Gabor而言，對噪聲的響應(yīng)強度小，即能更好地抑制噪聲.

a) 高斯噪聲　　　　　　　　　b) 椒鹽噪聲圖10　對噪聲的魯棒性Fig.10　The robust to noise

3真實視頻檢測

為了更有效地驗證構(gòu)建的3D CORF模型檢測動作的有效性，本文將對其進行簡單的動作檢測應(yīng)用.選取KTH經(jīng)典動作數(shù)據(jù)庫，該數(shù)據(jù)庫包括6組動作，分別為walking(走路)、jogging(慢跑)、running(跑步)、boxing(打拳)、hand-waving(揮手)、hand-clapping(拍手).檢測每一個視頻對象過程中，3D CORF模型采用的方向和速度的組合如下：角度為0°,45°,90°,135°,180°；速度為1ppF，2ppF.圖11顯示了隨機選取的一個視頻對象的效果圖.

圖11　對walking的動作檢測Fig.11　Action detection for walking

圖11中，第一行是輸入視頻的連續(xù)5幀，第二行是用3D Gabor檢測的該輸入動作的效果圖，第三行是用3D CORF檢測的該輸入動作的效果圖.可以得知，用3D CORF模型進行動作檢測，具有良好的檢測效果.

43D CORF的其他特性

為了驗證建議的3D CORF模型的有效性，還需要對該模型的其它特性進一步評估，如模型的對比飽和度、交叉方位抑制性等.雖然Azzopardi等人對2D CORF模型已經(jīng)詳細論證了其是一個簡單細胞模型[4]，但在這里還需要論證建議的3D CORF模型是模擬了背側(cè)通路中真實的V1簡單細胞.

4.1對比飽和度

對于真實的V1簡單細胞，其方位選擇特性在大約內(nèi)就慢慢衰減至消失.3D CORF模型的方位帶寬是可以通過模型參數(shù)，即給定的極徑和極角值來控制，得到其相應(yīng)的范圍.圖12給出真實簡單細胞和兩個不同模型簡單細胞的對比飽和度曲線.其中圖(a)為真實簡單細胞的對比飽和度曲線[15]，圖(b)、(c)分別為3D CORF和3D Gabor模型的的比飽和度曲線.從這些曲線圖可以看出，3D CORF模型的方位帶寬與真實細胞一樣具有對比不變性；3D Gabor模型的方位帶寬只能通過閾值控制，也就是說隨著對比度的增加，其方位選擇范圍也增大(這是所謂的冰崩效應(yīng)).

a) 真實簡單細胞

b) 3D CORF模型　　　　　　c) 3D Gabor模型圖12　簡單細胞的對比飽和度Fig.12　Contrast saturability of simple cells

4.2交叉方位抑制

神經(jīng)生物學(xué)實驗研究表明真實簡單細胞具有交叉方位抑制特性[13].交叉方位抑制的意思是，與當(dāng)前測試刺激(位于最適方位)垂直的掩模刺激將會抑制細胞對測試刺激的最終響應(yīng).該特性不能通過簡單的半線性空間和的方法計算，如Gabor模型.而CORF模型通過聯(lián)合感受野的方法再現(xiàn)這一特性.圖13中每行表示當(dāng)前測試刺激對比度不變(對比度分別為64%和16%)，而與測試刺激垂直的掩模刺激的對比度不斷增大.圖14給出了3D Gabor和3D CORF模型對具有不同對比度測試刺激和掩模刺激的響應(yīng).從圖14可見，當(dāng)掩模刺激的對比度增加到一定值時，3D CORF模型細胞的響應(yīng)迅速降低，而3D Gabor模型細胞的響應(yīng)始終沒有變化.這一結(jié)果證實了3D CORF模型展現(xiàn)了真實細胞的交叉抑制特性，而3D Gabor模型沒有.這主要是因為Gabor模型中正交掩模信號對興奮區(qū)和抑制區(qū)的貢獻是一樣的，其網(wǎng)絡(luò)貢獻為0，所以響應(yīng)并不受影響.而3D CORF模型的聯(lián)合感受野響應(yīng)采用的是幾何平均的方法，即乘性方法而不是加性方法.

圖13　具有不同對比度正交掩模的圖像序列Fig.13　Image sequence with different contrast orthographical masks

圖14　不同模型的交叉抑制Fig.14　Cross inhibition of different models

5結(jié)語

本文利用視覺背側(cè)通路中從LGN到V1中神經(jīng)元之間的連接映射關(guān)系，構(gòu)造了能反映V1中簡單細胞屬性的時空計算模型，即3D CORF模型.該模型細胞不僅能有效地檢測視頻序列中特定方向和特定運動速度的運動信息，而且能較好地展現(xiàn)與真實細胞類似的交叉方位抑制和對比飽和度屬性.實驗結(jié)果表明建議的3D CORF模型具有較強的魯棒性，其結(jié)構(gòu)能更貼近真實V1簡單細胞的構(gòu)造，更接近解剖學(xué)上真實V1簡單細胞的性能.

由于3D CORF只是模擬V1簡單細胞屬性的模型，而對于運動信息檢測還需要復(fù)雜細胞的參與，下一步還需要將這個簡單細胞模型擴展到復(fù)雜細胞，甚至到視覺通路的更遠端，以便能從視頻序列中更有效地檢測運動信息，提取運動特征，從而實現(xiàn)各類應(yīng)用，如對象跟蹤、動作識別等，使其具有實際應(yīng)用價值，推進仿生動作識別道路的發(fā)展.

參考文獻

[1]Blake R, Shiffrar M. Perception of human motion[J]. Annu Rev Psychol, 2007, 58(5):47-73.

[2]Simoncelli E, Heeger D. A model of neural responses in visual area MT[J]. Vis Res, 1998,38(5):743-761.

[3]Nicolai Petkov, Easwar Subramanian. Motion detection, noise reduction, texture suppression and contour enhancement by spatiotemporal Gabor filters with surround inhibition[J]. Biol Cybern, 2007, 97(5-6), 423-439.

[4]George A, Nicolai P. A CORF computational model of a simple cell that relies on LGN input outperforms the Gabor function model[J]. Biol Cybern, 2012, 106(3):177-189.

[5]周逸峰, 楊昱鵬, 胡兵, 等. 視皮層反饋對貓外膝體神經(jīng)元方位調(diào)制特性的影響[J]. 生物化學(xué)與生物物理進展, 2002, 29(2), 257-260.

[6]于秀敏. 眼生理學(xué)[M]. 北京:人民衛(wèi)生出版社, 2001.

[7]Kilavik B E, Carlos L, Silveira.et al. Centre and surround responses of marmoset lateral geniculate neurones at different temporal frequencies[J]. Physiol, 2003, 546.(3): 903-919.

[8]Cugell C E, Robson J G, Schweitzer D E, et al. Spatio-temporal interactions in cat retinal ganglion cells showing linear spatial summation[J]. The Journal of Physiology, 1983, 307(4): 341- 279.

[9]Xu X M, Bonds A B, Casagrande V A. Modeling receptive-field structure of koniocellular, magnocellular, and parvocellular LGN cells in the owl monkey (Aotus trivigatus)[J]. Visual Neurosci , 2002, 19(6):703-711.

[10]De A, Ohzawa I, Freeman R D. Spatio-temporal organization of simple-cell receptive fields in the cat’s striate cortex. I. General characteristics and postnatal development[J]. Journal of Neuro-physiology, 1993,69(4):1091-1117.

[11]李孟寒. 仿生腦外側(cè)膝狀體模型及若干工作機理研究[D]. 長春：吉林大學(xué), 2011.

[12]Xu X M, Ichida J M, Allison J D, et al. A comparison of konio-cellular, magno-cellular and parv-ocellular receptive field properties in the lateral geniculate nucleus of the owl monkey (Aotus trivirgatus)[J]. Physiol, 2001, 531(1):203-218.

[13]Ian M F, Nicholas J P, David F. The emergence of contrast-invariant orientation tuning in simple cells of cats visual cortex[J]. Neuron， 2007, 54(1) :137-152.

[14]De R L, Yund E W, Hepler N. The orientation and direction selectivity of cells in macaque visual-cortex[J]. Vis Res, 1982,22(5):531-544.

[15]Sclar G, Freeman R. Orientation selectivity in the cats striate cortex is invariant with stimulus contrast[J]. Exp Brain Res, 1982, 46(3):457-461.

3D Spatio-Temporal Computational Models of V1 Simple Cells

LiuHaihua,HuYan

(College of Biomedical Engineering, South-Central University for Nationalities, Wuhan 430074, China)

AbstractWe have built a three-dimensional spatio-temporal computational model that can detect motion information from video sequences, which also called combination of respective field(3D CORF). This model simulates V1 simple cells' main properties. The model fully takes advantage of the mapping relationship between dorsal lateral geniculate (LGNd) cells and V1 and then raises a motion information detection method of LGNd cells with inseparable space and time. It also builds sub-units which can show the combination properties among several LGNd cells' responses. At last, it presents a method of application of geometric average in the space, weighting average in the time, to accurate the combined responses of sub-units in the given field. Series of the processings above achieve the goal that simple cells' detection to motion information. Test results have indicated that suggested 3D CORF model can better reflect real simple cells' properties, and has better robust than existing three-dimensional computational model, such as 3D Gabor model.

Keywordsmotion detection; combination of respective field; V1 simple cell; LGNd; spatio-temporal properties

收稿日期2016-04-03

作者簡介劉海華(1966-)，男，教授，博士，研究方向：圖像處理與模式識別，E-mail:lhh@mail.scuec.edu.cn

基金項目國家自然科學(xué)基金資助項目(9130102，60972158)

中圖分類號TP391.4

文獻標識碼A

文章編號1672-4321(2016)02-0072-07