董露露　謝　飛　章　程

(1.安徽廣播電視大學安徽繼續(xù)教育網絡園區(qū)管理中心, 合肥, 230022;2.合肥師范學院計算機科學與技術系,合肥,230601;3.安徽大學計算機科學與技術學院,合肥,230039)

引　　言

多示例學習這一新型機器學習框架是Dietterich等于1997年進行藥物分子活性預測研究時提出的[1]。其實質是對由多個示例組成的包進行學習并對未知標記的包進行預測。目前已在圖像分類[2]、圖像檢索[3-5]、視覺追蹤[6]和行人檢測[7]等方面得到廣泛的應用。

總體來說，多示例學習主要分為兩類。一類從包與示例之間的關系出發(fā)，尋求解決多示例學習問題的途徑。1988年，Maron等[8]提出多樣性密度(Diverse density, DD)算法。DD算法通過多次梯度下降搜索來求解多樣性密度點，但該算法計算時間較長，效率不高，且并不能確保找到全局最優(yōu)解。Zhang等[9]在DD算法的基礎上，引入期望最大化(Expectation maximization, EM)算法，提出期望最大多樣性密度算法 (Expectation maximization vision of diverse density, EM-DD)。但該算法要通過不斷迭代獲取多樣性密度最大的示例，且正包中的正示例可能是隨機分散的，選出的目標示例不一定能有效代表所有的正示例，因而會影響分類效果。

另一類則通過對傳統(tǒng)的單示例學習方法進行改進來解決多示例問題[10]。該類方法主要分為兩種，一種是直接為示例加上對應的包的標記來解決多示例問題[11]。例如Andrews等[12]將支持向量機(Support vector machine,SVM)引入多示例學習,并提出MI-SVM和mi-SVM算法；Zhou以半監(jiān)督學習的視角看待多示例學習問題，并提出基于特殊半監(jiān)督支持向量機方法的多示例學習(Multiple instance learn with semi-super vised SVM,MissSVM)[13]算法；Shao等[14]對雙支持向量機進行了擴展，提出多示例雙支持向量機(Multi-instance twin support vector machines, MI-TWSVM)算法；Qi等[15]通過選出正包中很大可能屬于正示例的示例構造非平行分類器，提出MI-NSVM算法。由于正包中可能存在大量偽正例，這種方法很難有效解決多示例學習問題。另一種方法則通過提取核心示例集，將包轉化為用特征向量表示的單示例，進而使用傳統(tǒng)監(jiān)督算法學習。例如Chen等[16]使用DD算法提取每個包中具有最大多樣性密度的示例，提出DD-SVM算法；Chen等[17]基于一種新型特征映射方法和1-norm支持向量機模型，提出基于嵌入式示例選擇的多示例學習(Multiple instance learning via embedded instance selection,MILES)算法，在實現(xiàn)特征提取的同時完成分類；Li等[18]利用基于示例類別消歧的方法提取核心示例，提出MILD_ B算法；Fu等[19]提出基于示例選擇的多示例學習(Multiple instance learning with instance selection,MILIS)算法，該算法使用核密度估計方法選取核心示例，并通過一種最優(yōu)化框架來構建分類器；Erdem等[20]通過對包中的示例建立主導集找到核心示例，提出基于主導集的多示例學習(Multiple-instance learning with instance selection via dominant sets,MILDS)算法；Li等[21]基于多核框架將每個圖像包轉為單示例，并使用多核支持向量機(Multiple-kernels support vector machine,MKSVM)進行分類，提出MKSVM-MIL算法。 上述關于提取核心示例集的方法并未考慮所提取示例的代表程度，因而影響了分類效果。為此，本文提出一種新的基于示例提取的多示例層次覆蓋算法(Multi-instance learning with a instance-level coering algorithm,MILICA)。該算法利用覆蓋算法[22](Covering algorithm, CA)選出正負包中具有代表性的示例，并使用覆蓋的示例數(shù)表示所提取示例的代表程度，每個覆蓋可視為一個聚類，覆蓋中心即為聚類的中心。

以上多示例學習的研究主要集中于多示例分類問題。近年來，非監(jiān)督多示例聚類問題也開始受到研究人員的關注。Zhang等[23]率先對非監(jiān)督多示例學習問題進行研究，提出一種包級多示例聚類算法(Bag-level multi-instance clustering,BAMIC)，該算法利用Hausdorff度量計算包之間的距離，并利用k-Medoids算法將原始的未標記的訓練集劃分為k個不相交的子集，每個子集對應于一組訓練包構成的簇?；贐AMIC的聚類結果，又提出一種基于包級轉換表示的多示例預測算法(Bag-level representation transformation for multi-instance prediction, BARTMIP)。Zhang[24]提出一種用于多示例聚類的新的框架M3IC(Maximum margin multiple instance clustering, M3IC)。M3IC致力于在每個包的至少一個示例上找到最大化邊緣差距來實現(xiàn)多示例聚類。上述兩篇文獻的研究重點在于多示例聚類，尤其文獻[24]專門針對多示例聚類問題構建了一種新的框架。而本文的研究目標是得到一種用于多示例分類的算法，并盡量確保算法能得到較高的分類準確度，重點是如何抽取出最具有代表性的核心示例。實驗結果表明，相比于已有的多示例學習算法，該算法有效提高了分類準確率。

1　相關定義和算法

1.1多示例學習

在多示例學習中，訓練集樣本是一個個包，包具有類別標記，每個包由若干沒有類別標記的示例組成。當一個包至少包含一個正示例時，稱該包為正包，將其包含的非正例稱為假正例。當一個包中的示例均是負示例，則稱該包為負包。多示例學習的難點在于訓練集中包的標記已知，而示例標記未知，獲取的信息有限，且正包中含有大量的假正例，從而增加了學習的復雜性[25-26]。多示例學習的目標是通過對訓練包進行學習構造基于示例的分類器f(x):x→y,x∈χ或者基于包的分類器F(X):X→y對未標記的包進行分類[1-6,27-33]。具體框架如圖1所示。

1.2　覆蓋算法

張鈴、張鈸教授提出的基于覆蓋的構造性機器學習方法，簡稱覆蓋算法[22]。在此給出該算法的完整過程：給定樣本集D={(vi,li)|i=1,…,m;li=1,…,j}，其中vi和li分別表示第i個樣本和該樣本的類別，vi是d維特征向量，m表示樣本的數(shù)量，j表示樣本的類別數(shù)。定義V={V1,V2,…,Vt}為根據類別劃分的樣本集合，其中Vi∈V(i=1,…,j) 為第i類的樣本子集。定義C={ci|ci=(centeri,ri,noi),i=1,2,…}表示通過覆蓋算法得到的球形領域覆蓋集，其中centeri表示覆蓋ci的覆蓋中心，覆蓋中心可作為覆蓋的代表性樣本，ri和noi分別表示ci的覆蓋半徑和覆蓋樣本數(shù)。用flag(v)表示樣本v是否屬于某覆蓋，若flag(v)=1，則表示v落入了某一覆蓋ci中。用表示樣本v和v′的內積，該值與兩樣本間的歐氏距離呈反比。算法1給出了CA的訓練過程。

算法1CA的訓練過程

輸入：訓練集D1

輸出：覆蓋集C

(2)使用步驟(1)中的轉換函數(shù)構造映射：v→Hd，其中Hd是d+1維樣本空間的一個d維球面，據此產生一個新的訓練集D1；

(3)對每一個Vi?D1，隨機選取一個樣本v∈Vi且flag(v)=false，計算

d1=max{|v∈Vi,v′?Vi}

d2=min{|v,v′∈Vi,>d1}

r=(d1+d2)/2

以v(即center=v)為覆蓋中心，以r為半徑，構造覆蓋c。之后，計算落入該覆蓋的樣本數(shù)no。令flag(v) =1和flag(v″)=1，此處v″屬于覆蓋c。將覆蓋c加入C，重復執(zhí)行上述操作直到對任意v∈Vi，flag(v) =1。

可見，CA通過構造一個3層的前向神經網絡獲得覆蓋集C。該神經網絡將樣本向量作為輸入，將C中的各個覆蓋作為隱層節(jié)點，其輸出層則將隱層輸出采取或門的方式連接，至此即可得到輸入樣本的標記。由于每個覆蓋包含的樣本均同屬于一個類別，可將一個覆蓋視為一個聚類，從而可以使用覆蓋的半徑來衡量相應聚類的范圍大小，可將覆蓋中心視為聚類中心，并根據覆蓋包含的樣本數(shù)量來衡量聚類中心的代表程度。

對覆蓋ci∈C和測試樣本ts，神經網絡的隱層輸出[15,16-31]定義為

resulti=sign (-ri)·li

(1)

式中:sign是符號函數(shù)，li表示ci的覆蓋中心類別。若resulti>0，則表示ts落入ci中，即被ci覆蓋。若某測試樣本未被任何覆蓋包含或同時被不少于兩個的覆蓋包含，則采用類似于聚類的方式，將其并入距離最近的覆蓋。

2　MILICA算法

該算法先通過距離函數(shù)Hausdorff和CA獲取具有一定代表性的核心示例，再利用相似度函數(shù)將每個包轉為單示例，最后使用CA進行學習和測試。

2.1　符號說明

2.2　核心示例集提取

2.2.1兩類問題的核心示例提取

(2)

(3)

然后，通過CA和反驗證逐步排除正包中的假正例。先將X-和CIS+中的示例分別標記為-1和+1，并通過CA對X-和CIS+求覆蓋，將獲得的負示例和正示例的覆蓋中心集分別記為和。再使用覆蓋中心為XC-的覆蓋對正包中的示例進行反驗證，選出其中未被覆蓋且不屬于CIS+的示例組成示例集NC。對于NC中的每一個示例nxi，根據式(4)計算其與CIS+中所有示例之間的距離d，并選出最小距離作為d。

(4)

對d由小到大進行排序，并據此調整對應示例在NC中的位置。即對NC中任意兩個示例nxi，nxk，若d(nxi,xj)

從NC中選出前g*h個示例并入CIS+，而剩余距離較遠的示例可能是假正例，將其并入X-，從而逐步排除正包中的假正例。當g=0時，將NC中的示例全部歸為X-，當g=1.0時，將NC中的示例全部歸為CIS+。

圖2給出兩類樣本的CIS提取過程。其中，小圓圈和等邊三角形分別表示正包和負包中的示例。通過5個滿足協(xié)方差矩陣為單位矩陣的正態(tài)分布N1～N([5,5]T,I),N2～N([5,-5]T,I),N3～N([-5,5]T,I),N4～N([-5,-5]T,I),N5～N([0,0]T,I)得到各個示例，這里N([5,5]T,I)表示該正態(tài)分布的平均值為[5,5]T。一個包為正包當且僅當其包含的示例源自于N1，N2，N3當中的至少兩個正態(tài)分布，否則該包為負包。圖2～3均包含6個正包和6個負包，分別使用數(shù)字1～6和7～12來標記，每個包最多包含8個示例，且示例與其所在包具有同樣的標記。

圖2　原始示例分布　　　　　　　　　　　　圖3　兩類問題對應的CIS提取過程　　　Fig．2　Raw instance distributions　　　　　Fig.3　CIS extraction process for two-category problem

圖3中長方形表示根據式(3)從正包中選取的初始示例，三角形表示最終獲得的CIS+，大的空心圓表示負示例覆蓋集CS-，用Ⅰ～Ⅶ標記。

從圖2可看到負包中的示例周圍分布著很多正包中的示例，它們很可能是假正例，應盡可能將其從正包中排除。從圖3可看到選取的初始示例周圍有較少負示例，則這些初始示例很大可能是正示例，應首先將其選出。此外，覆蓋Ⅲ包含的示例最多，這就使得對于任意一個隨機選取的測試示例而言，其被覆蓋Ⅲ包含的概率最大，因此其覆蓋中心的代表程度也就最大。

2.2.2多類問題的核心示例提取

2.2.1節(jié)中的方法可直接用來處理兩類問題的多示例學習，但它采用的one-vs-rest策略并不適用于多類問題的多示例學習。one-vs-rest策略選取某一類作為正包類，剩余的幾類作為負包類且其中的示例全部認為是負示例。但在多示例學習中，不同類別的負包中的示例之間并無直接關系，不能簡單將其作為一類利用CA算法進行聚類求覆蓋[27]。所以在多類問題中本節(jié)采用如下方法。

對于給定的n類包，首先將第i類作為正包類，其余幾類作為負包類，通過式(3)從每個正包中選出一個示例組成第i類的初始示例集CISi。然后利用CA對CISi與負包中的負示例求覆蓋，求覆蓋時應將負包中的示例按其原始類別單獨求覆蓋，而非將其作為一類求覆蓋。接著使用式(4)和反驗證從第i類正包中選出未被負類覆蓋且不屬于CISi的示例，這些示例組成的集合用NCi表示。采用2.2.1節(jié)中的方法調整NCi中示例的位置，并根據參數(shù)g更新CISi。最后使用CA對CISi與負包中的示例求覆蓋，將得到的第i類的覆蓋中心作為最終的CISi。重復上述步驟，依次提取其余幾類的CISi得到CIS

(5)

2.3　轉換和分類

由2.2節(jié)得到的核心示例集CIS和覆蓋的示例數(shù)集no定義一個相似度函數(shù)，即計算xk與包Xi中距離最近的示例之間的相似度，則

(6)

式中參數(shù)σ與核心示例間的平均距離有關，exp為以自然數(shù)為底的指數(shù)函數(shù)。

對于給定的包Xi，在得到其與xk的相似度之后，根據式(7)將其表示為一個單示例。該單示例是一個k++k-維的特征向量，且其標記和包的標記相同。

(7)

對于多類問題，由式(4,5)得到CIS和no后，定義轉換函數(shù)為

(8)

與兩類問題一樣，包的標記與其轉換后得到的示例的標記相同。完成上述轉換后，就可以用CA進行多示例分類了。

算法2給出兩類問題的MILICA算法的訓練過程。因為多類問題僅在CIS的提取上有所不同，其余過程和兩類問題一致，所以文中并未介紹其訓練過程。

算法2MILICA算法的訓練過程

輸出:CIS和CS

(1)將訓練集中的正包(負包)標記為+1(-1)；

(2)利用公式(3)從正包中選出m+個正示例組成初始的CIS+；

(3)通過CA對CIS+和負包中的全部示例求覆蓋，得到覆蓋中心集合和，并利用對正包中的示例進行反驗證，更新和；

(4)對和X-重新求覆蓋，得到CIS和no，然后利用式(6)和式(7)將每個包轉為單示例，其標記與包一致；

(5)對轉換后的示例求覆蓋得到覆蓋集CS。

測試時，先利用式(6,7)將每個測試包轉換為單示例，之后利用學習過程得到的CS進行測試。

2.4　時間和空間復雜度

從上述算法步驟可以看出，MILCA需要根據式(2，3)計算每個示例與所有示例之間的距離以構建核心示例，根據式(6，7，8)計算核心示例與各個包中距離最近示例之間的相似度以便對包進行轉換。因此，MILCA的時間和空間復雜度均為O(e2)，其中e為總的示例數(shù)?？梢姡疚乃惴ㄅcDD，EM-DD和DD-SVM等經典算法相比，未產生額外的時間和空間開銷。

3　實驗結果和分析

本文通過2組不同的數(shù)據集對MILICA算法進行了實驗。第1組使用僅包含正包和負包的兩類數(shù)據集，第2組使用多類圖像數(shù)據集。實驗中的參數(shù)σ=linspace(0.6μ,1.4μ,10)。其中，linspace(a,b,n)表示在a和b之間等間隔的取n個值，包括a和b。μ為CIS中每兩個示例之間歐式距離的平均值，本實驗中μ的取值分別為5,10,15,20,25,30,35,40,45和50。g=0,0.2,0.4, 0.6,0.8和1.0，即每次選取6個不同的g值進行實驗。

3.1　兩類數(shù)據集分類

本節(jié)使用多示例學習中5個常用數(shù)據集衡量MILICA算法，分別為Musk1，Musk2，Elephant，F(xiàn)ox，Tiger，其中Musk1和Musk2是藥物分子活性預測數(shù)據集[1]，Elephant，F(xiàn)ox及Tiger分別代表大象、狐貍和老虎3類不同的多示例圖像集。表1給出5個數(shù)據集的詳細信息。

實驗采用10次10-fold CV(10交叉驗證)方法進行，且每次交叉驗證均通過調整σ得到不同的核心示例集，最終結果即10次交叉驗證結果的算數(shù)平均值。表2給出不同g值下MILICA算法得到的平均分類準確度。為驗證本文所提算法MILICA的有效性，將其與MILDS，MILIS，DD-SVM等經典算法的實驗結果進行對比分析。表3給出了MILICA算法在5個數(shù)據集上得到的平均份額里準確度及95%的置信區(qū)間，同時也給出了其他12個算法的分類結果。對比算法中，除MILIS使用15次10-fold CV(10交叉驗證)外，其余均采用10次10-fold CV。對比算法的結果按表3中從上到下的順序分別取自文獻[8,9,12～14,16,17,19,20,34]。表3按照算法是否基于核心示例提取的思想分為3部分，其中，核心示例提取算法的分類結果位于第2～7行，非示例提取算法的分類結果位于第8～12行，除本文算法MILICA之外的其余算法在各個數(shù)據集上平均分類準確度的均值位于最后一行。表2中當g=0.2時，MILICA在Tiger數(shù)據集上取得85.1%的準確度；g=0.6時，MILICA在Musk2數(shù)據集上取得91.4%的準確度；g=0.8時，MILICA在Fox數(shù)據集上取得65.9%的準確度；g=1.0時，MILICA在Elephant數(shù)據集上取得85.0%的準確度。

從表3可以看出，MILICA算法在5個數(shù)據集上的準確度比其他MIL算法的平均值都至少高出2.4%，特別是在Tiger上更是高出6.6%，相應的95%的置信區(qū)間也小于其他算法。其中，在Musk1上，MILICA算法的分類準確度為90.7%，僅低于MI-TSVM，明顯高于其他示例提取算法。在其余4個數(shù)據集上，MILCA都取得最高的分類準確率。非示例提取算法DD，mi-SVM，MI-SVM，EM-DD和MissSVM在5個數(shù)據集上的準確度均低于MILICA。

表1兩類數(shù)據集的詳細信息

Tab.1Detailinformationoftwo-categorydatasets

數(shù)據集正包/負包數(shù)平均示例數(shù)/包維數(shù)Musk147/455．17166Musk239/6364．69166Elephant100/1006．96230Fox100/1006．60230Tiger100/1006．10230

表2不同g值下MILICA算法在標準數(shù)據集上的平均分類準確度

Tab.2AverageclassificationaccuracyofMILICAoverdifferentvaluesofgonbenchmarkdatasets

%

表3　不同MIL算法在標準數(shù)據集上的分類結果比較

由實驗結果可以看出，與其他MIL算法相比，MILICA算法表現(xiàn)出了更好的分類性能，驗證了MILICA算法在解決多示例學習問題方面的有效性。究其原因，主要是MILICA能提取出具有代表性的示例，并且覆蓋的示例數(shù)能有效地表示這些示例的代表程度。

3.2　多類圖像分類

圖像分類是多示例學習最成功的應用領域之一。為衡量本文算法在多示例圖像分類中的作用，本節(jié)實驗選用20類JPEG格式的圖像集，每類100幅，共計2 000幅，均來自COREL圖像庫。將每幅圖像作為一個包，包中的示例即表征圖像區(qū)域特征的顯著特征點，每個特征點由一個9維的特征向量表示。表4給出了COREL數(shù)據集的詳細信息。

本組實驗分兩部分進行，分別選用前10類共計1 000幅和全部20類共計2 000幅圖像進行訓練和測試。實驗中，從每類圖像集中隨機選取50%用于訓練，其余的用于測試。實驗采用5次2-fold CV方法進行，且每次通過調整參數(shù)σ的值獲得不同的核心示例集，取5次交叉驗證結果的平均值作為最終的結果。表5給出MILICA的不同g值對應的平均分類準確度。表6為MILICA和其他10種算法的平均分類準確度和95%的置信區(qū)間的比較。其中，比較算法的結果分別取自文獻[12,13,16,17,19～21,35]給出的最好結果。表8按照算法是否基于核心示例提取的思想分為3部分，其中，基于示例提取的算法對應于第2～7行，非示例提取算法對應于第8～11行，除本文算法之外的其余算法在各個數(shù)據集上的平均分類準確度的均值對應于最后一行Average的值。表5和表6中粗體字為表中最好的結果。

觀察表5發(fā)現(xiàn)，當g=0.2和g=0.8時，MILICA分別在1 000幅和2 000幅圖像上得到最高的分類精度，為86.9%和72.6%，表2的準確度高于表5列出的其他多示例學習算法。

從表6可知，MILICA算法在2 000幅圖像上的分類準確度低于1 000幅。這是因為前者包含了更多的噪聲示例，使得提取核心示例的過程受到干擾，從而弱化了分類預測的結果。同時，某些類別的圖像存在很多視覺上的相似、語義上關聯(lián)的區(qū)域，例如沙灘、山川和瀑布均含有水，也會降低分類準確度。

從實驗結果還可以看出，基于示例提取的算法在兩組圖像數(shù)據集上的準確度均高于非示例提取算法，這說明所選取的示例對類別的正確判斷具有顯著作用。MILICA在前1 000幅和2 000幅圖像上的平均分類準確度均高于表6中其他所有算法，且比其余算法的準確度平均值分別高出7.4%和8.5%，相應的95%的置信區(qū)間均小于表6中其他算法。這表明本文提出的MILICA算法不僅適用于解決兩類多示例問題，在多類圖像分類問題中也有效。

表4每類圖像提取得到的平均示例數(shù)

Tab.4Averagenumbersofinstancesextractedfromeachkindofimage

編號圖像類名稱示例數(shù)/包0非洲土著居民4．841沙灘3．542建筑物3．103公共汽車7．594恐龍2．005大象3．026鮮花4．467馬3．898山川3．389食物7．2410狗3．8011蜥蜴2．8012時裝模特5．1913夕陽3．5214小轎車4．9315瀑布2．5616家具2．3017戰(zhàn)艦4．3218滑雪3．3419沙漠3．65

表5不同g值下MILCA在Corel圖像數(shù)據集上的平均分類準確度

Tab.5　Average classification accuracy of MILIA over different values of g on the Corel datasets %

表6不同算法在Corel圖像數(shù)據集上的分類結果比較

Tab.6　Comparison of the performance of various MIL algorithms on the Corel datasets %

從表2和表5可看出，在多數(shù)數(shù)據集上并非當g=0或1.0時取得最好的效果，通過不斷排除正包中的假正例，選出適當數(shù)量的具有代表性的示例有利于提高分類準確度。

4　結束語

本文從改變包的表現(xiàn)形式出發(fā)，結合核心示例提取方法，提出MILCA算法。該算法首先利用距離函數(shù)Hausdorff和CA構造初始核心示例集，然后使用CA算法計算這些示例的代表程度，降低假正例對分類效果的影響，并得到最終的核心示例集；最后利用核心示例集將包轉變成向量的形式，從而將多示例學習轉為監(jiān)督單示例學習。實驗結果表明，與已有的多示例學習方法相比，MILCA算法取得了較好的效果。未來的工作是研究如何更有效地選取初始示例，并對提取的核心示例集進行約簡，以及嘗試其他方法計算所提取示例的代表程度，并將其應用于多示例多標簽學習。

參考文獻:

[1]Dietterich T G, Lathrop R H, Lozano-Pérez T. Solving the multiple instance problem with axis-parallel rectangles[J]. Artificial Intelligence, 1997, 89(1/2):31-71.

[2]Li Daxiang, Wang Jing, Zhao Xiaoqiang. Multiple kernel-based multi-instance learning algorithm for image classification[J]. Journal of Visual Communication and Image Representation, 2014, 25(5):1112-1117.

[3]Zafra A, Pechenizkiy M, Ventura S. ReliefF-MI:An extension of relief to multiple instance learning[J]. Neurocomputing, 2012, 75(1):210-218.

[4]Wu Jia, Zhu Xingquan, Zhang Chenqi, et al. Multi- instance learning from positive and unlabeled bags[C]// 18th PAKDD: Advances in Knowledge Discovery and Data Mining. Switzerland: Springer International Publishing, 2014:237-248.

[5]Ding Xinmiao, Li Bing, Xiong Weihua, et al. Multi-instance multi-label learning combining hierarchical context and its application to image annotation[J]. IEEE Transactions on Multimedia, 2016, 18(8):1616-1627.

[6]Babenko B, Yang M H, Belongie S. Robust object tracking with online multiple instance learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33 (8):1619-1632.

[7]Qi Zhiquan, Xu Yitian, Wang Laisheng, et al. Online multiple-instance boosting for object detection[J]. Neurocomputing, 2011, 74 (10):1769-1775.

[8]Maron O, Lozano- Pérez T. A framework for multiple-instance learning[C]// Advances in Neutral Information Processing Systems 10 (NIPS′97). Cambridge, MA: MIT Press, 1998:570-576.

[9]Zhang Q, Goldman A S. EM-DD:An improved multi-instance learning technique[C]// Advances in Neutral Information Processing Systems 14. Cambridge, MA: MIT Press, 2002:1073-1080.

[10] Wang Xinqi, Wei Dan, Cheng Hui, et al. Multi-instance learning based on representative instance and feature mapping[J]. Neurocomputing, 2016, 216:790-796.

[11] Vanwinckelen G, Tragante do O V, Fierens D, et al. Instance-level accuracy versus bag-level accuracy in multi-instance learning[J]. Data Mining and Knowledge Discovery, 2016, 30(2):313-341.

[12] Andrews S, Tsochantaridis I, Hofmann T. Support vector machines for multiple-instance learning[C]// Advance in Neutral Information Processing System.[S.l.]:IEEE,2003:561- 568.

[13] Zhou Zhihua, Xu Junming. On the relation between multi-instance learning and semi-supervised learning[C]// Proceedings of the 24th ICML. Corvalis, Oregon:ICML, 2007:1167-1174.

[14] Shao Yuanhai, Yang Zhixia, Wang Xiaobo, et al. Multiple instance twin support vector machines[J]. ISORA, 2010(8):433-442.

[15] Qi Zhiquan, Tian Ying, Yu Xiaodan, et al. A multi-instance learning algorithm based on nonparallel classifier[J]. Applied Mathematics and Computation, 2014,241:233-241.

[16] Chen Yixin, Wang J Z. Image categorization by learning and reasoning with regions[J]. Journal of Machine Learning Research, 2004,5(8):913-939.

[17] Chen Yixing, Bi Jin Bo, Wang J Z, et al. MILES: Multiple- instance learning via embedded instance selection[J]. IEEE Transaction Pattern Analysis and Machine Intelligence, 2006, 28(12): 1931-1947.

[18] Li Wujun, Yeung D Y. MILD: Multiple-instance learning via disambiguation[J]. IEEE Trans on Knowledge and Data Engineer, 2010, 22(1):76-89.

[19] Fu Zhouyu, Robles-Kelly A, Zhou Jun. MILIS: Multiple instance learning with instance selection[J]. IEEE Transaction Pattern Analysis and Machine Intelligence, 2011, 33(5): 958-977.

[20] Erdem A, Erdem E. Multiple-instance learning with instance selection via dominant sets[J]. Similarity-Based Pattern Recognition, 2011, 7005:171-191.

[21] Li Daxiang, Wang Jing, Zhao Xiaoqiang, et al. Multiple kernel-based multi-instance learning algorithm for image classification[J]. Journal of Visual Communication and Image Representation, 2014, 25(5):1112-1117.

[22] 張鈴，張鈸. M-P神經元模型的幾何意義及其應用[J]. 軟件學報, 1999, 9(5):925-929.

Zhang Ling, Zhang Ba. A geometrical representation of M-P neural model and its applications[J]. Journal of Software, 1999, 9(5):925-929.

[23] Zhang Minling, Zhou Zhihua. Multi-instance clustering with applications to multi-instance prediction[J]. Applied Intelligence, 2009, 31(1):47-68.

[24] Zhang Dan, Wang Fei, Si Luo, et al. Maximum margin multiple instance clustering with its applications to image and text clustering[J]. IEEE Trans Neural Networks, 2011, 22(5):739-751.

[25] 張敏靈. 偏標記學習研究綜述[J].數(shù)據采集預處理，2015, 3(1):77-87.

Zhang Minling. Research on partial label learning[J]. Journal of Data Acquisition and Processing, 2015, 30(1):77-87.

[26] 甘睿，印鑒. 通過挖掘示例中的概念來解決多示例學習問題[J]. 軟件學報，2011，48(S2):73-78.

Gan Rui, Yin Jian. Solving multi-instance learning problem with mining concept in instances[J]. Journal of Computer Research and Development, 2011, 48(S2):73-78.

[27] Zhou Zhihua, Sun Yuyin, Li Yufeng. Multi-instance learning by treating instance as Non-I.I.D samples[C]// Proceedings of the 26th International Conference on Machine Learning. New York: ACM Press, 2009:1249-1256.

[28] Zhao Shu, Rui Chen, Zhang Yanping. MICkNN: Multi-instance covering kNN algorithm[J]. Tsinghua Science and Technology, 2013, 18(4):360-368.

[29] Zhang Minglin, Huang Shengjun. Multi-instance multi-label learning[J]. Artificial Intelligence, 2012, 176(1):2291-2320.

[30] Hajimirsadeghi H, Mori G. Multi-Instance classification by max-margin training of cardinality-based markow networks[J]. IEEE Transactions On Pattern Analysis And Machine Intellgence,2016, 99(3):1-15.

[31] Xu Y Y. Multiple-instance learning based decision neural networks for image retrieval and classification[J]. Neurocomputing, 2016, 171(1):826-836.

[32] Li Yan, Tax D, Duin R, et al. Multiple-instance learning as a classifier combining problem[J]. Pattern Recognition, 2013, 46(3):865-874.

[33] Doran G, Ray S. Multiple-instance learning from distributions[J]. Journal of Machine Learning Research, 2016, 17(128):1-50.

[34] Liu Qiang, Zhou Sihang, Zhu Chengzhang, et al. MI-ELM: Highly efficient multi-instance learning based on hierarchical extreme learning machine[J]. Neurocomputing, 2016, 173:1044-1053.

[35] Csurka G, Bray C, Dance C, et al. Visual categorization with bags of keypoints[C]// Proc ECCV Workshop on Statistical Learning in Computer Vision. Prague, Czech:[s.n.], 2004:59-74.