中國科學院自動化研究所的研究人員借鑒生物神經(jīng)結(jié)構(gòu)、認知機制與學習特性，在“視聽模態(tài)的生成、融合”，以及“智能體之間的知識遷移”方面取得了重大突破。在“視聽模態(tài)的融合”問題中，研究人員提出了有效將聽覺信息融合在視頻描述生成框架中的特征融合策略，獲得了理想效果；在“視聽模態(tài)的生成”問題中，研究人員提出了一個跨模態(tài)循環(huán)對抗生成網(wǎng)絡、一個聯(lián)合對應對抗損失函數(shù)和一個動態(tài)多模態(tài)分類網(wǎng)絡，構(gòu)建出了更有效的視聽跨模態(tài)相互生成模型；在“智能體之間的知識遷移”問題中，研究人員將一種新類型的知識——交叉樣本相似性引入到深度度量學習中，將知識形式化成一個教師和學生網(wǎng)絡間的排序匹配問題，將經(jīng)典的基于列的學習轉(zhuǎn)換成排序?qū)W習算法，大幅提高了學生網(wǎng)絡的性能，也可獲得較傳統(tǒng)方法更好的遷移性能。 (程 博)