對科學(xué)的熱愛、對世界的好奇，驅(qū)動胡宇韜去尋找答案、探索未知、發(fā)現(xiàn)新事物。從北京航空航天大學(xué)、香港大學(xué)到東南大學(xué)，在時空變換中突破知識的藩籬，在不同科研體驗中發(fā)現(xiàn)興趣，他的科研方向也逐漸明晰。

早在本科求學(xué)時，胡宇韜就在嘗試做科研，雖學(xué)的是偏通信的電子信息工程專業(yè)，但出于興趣愛好他學(xué)了編程知識，這為他后來從事人工智能研究打下了基礎(chǔ)。而參加科技競賽，讓他對如何做科研有了一些認(rèn)識。

興趣使然，博士階段胡宇韜轉(zhuǎn)向了人工智能研究。這一時期的求學(xué)，讓他得到了全方位鍛煉，論文投稿、帶領(lǐng)師弟師妹完成項目、出差實地驗證科研成果，雖忙碌但充實。

通過參與大項目，胡宇韜的科研能力獲得迅速提升。在國家重點研發(fā)項目“天臨空地車軌道交通安全監(jiān)視”中，他完成了系統(tǒng)中多個視覺算法的模塊化實現(xiàn)并完善了各個功能模塊間的信息傳遞、整合與分析，實現(xiàn)對鐵軌異常狀況的識別與預(yù)警。

胡宇韜坦言，在博士求學(xué)后期，在課題選擇上他已有了更多自己的判斷，“基于動態(tài)自蒸餾機(jī)制優(yōu)化的細(xì)粒度分類網(wǎng)絡(luò)”就是個人能動性得到充分發(fā)揮的一個課題?！罢n題涉及的問題，我在剛讀博士時就發(fā)現(xiàn)了，但那時我的研究還不夠深入，就把它先放了放。后來，我看到一篇論文，它解決問題的思路，我覺得可以拿來用，就去做了實驗，發(fā)現(xiàn)效果很好?；谶@個模型我后面還參加了圖像分類比賽，并獲得了好名次。我們是以輕量化的參數(shù)和結(jié)構(gòu)，在有限的資源情況下獲得了很好的表現(xiàn)?！?/p>

在北京航空航天大學(xué)求學(xué)9年，博士畢業(yè)后，胡宇韜想到不同的環(huán)境中去體驗一下。香港大學(xué)羅平教授在計算機(jī)視覺領(lǐng)域的實力很強(qiáng)，胡宇韜慕名聯(lián)系到他，并順利跟隨他做博士后研究。

在科研中，羅平非常尊重胡宇韜的想法，同時又會及時糾正他的偏差。多模態(tài)學(xué)習(xí)是計算機(jī)視覺領(lǐng)域的研究熱點，剛到香港，胡宇韜做的是用文本知識輔助圖片完成一些視覺任務(wù)。“一開始我很關(guān)注精度的提升，羅老師提醒我，做科研更應(yīng)該關(guān)注如何解決領(lǐng)域內(nèi)的問題，如果只是提升了一點點精度，意義不大，很難做出有影響力的工作?！焙铐w說。

在羅平的帶領(lǐng)下，胡宇韜的科研進(jìn)展很快。而這些前期研究，也為他之后開展多模態(tài)大模型在醫(yī)學(xué)領(lǐng)域的能力評測研究奠定了基礎(chǔ)?！坝嬎銠C(jī)視覺領(lǐng)域涌現(xiàn)出多種不同的多模態(tài)大模型，為了準(zhǔn)確評估它們的能力，研究人員從不同角度對模型進(jìn)行了評測，但這些評測工作大多只關(guān)注模型在通用視覺任務(wù)中的效果，它們在醫(yī)學(xué)領(lǐng)域的潛力尚未被充分探索。”胡宇韜介紹。

準(zhǔn)確評估多模態(tài)大模型在醫(yī)學(xué)領(lǐng)域的能力，構(gòu)建一個大規(guī)模、全面的醫(yī)學(xué)評測數(shù)據(jù)集十分重要。為此，胡宇韜他們建立了OmniMedVQA數(shù)據(jù)集，并對現(xiàn)有主流多模態(tài)大模型進(jìn)行了全面評測。評測結(jié)果顯示，現(xiàn)有主流多模態(tài)大模型面對很多醫(yī)學(xué)問題仍然無法得到很好的結(jié)果。同時，醫(yī)學(xué)大模型的效果并沒有明顯優(yōu)于通用大模型。“因此，我們認(rèn)為可以嘗試從某一器官的部分模態(tài)入手，建立一個針對某個科室或某幾種疾病的專門化醫(yī)學(xué)大模型。我們希望OmniMedVQA數(shù)據(jù)集可以為未來醫(yī)學(xué)多模態(tài)大模型的發(fā)展提供評測基準(zhǔn)?！?/p>

胡宇韜介紹，除醫(yī)療領(lǐng)域，在羅平帶領(lǐng)下他們也做了其他方面的多模態(tài)大模型評測?！岸嗄B(tài)大模型是更靈活的模型，未來在應(yīng)用中，它需要有一些基準(zhǔn)，通用的、行業(yè)的基準(zhǔn)，這些都需要我們深入去研究?！焙铐w說。

在香港兩年，胡宇韜收獲很大，無論在生活中還是學(xué)習(xí)上，羅平都極力支持和幫助他，讓他迅速適應(yīng)了陌生的環(huán)境，并在科研方向上有了新拓展。結(jié)束博士后研究，胡宇韜回到東南大學(xué)。雖已離開香港，但他與羅平仍保持密切的合作。未來，胡宇韜希望結(jié)合計算機(jī)視覺的基礎(chǔ)研究在人工智能醫(yī)學(xué)圖像處理上做更深入的探索。