講座報(bào)告主題：開(kāi)放世界的多模態(tài)大模型研究與應(yīng)用
專(zhuān)家姓名：徐常勝
日期：2025-12-15 時(shí)間：16:00
地點(diǎn)：計(jì)算機(jī)學(xué)院208報(bào)告廳
主辦單位：計(jì)算機(jī)科學(xué)與通信工程學(xué)院
主講簡(jiǎn)介：徐常勝，中國(guó)科學(xué)院自動(dòng)化研究所研究員，IEEE/IAPR Fellow和ACM杰出科學(xué)家。擔(dān)任ACM多媒體專(zhuān)委會(huì)中國(guó)區(qū)（ACM SIGMM China Chapter）主席。發(fā)表IEEE/ACM會(huì)刊論文200余篇，CCF-A類(lèi)會(huì)議論文150余篇，在多媒體領(lǐng)域國(guó)際頂級(jí)會(huì)議和期刊上獲得最佳論文獎(jiǎng)10余次，以第一完成人獲中國(guó)電子學(xué)會(huì)自然科學(xué)一等獎(jiǎng)和技術(shù)發(fā)明一等獎(jiǎng)，7次獲得中國(guó)科學(xué)院優(yōu)秀導(dǎo)師獎(jiǎng)。研究專(zhuān)長(zhǎng)：多媒體分析與檢索、計(jì)算機(jī)視覺(jué)、模式識(shí)別。
主講內(nèi)容簡(jiǎn)介：與視覺(jué)和語(yǔ)言大模型相比，多模態(tài)大模型能夠從不同模態(tài)數(shù)據(jù)中學(xué)習(xí)共性知識(shí)，因此具有更強(qiáng)的通用性，也更接近人類(lèi)的認(rèn)知能力，是目前人工智能進(jìn)一步發(fā)展的關(guān)鍵所在。盡管目前的多模態(tài)大模型已取得了重要進(jìn)展，在跨模態(tài)檢索、跨模態(tài)生成等任務(wù)中取得了優(yōu)異的性能，但在實(shí)際應(yīng)用中面臨的開(kāi)放世界，已有多模態(tài)大模型仍然存在很多尚未解決的挑戰(zhàn)。本報(bào)告主要探討解決兩個(gè)方面的問(wèn)題：（1）如何在保留不同模態(tài)數(shù)據(jù)本身特性的前提下建模多模態(tài)數(shù)據(jù)關(guān)聯(lián)；（2）如何在保證模型泛化性的前提下實(shí)現(xiàn)多模態(tài)大模型在下游任務(wù)中的跨域遷移和小樣本遷移。報(bào)告分析了多模態(tài)大模型中理想的視覺(jué)系統(tǒng)所應(yīng)具備的要素并提出了基于解耦視覺(jué)系統(tǒng)的多模態(tài)大模型Libra；同時(shí)也介紹了針對(duì)多模態(tài)大模型的多個(gè)泛化性保持的跨域和小樣本遷移方法。
歡迎師生參加！
