主題：基于文本語義增強(qiáng)的跨模態(tài)問答

時(shí)間：11月28日 10:00-11:30

地點(diǎn)：騰訊會(huì)議（會(huì)議號(hào)：214 987 969）

主持人：方紅

報(bào)告人簡(jiǎn)介：

張小旺,，天津大學(xué)智能與計(jì)算學(xué)部教授，博導(dǎo),，北京大學(xué)理學(xué)博士,，比利時(shí)哈瑟爾特大學(xué)博士后，天津市認(rèn)知計(jì)算與應(yīng)用重點(diǎn)實(shí)驗(yàn)室副主任,。研究方向包括知識(shí)圖譜,，自然語言處理，軟件安全等,。主持國(guó)家級(jí)縱向,、校企橫向課題等十余項(xiàng),。近年來，在AAAI,，IJCAI,，ACL，ASE,，ICDT,，ISWC，EMNLP,，COLING,，TOSEM，JAIR,，Sci. China Inf. Sci.,，《計(jì)算機(jī)學(xué)報(bào)》《軟件學(xué)報(bào)》等國(guó)內(nèi)外學(xué)術(shù)期刊會(huì)議發(fā)表論文多篇。獲得天津市科技進(jìn)步一等獎(jiǎng),、ACM天津新星獎(jiǎng)等榮譽(yù),。

講座簡(jiǎn)介：

跨模態(tài)問答屬于計(jì)算機(jī)視覺與自然語言處理的交叉方向，旨在根據(jù)圖像內(nèi)容回答自然語言提出的問題,?？缒B(tài)問答基于圖像理解、語言解析,、知識(shí)推理等多個(gè)方面技術(shù),，而模態(tài)之間異構(gòu)鴻溝是挑戰(zhàn)之一。

報(bào)告將介紹通過文本語義增強(qiáng)方式減弱模態(tài)鴻溝帶來影響,，分別在封閉域（課本知識(shí)問答）和開放域（社交常識(shí)知識(shí)問答）兩個(gè)場(chǎng)景,，通過預(yù)訓(xùn)練模型和大語言模型，探索跨模態(tài)問答中差異性推理方式,。報(bào)告最后總結(jié)在多模態(tài)大語言模型背景下面臨挑戰(zhàn)點(diǎn),。