基于多尺度跨模態(tài)特征融合的圖文情感分類(lèi)模型
計(jì)算機(jī)科學(xué)
頁(yè)數(shù): 7 2024-09-12
摘要: 圖文情感分類(lèi)任務(wù)常用早期融合和Transformer模型相結(jié)合的跨模態(tài)特征融合策略進(jìn)行圖文特征融合,但該策略更傾向于關(guān)注模態(tài)內(nèi)部的獨(dú)有信息,而忽略了模態(tài)間的相互聯(lián)系和共有信息,導(dǎo)致跨模態(tài)特征融合效果不理想。針對(duì)此問(wèn)題,提出一種基于多尺度跨模態(tài)特征融合的圖文情感分類(lèi)方法。局部尺度方面,基于跨模態(tài)注意力機(jī)制進(jìn)行局部特征融合,使模型不僅關(guān)注圖像和文本的獨(dú)有信息,而且可以發(fā)現(xiàn)圖像和文本... (共7頁(yè))