基于多模態(tài)特征與增強(qiáng)對齊的細(xì)粒度圖像分類

摘要： 針對現(xiàn)有模型在多模態(tài)信息處理過程中存在特征提取不足、信息交互不充分等問題，提出基于多模態(tài)特征增強(qiáng)對齊的細(xì)粒度圖像分類模型。首先，提出層次特征自適應(yīng)融合模塊，以實現(xiàn)多模態(tài)特征的多層次自適應(yīng)融合，從而充分利用卷積中間層的特征信息，增強(qiáng)模型對圖像局部細(xì)節(jié)的感知能力。其次，為提高多模態(tài)特征之間的交互維度，提出增強(qiáng)對齊特征融合模塊，以充分挖掘不同模態(tài)之間的映射關(guān)系。實驗結(jié)果表明，所提模型... （共6頁）