基于注意力頭數(shù)和詞性融合的藏文預(yù)訓(xùn)練模型

摘要： 為了更好地學(xué)習(xí)藏文語言特征以及探究藏文預(yù)訓(xùn)練語言模型的最佳注意力機(jī)制頭數(shù)，將詞性與藏文預(yù)訓(xùn)練模型相結(jié)合，并進(jìn)行了對比實(shí)驗(yàn)確定最佳的注意力頭數(shù)，旨在提高語言模型對藏文語言特征的理解以及下游任務(wù)的性能。實(shí)驗(yàn)結(jié)果表明，在多個(gè)分類任務(wù)中，注意力頭數(shù)為12的預(yù)訓(xùn)練模型皆表現(xiàn)了良好的性能。此外，將詞性融入預(yù)訓(xùn)練模型后，文本、標(biāo)題和情感分類任務(wù)的模型F₁值分別提高了0.57%、0.92%和... （共8頁）