帶消極動(dòng)量的自適應(yīng)步長(zhǎng)隨機(jī)方差縮減方法
中國(guó)科學(xué)院大學(xué)學(xué)報(bào)(中英文)
頁(yè)數(shù)： 12 2024-09-15
摘要： 近年來(lái)，隨機(jī)方差縮減類方法在解決大規(guī)模機(jī)器學(xué)習(xí)問(wèn)題中取得很大成功，自適應(yīng)步長(zhǎng)技術(shù)的引入減輕了該類方法的調(diào)參負(fù)擔(dān)。針對(duì)自適應(yīng)步長(zhǎng)的方差縮減算法SVRG-BB,指出其算法設(shè)計(jì)帶來(lái)了“進(jìn)展-自適應(yīng)步長(zhǎng)有效性”的權(quán)衡問(wèn)題。因此引入Katyusha動(dòng)量以更好地處理該權(quán)衡問(wèn)題，并且在強(qiáng)凸假設(shè)下證明由此得到的SVRG-BB-Katyusha算法的線性收斂性質(zhì)。之后基于“貪婪”思想，提出稀疏地... （共12頁(yè)）
APP 