異構(gòu)環(huán)境感知的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型

摘要： 針對(duì)分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練在異構(gòu)環(huán)境中訓(xùn)練速度慢、資源利用率低的問題，提出一種異構(gòu)環(huán)境感知的分布式神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型(H-PS)。根據(jù)計(jì)算節(jié)點(diǎn)當(dāng)前狀態(tài)動(dòng)態(tài)調(diào)度訓(xùn)練任務(wù)，使計(jì)算節(jié)點(diǎn)能夠在相同時(shí)間完成訓(xùn)練任務(wù)，提高資源利用率。提出通信與計(jì)算并行策略，參數(shù)服務(wù)器與計(jì)算節(jié)點(diǎn)傳輸模型參數(shù)期間，計(jì)算節(jié)點(diǎn)持續(xù)模型計(jì)算，進(jìn)一步提高資源利用率。使用靈活的量化策略，壓縮神經(jīng)網(wǎng)絡(luò)模型參數(shù)，減少參數(shù)服務(wù)器與... （共7頁(yè)）