超碰人操,粗暴进入蹂躏视频在线观看,精品一区二区三区在线视频,久久国产精品影院,下载国产一级黄色片,中文字幕一区二区三区在线视频,a√天堂资源福利www

了解學(xué)習(xí)率及其如何提高深度學(xué)習(xí)的性能

2018-03-20 17:10:55 InfoQ　 點(diǎn)擊量： 評論 (0)
首先，什么是學(xué)習(xí)率？學(xué)習(xí)率（Learning Rate，LR。常用η表示。）是一個超參數(shù)，考慮到損失梯度，它控制著我們在多大程度上調(diào)整網(wǎng)絡(luò)的

人認(rèn)為，對整個模型進(jìn)行微調(diào)的代價太大，因?yàn)橛行┠Ｐ涂赡苡?00多個層。因此，人們通常做的是一次對模型進(jìn)行微調(diào)。

但是，這就引入了順序的要求，妨礙了并行性，并且需要多次通過數(shù)據(jù)集，從而導(dǎo)致對小數(shù)據(jù)集的過度擬合。

也已經(jīng)證明[9]中引入的方法能夠在不同的NLP分類任務(wù)中提高精度和降低錯誤率（如下圖所示）：

上一頁 1 2 下一頁
大云網(wǎng)官方微信售電那點(diǎn)事兒

責(zé)任編輯：售電衡衡

免責(zé)聲明：本文僅代表作者個人觀點(diǎn)，與本站無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí)，對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，并請自行核實(shí)相關(guān)內(nèi)容。
 我要收藏
個贊
?