首页IT科技学习率到底是什么

学习率到底是什么

时间2025-07-10 08:52:52分类IT科技浏览4676
导读:一、学习率的定义 Wikipedia给出Learning Rate的定义如下...

一            、学习率的定义

Wikipedia给出Learning Rate的定义如下

In machine learning and statistics, the learning rate is a tuning parameter in an optimization algorithm that determines the step size at each iteration while moving toward a minimum of a loss function.

我给出个自己的翻译

在机器学习和统计学中                ,学习率是优化算法中的调谐参数                   ,该参数可确定确定每次迭代中的步长      ,使损失函数收敛到最小值

我个人理解来看            ,学习率使一个超参数                    ,开始设置一个初始值         ,之后学习率设置可以不变或放大            。而学习率的作用就是控制每次根据估计误差对模型权重更新的多少

二                      、那学习率有什么作用与影响?

我们以梯度下降为例:

这是来自吴恩达机器学习课程的截图

我们先看一下上面出现的唯一一条公式        ,公式中的θ就是代表着权重参数                     ,新的θ会由之前的θ计算得来            ,这个计算过程就是为了寻找目标函数收敛到最小值                      。那么公式中出现的α就是当下的学习率       。

上面两张明显的对比图就给出了学习率过大和过小的情况         。

学习率设置过小的时候    ,每步太小                      ,下降速度太慢               ,可能要花很长的时间才会找到最小值                     。

学习率过大过大的时候,每步太大                   ,虽然收敛得速度很快                  ,可能会像图中一样   ,跨过或忽略了最小值                ,导致一直来回震荡而无法收敛           。

这时我们再通过Loss曲线看一下不同学习率对收敛得的影响

很明显                   ,过小的学习率导致收敛缓慢      ,过大的学习率一开始收敛速度很快            ,但会导致无法收敛到最小值                    ,超高的学习率甚至可能直接大幅跨过了最小值而没有收敛效果      。

所以选取一个合适的学习率         ,对于找到全局最小值以及提高模型训练速度都是很有帮助的                    。

The learning rate is perhaps the most important hyperparameter. If you have time to tune only one hyperparameter, tune the learning rate.

— Page 429, Deep Learning, 2016.

三       、如何调整学习率?

留个坑后面补

参考资料:

https://machinelearningmastery.com/understand-the-dynamics-of-learning-rate-on-deep-learning-neural-networks/

https://www.cnblogs.com/lliuye/p/9471231.html

https://www.jiqizhixin.com/graph/technologies/444ad8d1-7262-46c9-94b7-fe0aa9227006

https://blog.csdn.net/u012526436/article/details/90486021

https://www.jiqizhixin.com/articles/understanding-learning-rates
声明:本站所有文章        ,如无特殊说明或标注                     ,均为本站原创发布               。任何个人或组织            ,在未征得本站同意时    ,禁止复制         、盗用                     、采集           、发布本站内容到任何网站      、书籍等各类媒体平台   。如若本站内容侵犯了原著者的合法权益                      ,可联系我们进行处理                   。

创心域SEO版权声明:以上内容作者已申请原创保护,未经允许不得转载,侵权必究!授权事宜、对本内容有异议或投诉,敬请联系网站管理员,我们将尽快回复您,谢谢合作!

展开全文READ MORE
scheduler framework(schedulerv2.exe – schedulerv2是什么进程 有什么用) 网站banner设计思路(网站banner背景图)