欢迎您访问365答案网,请分享给你的朋友!
生活常识 学习资料

每天五分钟机器学习:如何通过梯度下降的图像来找到最优的学习率

时间:2023-05-19
梯度下降算法

梯度下降算法所做的事情就是为了找到一个θ值,只要找到这个θ值,那么假设函数就搞定了,也就是说我们的模型也就有了。

收敛次数

梯度下降算法收敛所需要的迭代次数根据模型的不同而不同,我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛,也就是说画出一条我们梯度下降时损失函数的图像。

我们每次运行梯度下降算法,J(θ)就会变得越来越小,它的图像为:

如图所示,可以看出来随着步数的增长,损失越来越小。当运行到300到400次梯度下降的时候,我们的损失函数J(θ)变化已经不大了,可以判断梯度下降算法已经收敛了。

或者我们可以设定阈值,当两次下降J(θ)的变化值小于(0.005)的时候,那么就可以认为是收敛了。

Copyright © 2016-2020 www.365daan.com All Rights Reserved. 365答案网 版权所有 备案号:

部分内容来自互联网,版权归原作者所有,如有冒犯请联系我们,我们将在三个工作时内妥善处理。