# 学习率

$$
\begin{align}
W\_{ij}^{(l)} &= W\_{ij}^{(l)} - \alpha \frac{\partial}{\partial W\_{ij}^{(l)}} J(W,b)
\end{align}
$$

其中 $$\textstyle \alpha$$ 就是学习速率，学习率越大，学习速度越快，但是学习率太大的副作用是可能会跳过最低点，从而造成振荡。

![](https://3528240873-files.gitbook.io/~/files/v0/b/gitbook-legacy-files/o/assets%2F-LhkWhCiW-a4eAtmKiFj%2F-LhkWlG5DoSqZhA-P_5x%2F-LhkWlq5IZFGhnI59CRS%2FSnip20160517_1.png?generation=1560961077834193\&alt=media)

比如图中的误差会剧烈抖动。