目录

1.梯度消失和梯度爆炸

1.1 梯度消失

1.2 梯度爆炸

1.3 解决梯度消失或梯度爆炸的经验

2.nn.Sequential

3.nn.BatchNorm1d

4.nn.Dropout

---

1.梯度消失和梯度爆炸

在使用pytorch中的序列化容器之前，我们先来了解一下常见的梯度消失和梯度爆炸的问题。

1.1 梯度消失

1.2 梯度爆炸

1.3 解决梯度消失或梯度爆炸的经验

2.nn.Sequential

3.nn.BatchNorm1d

4.nn.Dropout