Learning Focus
学习目标
把每节内容压缩成可以直接执行的工程判断,阅读时优先看目标,再看代码。
Focus 01
反向传播本质上是链式法则在计算图上的系统应用。
Focus 02
框架会自动求导,但理解梯度流向有助于排查训练问题。
Focus 03
梯度消失、梯度爆炸和学习率不合适都会导致训练失败。
理解方式
先把概念放进完整系统中理解,再用最小代码或配置确认它如何工作。
- 它解决什么问题。
- 它依赖什么组件。
- 它失败时怎么处理。
示例
代码示例突出最小可理解片段,用来连接概念和工程实践。
import torch
x = torch.tensor([2.0], requires_grad=True)
y = x * x + 3 * x
y.backward()
print(x.grad)
常见误区
- 只记配置项,不理解它在调用链路中的位置。
- 把示例代码直接搬进生产环境,没有补充超时、校验、日志和回退策略。
- 学习神经网络时只看框架 API,不检查输入输出形状和数据分布。
练习
手算 y = x^2 + 3x 在 x = 2 时的导数,并和代码输出对比。