Learning Focus

学习目标

把每节内容压缩成可以直接执行的工程判断,阅读时优先看目标,再看代码。

Focus 01

反向传播本质上是链式法则在计算图上的系统应用。

Focus 02

框架会自动求导,但理解梯度流向有助于排查训练问题。

Focus 03

梯度消失、梯度爆炸和学习率不合适都会导致训练失败。

理解方式

先把概念放进完整系统中理解,再用最小代码或配置确认它如何工作。

  • 它解决什么问题。
  • 它依赖什么组件。
  • 它失败时怎么处理。

示例

代码示例突出最小可理解片段,用来连接概念和工程实践。

PyTorch 自动求导
import torch

x = torch.tensor([2.0], requires_grad=True)
y = x * x + 3 * x
y.backward()
print(x.grad)

常见误区

  • 只记配置项,不理解它在调用链路中的位置。
  • 把示例代码直接搬进生产环境,没有补充超时、校验、日志和回退策略。
  • 学习神经网络时只看框架 API,不检查输入输出形状和数据分布。

练习

手算 y = x^2 + 3x 在 x = 2 时的导数,并和代码输出对比。