Learning Focus
学习目标
把每节内容压缩成可以直接执行的工程判断，阅读时优先看目标，再看代码。
Focus 01
激活函数给网络加入非线性，否则多层线性层仍等价于单层线性变换。
Focus 02
ReLU 常用于隐藏层，计算简单并缓解梯度消失。
Focus 03
Softmax 常用于多分类输出，把 logits 转成概率分布。
理解方式
先把概念放进完整系统中理解，再用最小代码或配置确认它如何工作。
- 它解决什么问题。
- 它依赖什么组件。
- 它失败时怎么处理。
示例
代码示例突出最小可理解片段，用来连接概念和工程实践。
import numpy as np
def relu(x):
return np.maximum(0, x)
print(relu(np.array([-2, 0, 3])))常见误区
- 只记配置项，不理解它在调用链路中的位置。
- 把示例代码直接搬进生产环境，没有补充超时、校验、日志和回退策略。
- 学习神经网络时只看框架 API，不检查输入输出形状和数据分布。
练习
说明为什么二分类输出常用 Sigmoid，而多分类输出常用 Softmax。