神经网络
Neural Network模拟生物神经元连接的计算模型,由输入层、隐藏层和输出层组成,通过反向传播训练,是深度学习的基础结构。
# 基础
# 深度学习
神经网络
基本单元——神经元: 接收多个输入,加权求和后经激活函数输出,控制信号是否「激活」。
网络结构:
输入层 → [隐藏层 1] → [隐藏层 2] → 输出层
每层都是一组神经元,层与层之间全连接(或部分连接)。
常见激活函数:
- ReLU:max(0, x),最常用,训练快
- Sigmoid:输出 0-1,用于二分类输出
- Softmax:多分类输出,所有类概率和为 1
训练: 通过反向传播(Backpropagation)计算梯度,用梯度下降更新权重。
提示: 层数加深 = 深度学习;加宽(更多神经元/注意力头)= 更强表达能力。