Overflow & Underflow
Definition
数值过大超出数据类型叫做Overflow;数值接近0被误认为是0叫做Underflow
Solution - Softmax Function
Original Definition
$$ Softmax(x_i) = \frac{x_i}{\sum_{j=1}^n x_j} $$
Improvement
- $Let \ z = x_i - max \ x_i$
- 可以解决Overflow的问题,但是Underflow不行
- $log Softmax(x_i)$,解决了$+\infin$的问题,但会出现$-\infin$
Poor Conditioning
$$ \pmb A \in \mathbb R^{m\times n}可以进行Eigenvalue \ decomposotion \\\ \\ 那么它的Condition \ Number \ \kappa = \underset{i,j}{max}\Big|\frac{\lambda_i}{\lambda_j}\Big| = ||A|| \times ||A^{-1}|| $$
Gradient-Based Optimization
Loss Function
- 用来进行优化的方程