Overflow & Underflow

Definition

数值过大超出数据类型叫做Overflow;数值接近0被误认为是0叫做Underflow

Solution - Softmax Function

Original Definition

$$ Softmax(x_i) = \frac{x_i}{\sum_{j=1}^n x_j} $$

Improvement

$Let \ z = x_i - max \ x_i$

可以解决Overflow的问题，但是Underflow不行

$log Softmax(x_i)$，解决了$+\infin$的问题，但会出现$-\infin$

Poor Conditioning

$$ \pmb A \in \mathbb R^{m\times n}可以进行Eigenvalue \ decomposotion \\\ \\ 那么它的Condition \ Number \ \kappa = \underset{i,j}{max}\Big|\frac{\lambda_i}{\lambda_j}\Big| = ||A|| \times ||A^{-1}|| $$

Gradient-Based Optimization

Loss Function

用来进行优化的方程