3.1 上溢和下溢#

下溢：接近0的数被四舍五入为0

上溢：大量级的数被近似为无穷

上溢和下溢都会让运算变为非数字

例子：softmax函数

3.2 病态条件#

定义：条件数表征函数相对于输入的微小变化而变化的快慢程度

可以理解为对误差的敏感程度

3.3 基于梯度的优化方法#

目标函数：需要对其进行最小化或者最大化

损失函数(loss function)：需要最小化的目标函数

梯度下降：

偏导数：

梯度：相对于一个向量求导的导数

为了最小化函数，就是找到它下降得最快的方向：

最速下降：

其中 ϵ 为 学习率（learning rate），是一个确定步长大小的正标量

3.4 约束优化#

只在x的某些集合S中找到函数的最大值或者最小值

KKT条件