1.1 四个数学概念#

标量 (scalar): 一个单独的数。

向量 (vector): 一列有序排列的数。

矩阵 (matrix): 二维数组。

张量 (tensor): 多维数组。

转置 (transpose): 矩阵的转置是以对角线(diagonal)为轴的镜像

1.2矩阵和向量相乘#

要求：矩阵A的列数必须和矩阵B的行数相等

区分：不是两个矩阵中对应元素的乘积（元素对应乘积）

两个相同维数的向量 x 和 y 的 点积（dot product）可看作是矩阵乘积。我 们可以把矩阵乘积  中计算  的步骤看作是  的第 i 行和  的第 j 列之 间的点积。

不同于标量乘积，矩阵乘积并不满足交换律（AB = BA 的情况并非总是满足）。 然而，两个向量的 点积（dot product）满足交换律：

矩阵乘积的转置有着简单的形式：

1.3 单位矩阵和逆矩阵#

单位矩阵(identity matrix):任意向量和单位矩阵相乘，都不会改变。

逆矩阵(matrix inversion):满足以下条件:

求解方法：

1.4 线性相关和生成子空间#

对于方程组

存在一个解或者无限个解，使用线性分析(linear combination)来分析方程有多少解，们可以将 A 的列向量看作从 原点（origin）（元素 都是零的向量）出发的不同方向，确定有多少种方法可以到达向量 b。在这个观点 下，向量 x 中的每个元素表示我们应该沿着这些方向走多远，即  表示我们需要沿 着第 i 个向量的方向走多远：

形式上，一组向量的线 性组合，是指每个向量乘以对应标量系数之后的和，即：

生成子空间(span): 原始向量线性组合后能抵达的点的集合。

线性无关：一组向量中的任意一个向量都不能表示成其他向量的线性组合。

奇异：一个列向量线性相关的方阵。

1.5 范数#

范数(norm): 用于衡量向量大小的函数。形式上，范数定义如下

其中  ∈ ， ≥ 1。

范数是将向量映射到非负值的函数，满足下列性质：

1.6 特殊类型的矩阵和向量#

对角矩阵(diagonal matrix): 除了主对角线上有非零元素，其他位置都是零

对称矩阵(symmetric): 转置和自己相等

单位向量(unit vector): 具有单位范数的向量

正交(orthogonal):

正交矩阵(orthogonal matrix): 行向量和列向量分别标准正交的方阵：

这意味着：

1.8 特征分解#

特征分解(eigendecomposition): 将矩阵分成一组特征向量和特征值

方阵 A 的 特征向量（eigenvector）是指与 A 相乘后相当于对该向量进行缩放 的非零向量 v：

标量 λ 被称为这个特征向量对应的 特征值(eigenvalue)。

矩阵A有n个线性无关特征向量v, 对应特征值

特征值连接成一个向量：

A的特征分解可以记作：

每个实对称矩阵都可以分解成实特征向量和实特征值：

因为 Q 是正交矩阵，我们可以将 A 看作沿方 向 v (i) 延展 λi 倍的空间。

1.8 奇异值分解#

奇异值分解(sigular value decomposition, SVD): 将矩阵分解为奇异向量和奇异值

假设 A 是一个 m × n 的矩阵，那么 U 是一个 m × m 的矩阵，D 是一个 m × n 的矩阵，V 是一个 n × n 矩阵。矩阵 U 和 V 都定义为正交矩阵，而矩阵 D 定义为对角矩阵。对角矩阵 D 对角线上的元素被称为矩阵 A 的奇异值（singular value）。矩阵 U 的列向量被称为左奇异向量（left singular vector），矩阵 V 的列向量被称右奇异向量（right singular vector）。

1.9 Moore-Penrose 伪逆#

非方矩阵没有逆矩阵的定义。可以进行伪逆定义：

计算伪逆的实际算法没有基于这个定义，而是使用下面的公式：

其中，矩阵 U，D 和 V 是矩阵 A奇异值分解后得到的矩阵。对角矩阵 D 的伪逆是其非零元素取倒数之后再转置得到的。

1.10 迹运算#

迹运算返回的是矩阵对角元素的和：

迹运算在转置运算下是不变的。

多个矩阵相乘得到的方阵的迹，和将这些矩阵中的最后一个挪到最前面之后相 乘的迹是相同的。

是标量在迹运算后仍然是它自己。

1.11 行列式#

行列式，记作 det(A)，是一个将方阵 A 映射到实数的函数。行列式等于矩阵特征值的乘积。行列式的绝对值可以用来衡量矩阵参与矩阵乘法后空间扩大或者缩小了多少。如果行列式是 0，那么空间至少沿着某一维完全收缩了，使其失去了所有的体积。如果行列式是 1，那么这个转换保持空间体积不变。