附录 1矩阵代数常用公式和性质汇总

附录 A矩阵代数基础知识

矩阵代数常用性质公式

\[\begin{aligned} \text{(1)}\quad &\bm{A}(\bm{B}+\bm{C})=\bm{A}\bm{B}+\bm{A}\bm{C} \tag{A-1}\\ \text{(2)}\quad &(\bm{A}\bm{B})\bm{C}=\bm{A}(\bm{B}\bm{C}) \tag{A-2}\\ \text{(3)}\quad &\lambda(\bm{A}\bm{B})=\bm{A}(\lambda\bm{B}) \tag{A-3}\\ \text{(4)}\quad &(\bm{A}^{\mathrm{T}})^{\mathrm{T}}=\bm{A} \tag{A-4}\\ \text{(5)}\quad &(\bm{A}+\bm{B})^{\mathrm{T}}=\bm{A}^{\mathrm{T}}+\bm{B}^{\mathrm{T}} \tag{A-5}\\ \text{(6)}\quad &(\lambda\bm{A})^{\mathrm{T}}=\lambda\bm{A}^{\mathrm{T}} \tag{A-6}\\ \text{(7)}\quad &(\bm{A}\bm{B})^{\mathrm{T}}=\bm{B}^{\mathrm{T}}\bm{A}^{\mathrm{T}} \tag{A-7}\\ \text{(8)}\quad &\det(\lambda\bm{A})=\lambda^n\det(\bm{A})\ \text{（$\lambda$ 为标量，$\bm{A}$ 为 $n$ 阶方阵）} \tag{A-8}\\ \text{(9)}\quad &\det(\bm{A}\bm{B})=\det\bm{A}\cdot\det\bm{B} \tag{A-9}\\ \text{(10)}\quad &(\bm{A}^{-1})^{\mathrm{T}}=(\bm{A}^{\mathrm{T}})^{-1} \tag{A-10}\\ \text{(11)}\quad &\det(\bm{A}^{-1})=1/\det\bm{A} \tag{A-11}\\ \text{(12)}\quad &(\bm{A}\bm{B})^{-1}=\bm{B}^{-1}\bm{A}^{-1} \tag{A-12}\\ \text{(13)}\quad &(\lambda\bm{A})^{-1}=\lambda^{-1}\bm{A}^{-1}\ \text{（$\lambda$ 为标量）} \tag{A-13} \end{aligned}\]

矩阵的秩

定义：矩阵 \(\bm{A}\) 的最大线性无关的行（列）向量的个数 \(r\)，称 \(r\) 为矩阵的行（列）秩。由于矩阵的行秩等于列秩，故统称为矩阵的秩，记为 \(\mathrm{rank}(\bm{A})\)。

满秩矩阵：

若 \(n\) 阶方阵的秩 \(\mathrm{rank}(\underset{n\times n}{\bm{A}})=n\)，则称 \(\bm{A}\) 为满秩方阵。

若 \(m\times n\) 阶矩阵 \(\bm{A}\) 的秩 \(\mathrm{rank}(\underset{m\times n}{\bm{A}})=m\)，则称 \(\bm{A}\) 为行满秩；若 \(m\times n\) 阶矩阵 \(\bm{A}\) 的秩 \(\mathrm{rank}\underset{m\times n}{\bm{A}}=n\)，则称 \(\bm{A}\) 为列满秩。

对于矩阵的秩有以下性质： \[\text{(1)}\quad \mathrm{rank}\left(\underset{m_1\times n}{\bm{A}}\ \underset{n\times m_2}{\bm{B}}\right) \leq\min\left\{\mathrm{rank}(\underset{m_1\times n}{\bm{A}}),\ \mathrm{rank}(\underset{n\times m_2}{\bm{B}})\right\} \tag{A-14}\] (2) 对于任意 \(m\times n\) 阶矩阵 \(\underset{m\times n}{\bm{A}}\) 和两个任意的可逆矩阵：\(m\times m\) 阶矩阵 \(\underset{m\times m}{\bm{B}}\) 和 \(n\times n\) 阶矩阵 \(\underset{n\times n}{\bm{C}}\) 有 \[\mathrm{rank}(\underset{m\times m}{\bm{B}}\ \underset{m\times n}{\bm{A}}\ \underset{n\times n}{\bm{C}})=\mathrm{rank}(\underset{m\times n}{\bm{A}}) \tag{A-15}\]

矩阵的迹

定义：一个 \(n\) 阶方阵 \(\bm{A}\) 的主对角线元素之和称为该方阵的迹，记为 \[\mathrm{tr}(\bm{A})=\sum_{i=1}^{n}a_{ii} \tag{A-16}\] 对于矩阵的迹有下面的基本性质： \[\begin{aligned} \text{(1)}\quad &\mathrm{tr}(\bm{A}^{\mathrm{T}})=\mathrm{tr}(\bm{A})\text{；} \tag{A-17}\\ \text{(2)}\quad &\mathrm{tr}(\bm{A}+\bm{B})=\mathrm{tr}(\bm{A})+\mathrm{tr}(\bm{B})\text{；} \tag{A-18}\\ \text{(3)}\quad &\mathrm{tr}(k\bm{A})=k\,\mathrm{tr}(\bm{A})\text{；} \tag{A-19}\\ \text{(4)}\quad &\mathrm{tr}(\bm{A}\bm{B})=\mathrm{tr}(\bm{B}\bm{A})\ \text{（$\bm{A}\bm{B}$ 和 $\bm{B}\bm{A}$ 都是方阵）；} \tag{A-20}\\ \text{(5)}\quad &\mathrm{tr}(\bm{A}^{\mathrm{T}}\bm{B})=\mathrm{tr}(\bm{A}\bm{B}^{\mathrm{T}})\ \text{（$\bm{A}^{\mathrm{T}}\bm{B}$ 和 $\bm{A}\bm{B}^{\mathrm{T}}$ 都是方阵）。} \tag{A-21} \end{aligned}\]

正交矩阵

如果：\(\bm{A}\bm{A}^{\mathrm{T}}=\bm{E}\)（\(\bm{E}\) 为单位矩阵）或 \(\bm{A}^{\mathrm{T}}\bm{A}=\bm{E}\)，则 \(n\) 阶实矩阵 \(\bm{A}\) 称为正交矩阵；若 \(\bm{A}\) 为正交阵，则满足以下条件：

(1) \(\bm{A}^{\mathrm{T}}\) 是正交矩阵；

(2) \(\bm{A}\) 的各行是单位向量且两两正交；

(3) \(\bm{A}\) 的各列是单位向量且两两正交；

(4) \(|\bm{A}|=1\) 或 \(-1\)；

(5) \(\bm{A}^{\mathrm{T}}=\bm{A}^{-1}\)。

特征值和特征向量

定义：对于 \(n\) 阶方阵 \(\bm{A}\)，若存在 \(n\) 维非零向量 \(\bm{x}\)，使得 \[\bm{A}\bm{x}=\lambda\bm{x} \tag{A-22}\] 则称常数 \(\lambda\) 为矩阵 \(\bm{A}\) 的特征值（或特征根），\(\bm{x}\) 为矩阵 \(\bm{A}\) 属于特征值 \(\lambda\) 的特征向量。式 (A-22) 表明特征向量被施以线性变换 \(\bm{A}\) 只会使向量伸长或缩短，但方向不会改变。由式 (A-22) 可得 \[(\lambda\bm{E}-\bm{A})\bm{x}=0 \tag{A-23}\] 因此，该齐次线性方程组有非零解的条件是 \[|\lambda\bm{E}-\bm{A}|=0 \tag{A-24}\] 称 \(\lambda\bm{E}-\bm{A}\) 为矩阵 \(\bm{A}\) 的特征矩阵，而 \(f(\lambda)=|\lambda\bm{E}-\bm{A}|\) 为矩阵 \(\bm{A}\) 的特征多项式。特征多项式是一个最高次系数为 \(1\) 的 \(n\) 次多项式，通常写成 \[f(\lambda)=\lambda^n+a_{n-1}\lambda^{n-1}+\cdots+a_1\lambda+a_0 \tag{A-25}\] 显然，矩阵 \(\bm{A}\) 的特征值为特征方程 \[\begin{aligned} f(\lambda)&=|\lambda\bm{E}-\bm{A}|\\ &=\lambda^n+a_{n-1}\lambda^{n-1}+\cdots+a_1\lambda+a_0=0 \end{aligned} \tag{A-26}\] 的 \(n\) 个根 \(\lambda_i\)（\(i=1,\ 2,\ \cdots,\ n\)）。属于 \(\lambda_i\) 的特征向量 \(\bm{x}\) 可由式 (A-23) 求出。 特征值和特征向量具有下列性质：

(1) 设 \(\lambda_1\)，\(\lambda_2\)，…，\(\lambda_n\) 为 \(n\) 阶方阵 \(\bm{A}\) 的 \(n\) 个特征值，则

\(\bm{A}^k\) 的特征值为 \(\lambda_1^k\)，\(\lambda_2^k\)，…，\(\lambda_n^k\)（\(k\) 为正整数）；

\(\bm{A}\) 的逆矩阵 \(\bm{A}^{-1}\) 的特征值为 \(\lambda_1^{-1}\)，\(\lambda_2^{-1}\)，…，\(\lambda_n^{-1}\)；

\(\bm{A}\) 的伴随矩阵 \(\bm{A}^{*}\) 的特征值为 \(\lambda_1^{-1}|\bm{A}|\)，\(\lambda_2^{-1}|\bm{A}|\)，…，\(\lambda_n^{-1}|\bm{A}|\)。

(2) \(n\) 阶方阵 \(\bm{A}\) 的 \(n\) 个特征值之和等于 \(\bm{A}\) 的迹，矩阵 \(\bm{A}\) 的 \(n\) 个特征值之积等于矩阵 \(\bm{A}\) 的行列式，即 \[\begin{aligned} \lambda_1+\lambda_2+\cdots+\lambda_n&=\mathrm{tr}(\bm{A})=a_{11}+a_{22}+\cdots+a_{nn} \tag{A-27}\\ \lambda_1\cdot\lambda_2\cdots\lambda_n&=|\bm{A}| \tag{A-28} \end{aligned}\]

(3) 若 \(\lambda_i\) 是特征方程的 \(k\) 重根，则对应的线性无关的特征向量的个数不大于 \(k\)。当 \(\lambda_i\) 为单根时，对应于 \(\lambda_i\) 的线性无关的特征向量只有一个。

(4) 矩阵 \(\bm{A}\) 的属于不同特征值的特征向量相互线性无关。

(5) 矩阵的特征值在相似变换下保持不变，特别是 \(\bm{A}^{\mathrm{T}}\) 与 \(\bm{A}\) 具有相同的特征值。

(6) 实对称矩阵的特征值都是实数，属于不同特征值的特征向量相互正交。

线性方程组有解的判定条件

对于 \(n\) 元线性方程组 \(\underset{m\times n}{\bm{A}}\ \underset{n\times 1}{\bm{x}}=\underset{m\times 1}{\bm{b}}\)，其增广矩阵为 \(\underset{m\times(n+1)}{\bm{B}}=(\underset{m\times n}{\bm{A}},\ \underset{m\times 1}{\bm{b}})\)

(1) \(R(\underset{m\times n}{\bm{A}})<R(\underset{m\times(n+1)}{\bm{B}})\Leftrightarrow\underset{m\times n}{\bm{A}}\ \underset{n\times 1}{\bm{x}}=\underset{m\times 1}{\bm{b}}\) 无解；

(2) \(R(\underset{m\times n}{\bm{A}})=R(\underset{m\times(n+1)}{\bm{B}})=n\Leftrightarrow\underset{m\times n}{\bm{A}}\ \underset{n\times 1}{\bm{x}}=\underset{m\times 1}{\bm{b}}\) 有唯一解；

(3) \(R(\underset{m\times n}{\bm{A}})=R(\underset{m\times(n+1)}{\bm{B}})<n\Leftrightarrow\underset{m\times n}{\bm{A}}\ \underset{n\times 1}{\bm{x}}=\underset{m\times 1}{\bm{b}}\) 有无穷多解。

当 \(\underset{m\times 1}{\bm{b}}=\bm{0}\) 时，上面的线性方程组为齐次线性方程组。从以上的判定条件可知，齐次线性方程一定有解，当 \(R(\underset{m\times n}{\bm{A}})=n\) 时，只有零解；当 \(R(\underset{m\times n}{\bm{A}})<n\) 时有非零解。

矩阵的分解

1. 三角矩阵

(1) 矩阵 \(\underset{n\times n}{\bm{U}}\) 的对角线以下的元素都为零： \[\underset{n\times n}{\bm{U}}=\begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ 0 & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & & \vdots\\ 0 & 0 & \cdots & a_{nn} \end{pmatrix} \tag{A-29}\] 则称 \(\bm{U}\) 为上三角矩阵。当上三角矩阵对角线元素都为 \(1\) 时，则称之为单位上三角矩阵，记为 \(\underset{n\times n}{\bm{U}^{*}}\)。

(2) 下三角矩阵：

矩阵 \(\underset{n\times n}{\bm{L}}\) 的对角线以上的元素都为零 \[\underset{n\times n}{\bm{L}}=\begin{pmatrix} a_{11} & 0 & \cdots & 0\\ a_{21} & a_{22} & \cdots & 0\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{pmatrix} \tag{A-30}\] 则称为下三角矩阵。当下三角矩阵对角线元素都为 \(1\) 时，则称之为单位下三角矩阵，记为 \(\underset{n\times n}{\bm{L}^{*}}\)。

上（下）三角矩阵的乘积仍是上（下）三角矩阵。

2. 矩阵的三角分解

设 \(n\) 阶方阵 \(\bm{A}\in\bm{C}_n^{n\times n}\)，则 \(\bm{A}\) 可以作三角分解的充分必要条件是 \(\Delta_k\neq 0\)（\(k=1,\ 2,\ \cdots,\ n-1\)），其中 \(\Delta_k=\det\bm{A}_k\) 为 \(\bm{A}\) 的 \(k\) 阶顺序主子式，而 \(\bm{A}_k\) 为 \(\bm{A}\) 的顺序主子阵。

(1) \(\bm{A}=\bm{L}\bm{U}\)，这样的三角分解不唯一；

(2) \(\bm{A}=\bm{L}^{*}\bm{U}\)，也称为 Doolittle 分解，这样的分解唯一；

(3) \(\bm{A}=\bm{L}\bm{U}^{*}\)，也称为 Crout 分解，这样的分解唯一；

(4) \(\bm{A}=\bm{L}^{*}\bm{D}\bm{U}^{*}\)，其中 \(\bm{D}=\mathrm{diag}(d_1,\ d_2,\ \cdots d_n)\)，这样的分解唯一；

(5) 如果 \(\bm{A}\) 为对称矩阵，有 \(\bm{A}=(\bm{U}^{*})^{\mathrm{T}}\bm{D}\bm{U}^{*}\)，这样的分解唯一；

(6) 如果 \(\bm{A}\) 为对称矩阵，且 \(\Delta_k>0\)（\(k=1,\ 2,\ \cdots,\ n\)），那么有 \(\bm{A}=\bm{L}\bm{L}^{\mathrm{T}}\)，分解唯一，这样的矩阵分解也称为 Cholesky 分解。这里的 \(\bm{L}\) 为 \[\bm{L}=(\bm{U}^{*})^{\mathrm{T}}\bm{D}^{\frac{1}{2}} \tag{A-31}\] 其中 \[\bm{D}^{\frac{1}{2}}=\mathrm{diag}(\sqrt{d_1},\ \sqrt{d_2},\ \cdots,\ \sqrt{d_n}) \tag{A-32}\]

3. 矩阵的 QR 分解

任意一个方阵 \(\underset{n\times n}{\bm{A}}\) 都可以分解为一个正交矩阵 \(\underset{n\times n}{\bm{Q}}\) 和一个上三角矩阵 \(\underset{n\times n}{\bm{R}}\) 的乘积 \[\underset{n\times n}{\bm{A}}=\underset{n\times n}{\bm{Q}}\underset{n\times n}{\bm{R}} \tag{A-33}\] 也可以对任意维数的矩阵 \(\underset{m\times n}{\bm{A}}\) 进行 QR 分解

这里的矩阵 \(\underset{m\times n}{\bm{R}}\) 是对上三角矩阵矩阵 \(\underset{n\times n}{\widetilde{\bm{R}}}\) 补零得到的矩阵。

一般来讲，求解 QR 分解主要有三种方法：Gram-Schmidt 正交化法（QR 分解中的 \(\bm{Q}\) 本身就可以看作是正交化构造出来的）、Household 变换法、Givens 变换法。

4. 矩阵的特征值分解

特征值分解也称为谱分解。矩阵 \(\underset{n\times n}{\bm{A}}\) 可以分解为如下形式： \[\underset{n\times n}{\bm{A}}=\underset{n\times n}{\bm{Q}}\ \underset{n\times n}{\bm{\varLambda}}\ \underset{n\times n}{\bm{Q}^{-1}} \tag{A-34}\] 其中，\(\underset{n\times n}{\bm{Q}}\) 是矩阵 \(\underset{n\times n}{\bm{A}}\) 的特征向量组成的矩阵，\(\bm{\varLambda}\) 则是一个对角阵，对角线上的元素就是特征值。

特征值分解可以得到特征值与特征向量，特征值的大小表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。如果将 \(\bm{A}\) 中的特征值按照从大到小的顺序排列，那么属于数值大的特征值的特征向量对应着矩阵的主要变化方向，通过这些特征值和特征向量就可以提取出这个矩阵的重要特征。特征值分解是给矩阵找到了一组特殊的基，在这组基下的线性变换可以达到缩放的效果。

若 \(\underset{n\times n}{\bm{A}}\) 为对称矩阵，那么 \(\underset{n\times n}{\bm{Q}}\) 也为正交矩阵 \[\underset{n\times n}{\bm{A}}=\underset{n\times n}{\bm{Q}}\ \underset{n\times n}{\bm{\varLambda}}\ \underset{n\times n}{\bm{Q}^{\mathrm{T}}} \tag{A-35}\]

5. 矩阵的奇异值分解

特征值分解只局限于对方阵的分解。对于任意矩阵 \(\underset{m\times n}{\bm{A}}\)，存在 \[\underset{m\times n}{\bm{A}}=\underset{m\times m}{\bm{U}}\ \underset{m\times n}{\bm{\varLambda}}\ \underset{n\times n}{\bm{V}^{\mathrm{T}}} \tag{A-36}\] 式中，\(\underset{m\times m}{\bm{U}}\) 为 \(m\) 阶正交矩阵，由矩阵 \(\underset{m\times n}{\bm{A}}\ \underset{n\times m}{\bm{A}^{\mathrm{T}}}\) 的特征向量组成；\(\underset{n\times n}{\bm{V}^{\mathrm{T}}}\) 为 \(n\) 阶正交矩阵，由矩阵 \(\underset{n\times m}{\bm{A}^{\mathrm{T}}}\ \underset{m\times n}{\bm{A}}\) 的特征向量组成；而矩阵 \(\bm{\varLambda}\) 具有下列结构： \[\bm{\varLambda}=\begin{bmatrix}\underset{r\times r}{\bm{\varLambda}'} & \underset{r\times(n-r)}{\bm{0}}\\ \underset{(m-r)\times r}{\bm{0}} & \underset{(m-r)\times(n-r)}{\bm{0}}\end{bmatrix} \tag{A-37}\] 且 \[\bm{\varLambda}'=\begin{bmatrix}\sqrt{\lambda_1} & & &\\ & \sqrt{\lambda_1} & &\\ & & \ddots &\\ & & & \sqrt{\lambda_1}\end{bmatrix} \tag{A-38}\]

式中，\(\lambda_1\)，\(\lambda_2\cdots\lambda_i\)（\(\lambda_i>\lambda_{i+1}\)）为矩阵 \(\underset{m\times n}{\bm{A}}\ \underset{n\times m}{\bm{A}^{\mathrm{T}}}\) 或 \(\underset{n\times m}{\bm{A}^{\mathrm{T}}}\ \underset{m\times n}{\bm{A}}\) 的非零特征值，\(\sqrt{\lambda_i}\) 也称为奇异值。

一般来说，\(\bm{\varLambda}'\) 上的值按从大到小的顺序排列。在以上的分解中，最大的几个特征值或者奇异值之和就能占据所有特征值或者奇异值之和的 \(99\%\) 了，所以用最大的几个就可以近似原矩阵了，从而实现了矩阵的压缩和近似。奇异值分解的实质是找到了两组基，实现了从一组基到另一组的线性变换的旋转、缩放和投影效果。

幂等矩阵

定义：称满足条件 \[\bm{A}^2=\bm{A}\bm{A}=\bm{A} \tag{A-39}\] 的 \(n\) 阶方阵 \(\bm{A}\) 为幂等矩阵。

幂等矩阵具有下列性质：

(1) 若 \(\bm{A}\) 为幂等对称矩阵，则 \(\bm{A}\) 必为半正定矩阵；

(2) 幂等矩阵 \(\bm{A}\) 的特征值为 \(0\) 或 \(1\)，即 \(\lambda(\bm{A})=0\) 或 \(1\)；

(3) 幂等矩阵 \(\bm{A}\) 的秩等于它的迹，即 \[\mathrm{rank}(\bm{A})=\mathrm{tr}(\bm{A}) \tag{A-40}\] 若矩阵 \(\bm{A}\) 幂等且正定，则 \[\bm{A}=\bm{E} \tag{A-41}\] 若阶矩阵 \(\bm{A}\) 为 \(\mathrm{rank}(\bm{A})=r\) 的幂等矩阵，则 \(\bm{E}-\bm{A}\) 也为幂等矩阵 \[\mathrm{rank}(\bm{E}-\bm{A})=n-r \tag{A-42}\] 如果矩阵 \(\bm{A}\) 为幂等对称矩阵，且 \(\mathrm{rank}(\bm{A})=r\)，则存在正交矩阵 \(\bm{Q}\) 使得 \[\bm{Q}^{\mathrm{T}}\bm{A}\bm{Q}=\begin{bmatrix}\bm{E}_{r\times r} & \bm{0}\\ \bm{0} & \bm{0}\end{bmatrix} \tag{A-43}\]

矩阵求逆

1. 分块三角矩阵求逆公式

如果 \(\bm{A}\) 是一个 \((m+n)\) 阶的分块三角阵： \[\bm{A}=\begin{bmatrix}\bm{A}_{11} & \bm{A}_{12}\\ \bm{0} & \bm{A}_{22}\end{bmatrix} \tag{A-44}\] \[\bm{A}=\begin{bmatrix}\bm{A}_{11} & \bm{0}\\ \bm{A}_{21} & \bm{A}_{22}\end{bmatrix} \tag{A-45}\] 其中，\(\bm{A}_{11}\) 及 \(\bm{A}_{22}\) 分别为 \(m\) 阶及 \(n\) 阶的可逆矩阵，则 \(\bm{A}\) 阵也是可逆阵，并且有 \[\bm{A}^{-1}=\begin{bmatrix}\bm{A}_{11}^{-1} & -\bm{A}_{11}^{-1}\bm{A}_{12}\bm{A}_{22}^{-1}\\ \bm{0} & \bm{A}_{22}^{-1}\end{bmatrix} \tag{A-46}\] \[\bm{A}^{-1}=\begin{bmatrix}\bm{A}_{11}^{-1} & \bm{0}\\ -\bm{A}_{22}^{-1}\bm{A}_{21}\bm{A}_{11}^{-1} & \bm{A}_{22}^{-1}\end{bmatrix} \tag{A-47}\]

2. 矩阵求逆的恒等式

若令方阵 \(\bm{M}=\begin{bmatrix}\bm{A} & \bm{B}\\ \bm{C} & \bm{D}\end{bmatrix}\)，其中 \(\bm{A}\)、\(\bm{D}\) 为可逆子矩阵，则有 \[\bm{M}\bm{M}^{-1}=\begin{bmatrix}\bm{A} & \bm{B}\\ \bm{C} & \bm{D}\end{bmatrix} \begin{bmatrix}\bm{E} & \bm{F}\\ \bm{G} & \bm{H}\end{bmatrix} =\begin{bmatrix}\bm{E}_a & \bm{0}\\ \bm{0} & \bm{E}_b\end{bmatrix} \tag{A-48}\] 由分块矩阵求逆可得 \[\begin{aligned} &\begin{bmatrix}\bm{A} & \bm{B}\\ \bm{C} & \bm{D}\end{bmatrix}^{-1} =\begin{bmatrix}\bm{E} & \bm{F}\\ \bm{G} & \bm{H}\end{bmatrix}\\ =&\begin{bmatrix} \bm{A}^{-1}+\bm{A}^{-1}\bm{B}\left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\bm{C}\bm{A}^{-1} & -\bm{A}^{-1}\bm{B}\left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\\[6pt] -\left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\bm{C}\bm{A}^{-1} & \left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1} \end{bmatrix} \end{aligned} \tag{A-49}\] 通过比较得到下列矩阵恒等式： \[\begin{aligned} \left(\bm{A}-\bm{B}\bm{D}^{-1}\bm{C}\right)^{-1}&=\bm{A}^{-1}+\bm{A}^{-1}\bm{B}\left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\bm{C}\bm{A}^{-1} \tag{A-50}\\ \bm{D}^{-1}\bm{C}\left(\bm{A}-\bm{B}\bm{D}^{-1}\bm{C}\right)^{-1}&=\left(\bm{D}-\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\bm{C}\bm{A}^{-1} \tag{A-51}\\ \left(\bm{A}^{-1}+\bm{B}\bm{D}^{-1}\bm{C}\right)^{-1}&=\bm{A}-\bm{A}\bm{B}\left(\bm{D}+\bm{C}\bm{A}\bm{B}\right)^{-1}\bm{C}\bm{A} \tag{A-52}\\ \bm{D}\bm{C}\left(\bm{A}+\bm{B}\bm{D}\bm{C}\right)^{-1}&=\left(\bm{D}^{-1}+\bm{C}\bm{A}^{-1}\bm{B}\right)^{-1}\bm{C}\bm{A}^{-1} \tag{A-53} \end{aligned}\] 利用上面的结果可以得到可逆方阵 \(\bm{A}\) 和 \(\bm{B}\) 存在下列关系： \[\begin{aligned} \left(\bm{A}+\bm{B}\right)^{-1}&=\bm{A}^{-1}\left(\bm{A}^{-1}+\bm{B}^{-1}\right)^{-1}\bm{B}^{-1}\\ &=\bm{B}^{-1}\left(\bm{A}^{-1}+\bm{B}^{-1}\right)^{-1}\bm{A}^{-1} \end{aligned} \tag{A-54}\] 矩阵恒等式在最优估计的许多证明过程中都被用到。

矩阵的范数和状态

矩阵的范数和状态常用来研究线性方程组的解算精度、收敛速度和估计的凑整误差等。

1. 向量范数和矩阵范数

为整体地估计一个向量或一个矩阵的大小，需要有一个代表性的数量，称之为范数。范数由这个向量或矩阵中若干个元素的函数来表达。比如，可以很直接地利用向量的长度作为范数，称之为向量的欧氏范数。

(1) 向量范数的定义：

对于向量 \(\bm{x}\in\bm{R}^n\)，如果有一个非负的实数 \(\|\bm{x}\|\) 与之对应，且满足三个条件：

1⃝ 当 \(\bm{x}\neq 0\) 时，\(\|\bm{x}\|\geq 0\)；当且仅当 \(\bm{x}=0\) 时，\(\|\bm{x}\|=0\)（非负定性）；

2⃝ \(\|k\bm{x}\|=k\|\bm{x}\|\)（\(k\) 为任一实数）（齐次性）；

3⃝ \(\|\bm{x}+\bm{y}\|\leq\|\bm{x}\|+\|\bm{y}\|\)（三角形不等式）。

通常称 \(\|\bm{x}\|\) 为向量 \(\bm{x}\) 的范数，最常用的三种向量范数为：

1⃝ 1-范数： \[\|\bm{x}\|_1=|x_1|+|x_2|+\cdots+|x_n|\ ; \tag{A-55}\] 2⃝ 2-范数： \[\|\bm{x}\|_2=\left(x_1^2+x_2^2+\cdots+x_n^2\right)^{1/2}=\sqrt{\bm{x}^{\mathrm{T}}\bm{x}} \tag{A-56}\] 即向量的长度；

3⃝ 无穷范数： \[\|\bm{x}\|_\infty=\max_i\left(\,|x_i|\,\right) \tag{A-57}\] 更一般地表示为 P-范数 \[\|\bm{x}\|_p=\left\{\sum_{i=1}^{n}|x_i|^p\right\}^{\frac{1}{p}}\quad (p\geq 1) \tag{A-58}\]

(2) 向量范数的性质：

1⃝ 由列向量 \(\bm{x}_1\) 和列向量 \(\bm{x}_2\)，容易得到 \[\left\|\begin{bmatrix}\bm{x}_1\\ \bm{x}_2\end{bmatrix}\right\|_2=\sqrt{\bm{x}_1^{\mathrm{T}}\bm{x}_1+\bm{x}_2^{\mathrm{T}}\bm{x}_2} \tag{A-59}\] 即有 \[\left\|\begin{bmatrix}\bm{x}_1\\ \bm{x}_2\end{bmatrix}\right\|_2^2=\|\bm{x}_1\|_2^2+\|\bm{x}_2\|_2^2\]

2⃝ \(\bm{Q}\) 为正交矩阵，即 \(\bm{Q}^{\mathrm{T}}\bm{Q}=\bm{I}\) 或 \(\bm{Q}\bm{Q}^{\mathrm{T}}=\bm{I}\)，所以 \[\|\bm{Q}^{\mathrm{T}}\bm{x}\|_2=\sqrt{\bm{x}^{\mathrm{T}}\bm{Q}\bm{Q}^{\mathrm{T}}\bm{x}}=\sqrt{\bm{x}^{\mathrm{T}}\bm{x}}=\|\bm{x}\|_2 \tag{A-60}\] 上式表明：向量 \(\bm{x}\) 经过正交变换后，其长度不变。

(3) 方阵 \(\bm{A}\) 的范数定义：

如果有一非负实数 \(\|\bm{A}\|\)，且满足条件：

1⃝ 当 \(\bm{A}\neq\bm{0}\)，\(\|\bm{A}\|>0\)；当且仅当 \(\bm{A}=\bm{0}\)，\(\|\bm{A}\|=0\)（非负性）；

2⃝ 对于任一实数 \(k\)，有 \(\|k\bm{A}\|=k\|\bm{A}\|\)（齐次性）；

3⃝ \(\|\bm{A}+\bm{B}\|\leq\|\bm{A}\|+\|\bm{B}\|\)（三角形不等式）；

4⃝ \(\|\bm{A}\bm{B}\|\leq\|\bm{A}\|\cdot\|\bm{B}\|\)（相容性），

则称 \(\|\bm{A}\|\) 为方阵 \(\bm{A}\) 的范数。如果方阵 \(\bm{A}\) 还满足以下条件：

5⃝ \(\|\bm{A}\bm{x}\|\leq\|\bm{A}\|\cdot\|\bm{x}\|\)（算子连续性），

则称 \(\|\bm{A}\|\) 为与向量范数 \(\|\bm{x}\|\) 相容的矩阵范数。

利用向量范数，可定义从属于向量范数的方阵范数为 \[\|\bm{A}\|=\max\frac{\|\bm{A}\bm{x}\|}{\|\bm{x}\|}\quad \bm{x}\neq\bm{0} \tag{A-61}\] 根据这个定义，求得与上述三种向量范数相容的从属范数为 \[\begin{aligned} \|\bm{A}\|_2&=\sqrt{\mu}\ \text{（$\mu$ 为矩阵 $\bm{A}^{\mathrm{T}}\bm{A}$ 的最大特征值）} \tag{A-62}\\[4pt] \|\bm{A}\|_\infty&=\max_i\left(\sum_{j=1}^{n}|a_{ij}|\right)\ \text{（行总和）} \tag{A-63}\\[4pt] \|\bm{A}\|_1&=\max_j\left(\sum_{i=1}^{n}|a_{ij}|\right)\ \text{（列总和）} \tag{A-64} \end{aligned}\]

2. 矩阵的状态

一个 \(n\) 阶方阵 \(\bm{A}\) 的状态是通过条件数来定义的 \[\mathrm{Cond}_p(\bm{A})=\|\bm{A}\|_p\cdot\|\bm{A}^{-1}\|_p \tag{A-65}\] 该值恒大于或等于 \(1\)。其中 \(\|\bm{A}\|_p\)（\(P=1\)，\(2\)，\(\infty\)）表示矩阵 \(\bm{A}\) 的某种范数。

在欧氏范数下，有 \[\mathrm{Cond}_2(\bm{A})=\|\bm{A}\|_2\cdot\|\bm{A}^{-1}\|_2 \tag{A-66}\] 若 \(\bm{A}\) 为实对称矩阵 \[\mathrm{Cond}_2(\bm{A})=\frac{\sqrt{|\ \lambda\ |_{\max}}}{\sqrt{|\ \lambda\ |_{\min}}} \tag{A-67}\] 式中，\(|\ \lambda\ |_{\max}\) 和 \(|\ \lambda\ |_{\min}\) 为矩阵 \(\bm{A}\) 绝对值最大和最小的特征值。

矩阵的条件数表示了矩阵计算对于误差的敏感性。对于线性方程组 \(\bm{A}\bm{x}=\bm{b}\)，如果 \(\bm{A}\) 的条件数大，\(\bm{b}\) 的微小改变就能引起解 \(\bm{x}\) 较大的改变，数值稳定性差。反之，如果 \(\bm{A}\) 的条件数小，\(\bm{b}\) 有微小的改变，\(\bm{x}\) 的改变也很微小，表明数值稳定性好。矩阵的条件数也可以表示 \(\bm{b}\) 不变，而 \(\bm{A}\) 有微小改变时，\(\bm{x}\) 的变化情况。矩阵的条件数是表示矩阵病态程度的一种度量，条件数越大矩阵病态程度越严重。

附录 B向量和矩阵的微分运算

矩阵对变量的微分

设 \(m\times n\) 阶矩阵 \(\bm{A}\) 的每一个元素 \(a_{ij}\) 均是变量 \(x\) 的函数，若它们在某点或某区间是可微的，则矩阵 \(\bm{A}\) 在该点或该区间也是可微的，定义矩阵的导数为 \[\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}=\dot{\bm{A}} =\begin{bmatrix} \dfrac{\mathrm{d}a_{11}}{\mathrm{d}x} & \dfrac{\mathrm{d}a_{12}}{\mathrm{d}x} & \cdots & \dfrac{\mathrm{d}a_{1n}}{\mathrm{d}x}\\[10pt] \vdots & \vdots & & \vdots\\[6pt] \dfrac{\mathrm{d}a_{m1}}{\mathrm{d}x} & \dfrac{\mathrm{d}a_{m2}}{\mathrm{d}x} & \cdots & \dfrac{\mathrm{d}a_{mn}}{\mathrm{d}x} \end{bmatrix} \tag{B-1}\] 同函数的微分一样，矩阵的微分具有以下性质：

(1) \[\frac{\mathrm{d}(\bm{A}+\bm{B})}{\mathrm{d}x}=\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}+\frac{\mathrm{d}\bm{B}}{\mathrm{d}x}\ ; \tag{B-2}\]

(2) \[\frac{\mathrm{d}(k\bm{A})}{\mathrm{d}x}=k\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}\ ; \tag{B-3}\]

(3) \[\frac{\mathrm{d}(\bm{A}\bm{B})}{\mathrm{d}x}=\bm{A}\frac{\mathrm{d}\bm{B}}{\mathrm{d}x}+\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}\bm{B}\ ; \tag{B-4}\]

(4) \[\frac{\mathrm{d}(\bm{R}\bm{A})}{\mathrm{d}x}=\bm{R}\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}\ \text{（$\bm{R}$ 为常数矩阵）；} \tag{B-5}\]

(5) \[\frac{\mathrm{d}(\bm{A}\bm{R})}{\mathrm{d}x}=\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}\bm{R}\ \text{（$\bm{R}$ 为常数矩阵）；} \tag{B-6}\]

(6) 设 \(u=f_1(x)\)，\(\bm{A}=f_2(u)\)，则 \[\frac{\mathrm{d}\bm{A}}{\mathrm{d}x}=\frac{\mathrm{d}\bm{A}}{\mathrm{d}u}\cdot\frac{\mathrm{d}u}{\mathrm{d}x}\ ; \tag{B-7}\]

向量与矩阵的微分运算

若函数 \(f\) 是以 \(n\) 维列向量 \(\bm{x}=\left(\begin{array}{llll}x_1 & x_2 & \cdots & x_n\end{array}\right)^{\mathrm{T}}\) 为自变量的函数：\(f(\bm{x})=f(x_1,\ x_2,\ \cdots,\ x_n)\)，且函数 \(f(\bm{x})\) 对所有自变量 \(x_i\) 是可微的，则 \(f(\bm{x})\) 对于列向量 \(\bm{x}\) 的偏导数定义为 \[\frac{\partial f}{\partial\bm{x}^{\mathrm{T}}} =\begin{bmatrix}\dfrac{\partial f}{\partial x_1} & \dfrac{\partial f}{\partial x_2} & \cdots & \dfrac{\partial f}{\partial x_n}\end{bmatrix} \tag{B-8}\] 若有 \(m\) 维行向量函数组 \(\bm{F}^{\mathrm{T}}(\bm{x})=\left[\begin{array}{llll}f_1(\bm{x}) & f_2(\bm{x}) & \cdots & f_m(\bm{x})\end{array}\right]\)，则向量 \(\bm{F}^{\mathrm{T}}(\bm{x})\) 对 \(n\) 维列向量 \(\bm{x}\) 的微分为一个 \(n\times m\) 阶矩阵： \[\frac{\mathrm{d}\bm{F}^{\mathrm{T}}}{\mathrm{d}\bm{x}} =\begin{bmatrix} \dfrac{\partial f_1}{\partial x_1} & \dfrac{\partial f_2}{\partial x_1} & \cdots & \dfrac{\partial f_m}{\partial x_1}\\[10pt] \dfrac{\partial f_1}{\partial x_2} & \dfrac{\partial f_2}{\partial x_2} & \cdots & \dfrac{\partial f_m}{\partial x_2}\\[10pt] \vdots & \vdots & & \vdots\\[6pt] \dfrac{\partial f_1}{\partial x_n} & \dfrac{\partial f_2}{\partial x_n} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{bmatrix} \tag{B-9}\] 同样，\(m\) 维列向量函数 \(\bm{F}(\bm{x})=\left[\begin{array}{llll}f_1(\bm{x}) & f_2(\bm{x}) & \cdots & f_m(\bm{x})\end{array}\right]^{\mathrm{T}}\) 对 \(n\) 维行向量 \(\bm{x}^{\mathrm{T}}\) 的微分为一个 \(m\times n\) 阶矩阵： \[\frac{\mathrm{d}\bm{F}}{\mathrm{d}\bm{x}^{\mathrm{T}}} =\begin{bmatrix} \dfrac{\partial f_1}{\partial x_1} & \dfrac{\partial f_1}{\partial x_2} & \cdots & \dfrac{\partial f_1}{\partial x_n}\\[10pt] \dfrac{\partial f_2}{\partial x_1} & \dfrac{\partial f_2}{\partial x_2} & \cdots & \dfrac{\partial f_2}{\partial x_n}\\[10pt] \vdots & \vdots & & \vdots\\[6pt] \dfrac{\partial f_m}{\partial x_1} & \dfrac{\partial f_m}{\partial x_2} & \cdots & \dfrac{\partial f_m}{\partial x_n} \end{bmatrix} \tag{B-10}\]

下面给出向量微分运算的性质：

(1) \[\frac{\mathrm{d}\underset{1\times m}{\bm{C}}}{\mathrm{d}\underset{n\times 1}{\bm{x}}}=\underset{n\times m}{\bm{0}}\ ,\quad \bm{C}\text{ 为常数向量；} \tag{B-11}\]

(2) \[\frac{\mathrm{d}(\bm{F}+\bm{G})}{\mathrm{d}\bm{x}^{\mathrm{T}}}=\frac{\mathrm{d}\bm{F}}{\mathrm{d}\bm{x}^{\mathrm{T}}}+\frac{\mathrm{d}\bm{G}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\ ; \tag{B-12}\]

(3) \[\frac{\mathrm{d}\bm{F}}{\mathrm{d}\bm{x}^{\mathrm{T}}}=\left(\frac{\mathrm{d}\bm{F}^{\mathrm{T}}}{\mathrm{d}\bm{x}}\right)^{\mathrm{T}}\ ; \tag{B-13}\]

(4) \[\frac{\mathrm{d}\left(\bm{F}^{\mathrm{T}}\bm{G}\right)}{\mathrm{d}\bm{x}^{\mathrm{T}}} =\frac{\mathrm{d}\left(\bm{G}^{\mathrm{T}}\bm{F}\right)}{\mathrm{d}\bm{x}^{\mathrm{T}}} =\bm{F}^{\mathrm{T}}\frac{\mathrm{d}\bm{G}}{\mathrm{d}\bm{x}^{\mathrm{T}}}+\bm{G}^{\mathrm{T}}\frac{\mathrm{d}\bm{F}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\ ; \tag{B-14}\]

(5) \[\frac{\mathrm{d}(\bm{C}\bm{F})}{\mathrm{d}\bm{x}^{\mathrm{T}}}=\bm{C}\frac{\mathrm{d}\bm{F}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\quad (\bm{C}\text{ 为常数矩阵）}\ ; \tag{B-15}\]

(6) \[\frac{\mathrm{d}\bm{x}}{\mathrm{d}\bm{x}^{\mathrm{T}}}=\bm{E}\ ; \tag{B-16}\]

(7) \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}}\left(\bm{x}^{\mathrm{T}}\bm{A}\right)=\bm{A}\quad (\bm{A}\text{ 为常数矩阵）}\ ; \tag{B-17}\]

(8) \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\left(\bm{A}\bm{x}\right)=\bm{A}\quad (\bm{A}\text{ 为常数矩阵）}\ 。 \tag{B-18}\]

特殊函数的微分

1. 二次型的偏导数

有向量 \(\underset{n\times 1}{\bm{x}}\) 和矩阵 \(\underset{n\times n}{\bm{A}}\) 则 \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\right) =\bm{x}^{\mathrm{T}}\frac{\mathrm{d}\bm{A}\bm{x}}{\mathrm{d}\bm{x}^{\mathrm{T}}}+\left(\bm{A}\bm{x}\right)^{\mathrm{T}}\frac{\mathrm{d}\bm{x}}{\mathrm{d}\bm{x}^{\mathrm{T}}} =\bm{x}^{\mathrm{T}}\bm{A}+\bm{x}^{\mathrm{T}}\bm{A}^{\mathrm{T}} =\bm{x}^{\mathrm{T}}\left(\bm{A}+\bm{A}^{\mathrm{T}}\right) \tag{B-19}\] 若 \(\bm{A}\) 为对称矩阵，那么 \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\right)=2\bm{x}^{\mathrm{T}}\bm{A} \tag{B-20}\] 根据上面的结论，可以得到 \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}}\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\right)=2\bm{A}\bm{x} \tag{B-21}\] \[\frac{\mathrm{d}\left(\bm{x}^{\mathrm{T}}\bm{x}\right)}{\mathrm{d}\bm{x}}=2\bm{x} \tag{B-22}\] \[\frac{\mathrm{d}}{\mathrm{d}\bm{x}}\left(\bm{\lambda}^{\mathrm{T}}\bm{A}\bm{x}\right)=\bm{A}^{\mathrm{T}}\bm{\lambda}\ ;\quad \frac{\mathrm{d}}{\mathrm{d}\bm{x}^{\mathrm{T}}}\left(\bm{\lambda}^{\mathrm{T}}\bm{A}\bm{x}\right)=\bm{\lambda}^{\mathrm{T}}\bm{A} \quad\text{（$\bm{\lambda}^{\mathrm{T}}$，$\bm{A}$ 均为常数阵）} \tag{B-23}\]

2. 行列式的偏导数

若 \(\bm{A}\) 为 \(n\times n\) 阶可逆矩阵，则 \[\frac{\partial|\bm{A}|}{\partial\bm{A}}=\left(\bm{A}^{-1}\right)^{\mathrm{T}}|\bm{A}| \tag{B-24}\]

3. 逆矩阵的偏导数

设 \(\bm{A}\) 为 \(n\) 阶可逆矩阵，它的逆矩阵对变量 \(\bm{x}\) 的偏导数为 \[\frac{\partial\left(\bm{A}^{-1}\right)}{\partial x}=-\bm{A}^{-1}\frac{\partial\bm{A}}{\partial x}\bm{A}^{-1} \tag{B-25}\]

4. 行列式自然对数的偏导数

\[\frac{\partial\left(\ln|\bm{A}|\right)}{\partial x}=\mathrm{tr}\left(\bm{A}^{-1}\frac{\partial\bm{A}}{\partial x}\right) \tag{B-26}\] 式中 \(x\) 为变量。

矩阵的迹对矩阵的偏导数

已知矩阵 \(\bm{A}\) 和方阵 \(\bm{F}\)，而 \(\bm{F}\) 是包括 \(\bm{A}\) 在内的若干个矩阵的乘积，则 \(\bm{F}\) 的迹关于矩阵 \(\bm{A}\) 的偏导数是一个矩阵，该矩阵的各元素是 \(\bm{F}\) 的迹关于 \(\bm{A}\) 的对应元素的偏导数，即 \[\frac{\partial\mathrm{tr}(\bm{F})}{\partial\bm{A}} =\begin{bmatrix}\dfrac{\partial\mathrm{tr}(\bm{F})}{\partial a_{ij}}\end{bmatrix} \tag{B-27}\] 而 \[\frac{\partial\mathrm{tr}(\bm{F})}{\partial\bm{A}^{\mathrm{T}}} =\begin{bmatrix}\dfrac{\partial\mathrm{tr}(\bm{F})}{\partial a_{ij}}\end{bmatrix}^{\mathrm{T}} \tag{B-28}\] 矩阵的迹对于矩阵的偏导数有下列性质：

(1) 若 \(\bm{F}=\bm{A}\bm{B}\)，则 \[\frac{\partial\mathrm{tr}(\bm{A}\bm{B})}{\partial\bm{A}}=\frac{\partial\mathrm{tr}(\bm{B}\bm{A})}{\partial\bm{A}}=\bm{B}^{\mathrm{T}} \tag{B-29}\]

(2) 若 \(\bm{F}=\bm{A}\bm{B}\bm{A}^{\mathrm{T}}\)，则 \[\frac{\partial\mathrm{tr}\left(\bm{A}\bm{B}\bm{A}^{\mathrm{T}}\right)}{\partial\bm{A}}=\bm{A}\left(\bm{B}+\bm{B}^{\mathrm{T}}\right) \tag{B-30}\]

(3) 若 \(\bm{F}=\bm{A}^{\mathrm{T}}\bm{B}\bm{A}\)，则 \[\frac{\partial\mathrm{tr}\left(\bm{A}^{\mathrm{T}}\bm{B}\bm{A}\right)}{\partial\bm{A}}=\left(\bm{B}+\bm{B}^{\mathrm{T}}\right)\bm{A} \tag{B-31}\]

(4) 若 \(\bm{F}=\bm{A}\bm{B}\bm{A}^{\mathrm{T}}\bm{C}\)，则 \[\frac{\partial\mathrm{tr}\left(\bm{A}\bm{B}\bm{A}^{\mathrm{T}}\bm{C}\right)}{\partial\bm{A}} =\bm{C}^{\mathrm{T}}\bm{A}\bm{B}^{\mathrm{T}}+\bm{C}\bm{A}\bm{B} \tag{B-32}\]

(5) 若 \(\bm{F}=\bm{A}\bm{B}\bm{A}\bm{C}\)，则 \[\frac{\partial\mathrm{tr}\left(\bm{A}\bm{B}\bm{A}\bm{C}\right)}{\partial\bm{A}}=\left(\bm{B}\bm{A}\bm{C}+\bm{C}\bm{A}\bm{B}\right)^{\mathrm{T}} \tag{B-33}\]

(6) 若 \(\bm{F}=\bm{A}\bm{B}\bm{A}\bm{B}\)，则 \[\frac{\partial\mathrm{tr}\left(\bm{A}\bm{B}\bm{A}\bm{B}\right)}{\partial\bm{A}}=2\bm{B}\bm{A}\bm{B} \tag{B-34}\]

附录 C二次型及有关定理

二次型定义

设 \(a_{ij}\)（\(i,\ j=1,\ 2,\ \cdots,\ n\)）均为实常数，定义关于 \(n\) 个实变量 \(x_1\)，\(x_2\)，…，\(x_n\) 的二次多项式为 \[\begin{aligned} f(x_1,\ x_2,\ \cdots,\ x_n)=a_{11}x_1^2+2a_{12}x_1x_2+2a_{13}x_1x_3+\cdots+2a_{1n}x_1x_n&\\ +a_{22}x_2^2+2a_{23}x_2x_3+\cdots+2a_{2n}x_2x_n&\\ +\cdots&\\ &\hspace{-6em}+a_{nn}x_n^2\\ =\sum_{i=1}^{n}a_{ii}x_i^2+\sum_{\substack{i,\ j=1\\ i<j}}^{n}2a_{ij}x_ix_j& \end{aligned} \tag{C-1}\] \(f(x_1,\ x_2,\ \cdots,\ x_n)\) 称为实二次型。上式也可以表示为 \[\begin{aligned} f(x_1,\ x_2,\ \cdots,\ x_n)&=\sum_{i=1}^{n}\sum_{j=1}^{n}a_{ij}x_ix_j\\[6pt] &=\left(\begin{array}{llll}x_1, & x_2, & \cdots, & x_n\end{array}\right) \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n}\\ a_{21} & a_{22} & \cdots & a_{2n}\\ \vdots & \vdots & & \vdots\\ a_{n1} & a_{n2} & \cdots & a_{nn} \end{bmatrix} \begin{pmatrix}x_1\\ x_2\\ \vdots\\ x_n\end{pmatrix}\\[10pt] &=\bm{x}^{\mathrm{T}}\bm{A}\bm{x} \end{aligned} \tag{C-2}\] 其中 \(n\) 阶实对称矩阵 \(\bm{A}\) 称为二次型 \(f(x_1,\ x_2,\ \cdots,\ x_n)\) 的矩阵，\(\bm{A}\) 的秩为二次型 \(f(x_1,\ x_2,\ \cdots,\ x_n)\) 的秩。任意给定的一个二次型就唯一对应一个对称矩阵；反之，任给一个对称矩阵，也唯一确定一个二次型。

在最小二乘估计中的 \(\bm{V}^{\mathrm{T}}\bm{W}\bm{V}\) 就是一个二次型。必须指出，二次型及其有关定理对于参数估计和假设检验是非常重要的，它为许多理论提供了证明的基本手段。

二次型及二次型矩阵的正定性

一个实对称二次型若对任意不为零的向量 \(\bm{x}\)，使得：

(1) \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}>0\)，称二次型是正定的，二次型矩阵 \(\bm{A}\) 为正定矩阵；

(2) \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\geq 0\)，称二次型是半正定的，二次型矩阵 \(\bm{A}\) 为半正定矩阵；

(3) \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}<0\)，称二次型是负定的，二次型矩阵 \(\bm{A}\) 为负定矩阵；

(4) \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\leq 0\)，称二次型是半负定的，二次型矩阵 \(\bm{A}\) 为半负定矩阵。

正定矩阵的判别法和性质

矩阵 \(\bm{A}\) 正定的判定条件（充要条件）有：

(1) \(\bm{A}\) 的顺序主子式全大于零；

(2) \(\bm{A}\) 的所有主子式全大于零；

(3) \(\bm{A}\) 的逆矩阵是正定矩阵；

(4) 有实可逆矩阵 \(\bm{C}\)，使 \(\bm{A}=\bm{C}^{\mathrm{T}}\bm{C}\)；

(5) 存在主对角线元素全为正的实三角矩阵 \(\bm{R}\)，使 \(\bm{A}=\bm{R}^{\mathrm{T}}\bm{R}\)；

(6) \(\bm{C}=\begin{pmatrix}\bm{A} & \bm{0}\\ \bm{0} & \bm{B}\end{pmatrix}\) 正定，其中 \(\bm{A}\) 和 \(\bm{B}\) 为实对称正定矩阵；

(7) 一个实对称矩阵的二次型是正定、负定、半正定、半负定、不定或恒等于零的充分必要条件是：矩阵 \(\bm{A}\) 的特征值分别都是正的、都是负的、都是非负的、都是非正的、符号不同或都等于零。

正定矩阵的性质有：

(1) 实对称矩阵 \(\bm{A}\) 是半正定矩阵的充分必要条件是 \(\bm{A}=\bm{B}^{\mathrm{T}}\bm{B}\)，即可进行平方根分解；若 \(\bm{B}\) 为列满秩，则 \(\bm{A}\) 是正定的；

(2) 正定矩阵的对角线元素一定是大于零的（必要条件）；

(3) 正定矩阵的行列式一定大于零（必要条件）；

(4) 正定矩阵一定是可逆的（必要条件）；

(5) 两个正定矩阵的乘积和都是正定矩阵；

(6) 正实数与正定矩阵的乘积是正定矩阵。

二次型定理

有随机向量 \(\underset{n\times 1}{\bm{x}}\) 和 \(\underset{s\times 1}{\bm{y}}\)，其期望分别为 \(E(\bm{x})=\bm{\mu}_x\) 和 \(E(\bm{y})=\bm{\mu}_y\)，\(\bm{x}\) 的方差阵为 \(\bm{D}_x\)，\(\underset{n\times 1}{\bm{x}}\) 与 \(\underset{s\times 1}{\bm{y}}\) 的协方差阵为 \(\mathrm{Cov}(\bm{x},\ \bm{y})=\bm{D}_{xy}\)，且 \(\underset{n\times n}{\bm{A}}\) 和 \(\underset{n\times n}{\bm{B}}\) 为对称可逆矩阵，则：

(1) 二次型的期望定理： \[\begin{aligned} E\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\right)&=\mathrm{tr}\left(\bm{A}\bm{D}_x\right)+\bm{\mu}_x^{\mathrm{T}}\bm{A}\bm{\mu}_x \tag{C-3}\\ E\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{y}\right)&=\mathrm{tr}\left(\bm{A}\bm{D}_{xy}\right)+\bm{\mu}_x^{\mathrm{T}}\bm{A}\bm{\mu}_y \tag{C-4} \end{aligned}\]

(2) 二次型的方差-协方差定理：

二次型 \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\) 与 \(\bm{x}^{\mathrm{T}}\bm{B}\bm{x}\) 的方差和协方差为 \[\begin{aligned} \mathrm{Var}\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\right)&=2\mathrm{tr}\left(\bm{A}\bm{D}_x\bm{A}\bm{D}_x\right)+4\bm{\mu}_x^{\mathrm{T}}\bm{A}\bm{D}_x\bm{A}\bm{\mu}_x \tag{C-5}\\ \mathrm{Cov}\left(\bm{x}^{\mathrm{T}}\bm{A}\bm{x},\ \bm{x}^{\mathrm{T}}\bm{B}\bm{x}\right)&=2\mathrm{tr}\left(\bm{A}\bm{D}_x\bm{B}\bm{D}_x\right)+4\bm{\mu}_x^{\mathrm{T}}\bm{A}\bm{D}_x\bm{B}\bm{\mu}_x \tag{C-6} \end{aligned}\]

(3) 直线型和二次型的协方差定理：

直线型 \(\bm{A}\bm{x}\) 和二次型 \(\bm{x}^{\mathrm{T}}\bm{B}\bm{x}\) 的协方差为 \[\mathrm{Cov}\left(\bm{A}\bm{x},\ \bm{x}^{\mathrm{T}}\bm{B}\bm{x}\right)=2\bm{A}\bm{D}_x\bm{B}\bm{\mu}_x \tag{C-7}\]

(4) 二次型分布定理：

若随机向量 \(\underset{n\times 1}{\bm{x}}\) 服从 \(N(\bm{\mu}_x,\ \bm{D}_x)\) 的正态分布，则当 \(\bm{A}\bm{D}_x\) 为幂等矩阵时，二次型 \(\bm{x}^{\mathrm{T}}\bm{A}\bm{x}\) 服从 \(\chi^2\) 分布 \[\bm{X}^{\mathrm{T}}\bm{A}\bm{x}\ \sim\ X^2(n,\ \lambda) \tag{C-8}\] 式中，\(n=\mathrm{rank}(\bm{A})\) 为该分布的自由度，\(\bm{\lambda}=\bm{\mu}_x^{\mathrm{T}}\bm{A}\bm{\mu}_x\) 为非中心化参数。

附录 2中英文对照表

参考文献