估计方法和广义测量平差原理

概述

在测量、通信和控制等学科中，为了求得某些未知参数，常常要进行一系列的观测。由于测量上的局限性，往往只能观测未知量的某些函数，且观测值中必然含有误差（或称为噪声）。这就产生了根据含有误差的观测值求定未知参数估值的问题。下面举几个例子。

(1) 为了确定平面或三维控制网中各点的坐标，对控制网的边长和方向（或坐标差）进行了观测，当然，观测值包含有误差。设各点的坐标为未知参数向量 \(\bm{X}\)，而包括边长和方向的观测值向量为 \(\bm{L}\)，则 \(\bm{L}\) 和 \(\bm{X}\) 之间有函数关系 \[\bm{L}=F(\bm{X})+\bm{\Delta}\] 式中 \(\bm{\Delta}\) 表示误差向量。通过含有误差 \(\bm{\Delta}\) 的观测向量 \(\bm{L}\) 来求定待定点坐标的最佳估值，就是一个估计问题。在测量中，就是一个平差问题。

(2) 通信理论中的一个重要问题是从接收到的信号中，提取被发送的信号。设被发送的信息调制成信号 \(\bm{S}(t)\)，而接收到的信号也就是信号的观测值 \(\bm{L}(t)\)，由于大气噪声和电路噪声的干扰，因此有 \[\bm{L}(t)=\bm{S}(t)+\bm{n}(t)\] 其中 \(\bm{n}(t)\) 是噪声，\(t\) 表示时间。通信中的主要问题就是从 \(\bm{L}(t)\) 中将有用的信号 \(\bm{S}(t)\) 分离出来，也就是由 \(\bm{L}(t)\) 求定 \(\bm{S}(t)\) 的最佳估值。信号 \(\bm{S}(t)\) 也是一种未知参数。

(3) 生产过程的自动化可以达到高效率和高精度。在实现生产过程的控制中，需要通过对生产系统进行状态的不断测量，得到与系统运行状态有关的观测值；然后对观测值进行分析处理得到控制信号，实时地控制生产系统按要求运行。但由于观测值中存在误差，所以，为了得到控制信号，就要求由观测值来估计系统的运行状态。

(4) 卫星（或其他运动体）的轨道往往可以由如下微分方程确定 \[\dot{\bm{X}}(t)=f(\bm{X}(t),\bm{U}(t),\bm{\varOmega}(t))\] 式中 \(t\) 表示时间；\(\bm{X}(t)\) 表示卫星的轨道参数，在此处称为状态向量；\(\bm{U}(t)\) 为控制向量；\(\bm{\varOmega}(t)\) 是随机的状态噪声。为了精确估计或预测卫星的轨道，就需要对卫星进行观测，从而得到大量的观测数据 \(\bm{L}(t)\)，然后实时地由含有误差的观测值 \(\bm{L}(t)\) 来估计卫星的轨道，即估计卫星的轨道参数。

以上例中所述的信号或状态都可以说是一种未知参数。在测量平差中，通常称非随机的未知参数向量为参数，而称随机参数向量为信号，而称随时间 \(t\) 变化的动态系统中的未知参数向量为状态向量，或简称为状态。可以看到，在上面的例子中，都存在一个对未知参数进行估计的问题。

一般说来，若设 \(\bm{X}\) 为 \(t\) 阶未知参数向量（简称为参数），\(\bm{L}\) 为 \(n\) 阶观测向量（或称观测值），\(\bm{\Delta}\) 表示 \(n\) 维误差（或噪声）向量。那么，所谓估计问题，就是根据含有误差 \(\bm{\Delta}\) 的观测值 \(\bm{L}\)，构造一个函数 \(\hat{\bm{X}}(\bm{L})\)，使 \(\hat{\bm{X}}(\bm{L})\) 成为未知参数向量 \(\bm{X}\) 的最佳估计量，其具体数值称为最佳估值（以后一般不区分其含义）。通常将 \(\hat{\bm{X}}(\bm{L})\) 简记为 \(\hat{\bm{X}}\)，并记 \[\bm{\Delta}_{\hat{\bm{X}}}=\bm{X}-\hat{\bm{X}}(\bm{L})=\bm{X}-\hat{\bm{X}}\] 称 \(\bm{\Delta}_{\hat{\bm{X}}}\) 为 \(\hat{\bm{X}}(\bm{L})\) 的估计误差。

可以看到，当 \(\bm{\Delta}_{\hat{\bm{X}}}\) 的数学期望等于零时，\(\bm{\Delta}_{\hat{\bm{X}}}\) 的方差就等于 \(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T})\)；而当 \(\bm{X}\) 为非随机量时，未知参数的估值 \(\hat{\bm{X}}\) 的方差 \(\bm{D}_{\hat{\bm{X}}}\) 也就等于其误差方差 \(D(\bm{\Delta}_{\hat{\bm{X}}})\)。在估计理论中，通常是用估计量 \(\hat{\bm{X}}\) 的误差方差 \(D(\bm{\Delta}_{\hat{\bm{X}}})\) 来衡量其精度的。但在经典的最小二乘平差中，由于 \(\bm{X}\) 一般都是非随机参数，所以习惯上都用估值（平差值）的方差衡量精度。

在根据观测值 \(\bm{L}\) 求未知参数 \(\bm{X}\) 的估值 \(\hat{\bm{X}}(\bm{L})\) 时，总是希望所得到的估值是最优的。由估计理论知道，最优估计量主要应具有以下几个性质：

(1) 一致性。由观测值得到的估值 \(\hat{\bm{X}}(\bm{L})\) 通常与其真值是不同的，我们希望当观测值个数 \(n\) 增加时，估计量变得更好些；当 \(n\) 无限增大时，估计量向被估计的参数趋近的概率等于 1。即如果对于任意 \(\varepsilon>0\)，有 \[\lim_{n\rightarrow\infty}P(\bm{X}-\varepsilon<\hat{\bm{X}}<\bm{X}+\varepsilon)=1 \tag{1-1-1}\] 则称估计量 \(\hat{\bm{X}}\) 具有一致性；若有 \[\lim_{n\rightarrow\infty}((\bm{X}-\hat{\bm{X}})(\bm{X}-\hat{\bm{X}})^{T})=0 \tag{1-1-2}\] 则称此估计量是均方一致的。估计量的一致性是从它的极限性质来看的。

(2) 无偏性。若估计量 \(\hat{\bm{X}}\) 的数学期望等于被估计量 \(\bm{X}\) 的数学期望，即 \[E(\hat{\bm{X}})=E(\bm{X}) \tag{1-1-3}\] 如果 \(\bm{X}\) 是非随机量，上式即为 \[E(\hat{\bm{X}})=\bm{X} \tag{1-1-4}\] 则称 \(\hat{\bm{X}}\) 为无偏估计量。如果 \(E(\hat{\bm{X}})\rightarrow\bm{X}\,(n\rightarrow\infty)\)，则称 \(\hat{\bm{X}}\) 为渐近无偏。

(3) 有效性。若由观测向量 \(\bm{L}\) 得到无偏估计量 \(\hat{\bm{X}}\) 的误差方差 \(E((\bm{X}-\hat{\bm{X}})(\bm{X}-\hat{\bm{X}})^{T})\)，小于由 \(\bm{L}\) 得到的任何其他无偏估计量 \(\bm{X}^{*}\) 的误差方差 \(E((\bm{X}-\bm{X}^{*})(\bm{X}-\bm{X}^{*})^{T})\)，即 \[E((\bm{X}-\hat{\bm{X}})(\bm{X}-\hat{\bm{X}})^{T})<E((\bm{X}-\bm{X}^{*})(\bm{X}-\bm{X}^{*})^{T})\] 或写为 \[D(\bm{\Delta}_{\hat{\bm{X}}})<D(\bm{\Delta}_{\bm{X}^{*}}) \tag{1-1-5}\] 则称 \(\hat{\bm{X}}\) 是有效估计量，也称 \(\hat{\bm{X}}\) 具有有效性或方差最小性。

以不同的准则来求定未知参数的最佳估值，可得到不同的估计方法。估计方法主要有极大似然估计，最小二乘估计，极大验后估计，最小方差估计和线性最小方差估计等；经典的测量平差法都是以最小二乘估计或极大似然估计为根据导出的；而滤波、配置和动态系统的卡尔曼滤波等，最初是以极大验后估计或最小方差估计为根据导出的。因此，概率统计中的估计理论是广义测量平差的理论基础。

多维正态分布

正态分布是测量平差理论中最常用的误差分布，是最小二乘平差误差理论的基础。本节在已学过的一元正态分布的基础上，对多维正态分布做全面阐述。广义测量平差理论中还涉及其他分布，则将分别在相应章节中一一介绍。

多维正态分布的定义和性质

已知随机变量 \(X\) 的正态分布概率密度为 \[f(x)=\frac{1}{\sigma\sqrt{2\pi}}\exp\left\{-\frac{1}{2\sigma^{2}}(x-\mu_{X})^{2}\right\} \tag{1-2-1}\] 式中两个参数 \(\mu_{X}\) 和 \(\sigma^{2}\) 分别为随机变量 \(X\) 的数学期望和方差。当 \(\mu_{X}=0\)，\(\sigma^{2}=1\) 时，\(X\) 为标准正态分布变量，记为 \(X\sim N(0,1)\)，其概率密度为 \[f(x)=\frac{1}{\sqrt{2\pi}}\exp\left\{-\frac{1}{2}x^{2}\right\} \tag{1-2-2}\]

设有 \(m\) 个互相独立的标准正态随机变量构成的随机向量 \(\bm{Z}=\begin{bmatrix}\bm{Z}_{1}&\bm{Z}_{2}&\cdots&\bm{Z}_{m}\end{bmatrix}^{T}\)，则称它们的有限个线性函数 \[\underset{n\times 1}{\bm{X}}=\begin{pmatrix}X_{1}\\ X_{2}\\ \vdots\\ X_{n}\end{pmatrix} =\underset{n\times m}{\bm{A}}\begin{pmatrix}Z_{1}\\ Z_{2}\\ \vdots\\ Z_{m}\end{pmatrix} +\underset{n\times 1}{\bm{A}_{0}}\] 为 \(n\) 维正态随机向量。此时，\(\bm{X}\) 的数学期望和方差阵为 \[\left.\begin{aligned} E(\bm{X})&=\bm{\mu}\\ \bm{D}_{X}&=\bm{A}\bm{A}^{T} \end{aligned}\right\}\] \(\bm{X}\) 的分布函数和概率密度都简称为 \(n\) 维（或 \(n\) 元）正态分布，简记为 \(\bm{X}\sim N_{n}(\bm{\mu},\bm{A}\bm{A}^{T})\)，或写为 \(\bm{X}\sim N(\bm{\mu},\bm{D}_{X})\)。

由互相独立的标准正态随机变量组成的随机向量 \(\bm{Z}\)，可写为 \(\bm{Z}\sim N(\bm{0},\bm{E}_{n})\)。\(\bm{E}_{n}\) 为 \(n\) 阶单位阵。

多维正态分布具有以下性质：

(1) 正态随机向量的线性函数还是正态的。例如，设 \(\bm{X}\sim N_{n}(\bm{\mu},\bm{A}\bm{A}^{T})\)，\(\bm{Y}=\bm{B}\bm{X}+\bm{b}\)，则 \[\bm{Y}\sim N(\bm{B}\bm{\mu}+\bm{b},\bm{B}\bm{A}\bm{A}^{T}\bm{B}^{T})\]

(2) 设 \(\bm{X}\sim N_{n}(\bm{\mu},\bm{A}\bm{A}^{T})\)，记 \[\bm{X}=\begin{bmatrix}\bm{X}_{1}\\ \bm{X}_{2}\end{bmatrix},\quad \bm{\mu}=\begin{bmatrix}\bm{\mu}_{1}\\ \bm{\mu}_{2}\end{bmatrix},\quad \bm{D}_{X}=\bm{A}\bm{A}^{T}=\begin{bmatrix}\bm{D}_{11}&\bm{D}_{12}\\ \bm{D}_{21}&\bm{D}_{22}\end{bmatrix}\] 则 \[\underset{r\times 1}{\bm{X}_{1}}\sim N_{r}(\bm{\mu}_{1},\bm{D}_{11}),\quad \bm{X}_{2}\sim N_{n-r}(\bm{\mu}_{2},\bm{D}_{22}).\]

多维正态分布的概率密度

设有 \(n\) 维正态随机向量 \(\bm{X}\sim N_{n}(\bm{\mu}_{X},\bm{D}_{X})\)，其中方差阵 \(\bm{D}_{X}\) 为可逆阵，即 \(\det(\bm{D}_{X})\neq 0\)，则它的概率密度为 \[f(\bm{x})=(2\pi)^{-\frac{n}{2}}|\bm{D}_{X}|^{-\frac{1}{2}}\exp\left\{-\frac{1}{2}(\bm{x}-\bm{\mu}_{X})^{T}\bm{D}_{X}^{-1}(\bm{x}-\bm{\mu}_{X})\right\} \tag{1-2-3}\] 式中 \(|\bm{D}_{X}|\) 表示 \(\bm{D}_{X}\) 的行列式。

对于二维正态随机向量 \(\begin{bmatrix}X&Y\end{bmatrix}^{T}\)，若它有可逆方差阵和数学期望为 \[\begin{bmatrix}\sigma_{X}^{2}&\sigma_{XY}\\ \sigma_{XY}&\sigma_{Y}^{2}\end{bmatrix} \text{和} \begin{bmatrix}\mu_{X}\\ \mu_{Y}\end{bmatrix}\] 则由 (1-2-3) 式可得其概率密度为 \[\begin{aligned} f(x,y)={}&\frac{1}{2\pi\sqrt{\sigma_{X}^{2}\sigma_{Y}^{2}-\sigma_{XY}^{2}}}\cdot\\ &\exp\left\{-\frac{(x-\mu_{X})^{2}\sigma_{Y}^{2}-2(x-\mu_{X})(y-\mu_{Y})\sigma_{XY}+(y-\mu_{Y})^{2}\sigma_{X}^{2}} {2(\sigma_{X}^{2}\sigma_{Y}^{2}-\sigma_{XY}^{2})}\right\} \end{aligned}\] 因相关系数 \(\rho_{XY}=\dfrac{\sigma_{XY}}{\sigma_{X}\sigma_{Y}}\)，所以上式可写为 \[\resizebox{0.95\textwidth}{!}{$ f(x,y)=\frac{1}{2\pi\sigma_{X}\sigma_{Y}\sqrt{1-\rho_{XY}^{2}}} \exp\left\{-\frac{1}{2(1-\rho_{XY}^{2})}\left[\frac{(x-\mu_{X})^{2}}{\sigma_{X}^{2}} -2\rho\frac{(x-\mu_{X})(y-\mu_{Y})}{\sigma_{X}\sigma_{Y}} +\frac{(y-\mu_{Y})^{2}}{\sigma_{Y}^{2}}\right]\right\}$} \tag{1-2-4}\] 这就是二维正态随机向量概率密度。

当 \(\rho_{XY}=0\) 或 \(\sigma_{XY}=0\) 时，即当 \(X\) 和 \(Y\) 是互不相关的两个正态随机变量时，则有 \[\begin{aligned} f(x,y)&=\frac{1}{2\pi\sigma_{X}\sigma_{Y}} \exp\left\{-\frac{(x-\mu_{X})^{2}}{2\sigma_{X}^{2}}-\frac{(y-\mu_{Y})^{2}}{2\sigma_{Y}^{2}}\right\}\\ &=\frac{1}{\sqrt{2\pi}\sigma_{X}}\exp\left\{-\frac{(x-\mu_{X})^{2}}{2\sigma_{X}^{2}}\right\}\cdot \frac{1}{\sqrt{2\pi}\sigma_{Y}}\exp\left\{-\frac{(y-\mu_{Y})^{2}}{2\sigma_{Y}^{2}}\right\}\\ &=f_{X}(x)f_{Y}(y) \end{aligned} \tag{1-2-5}\] 这就是说，当 \(\rho_{XY}=0\) 时，\(X\) 和 \(Y\) 是互相独立的。所以，对于正态分布来说，随机变量的“互不相关”与“互相独立”是等价的。

根据 (1-2-4) 式绘制二维正态曲面（密度曲面）如图 1-1 所示。曲面在点 \((\mu_{X},\mu_{Y})\) 处取得最大值。如果用平行于 \(XOY\) 面的平面 \(Z=Z_{0}\)（常数）截此曲面，即得到一族椭圆，椭圆上所有点的概率密度值均相等，因此，称这些椭圆为等密度椭圆。

正态随机向量的条件概率密度

设有 \(n+t\) 维正态随机向量 \(\bm{X}\)，且设 \[\bm{X}=\begin{bmatrix}\bm{X}_{1}\\ \bm{X}_{2}\end{bmatrix},\quad \bm{\mu}_{X}=\begin{bmatrix}\bm{\mu}_{1}\\ \bm{\mu}_{2}\end{bmatrix},\quad \bm{D}_{X}=\begin{bmatrix}\bm{D}_{11}&\bm{D}_{12}\\ \bm{D}_{21}&\bm{D}_{22}\end{bmatrix}\] \(\bm{X}_{1}\) 和 \(\bm{X}_{2}\) 分别是由 \(\bm{X}\) 的前 \(n\) 个分量和后 \(t\) 个分量构成的正态随机向量，即 \(\bm{X}_{1}\sim N_{n}(\bm{\mu}_{1},\bm{D}_{11})\)，\(\bm{X}_{2}\sim N_{t}(\bm{\mu}_{2},\bm{D}_{22})\)。\(\bm{X}\) 的概率密度是 \[f(\bm{x})=(2\pi)^{-\frac{n+t}{2}}|\bm{D}_{X}|^{-\frac{1}{2}} \exp\left\{-\frac{1}{2} \begin{bmatrix}\bm{x}_{1}-\bm{\mu}_{1}\\ \bm{x}_{2}-\bm{\mu}_{2}\end{bmatrix}^{T} \bm{D}_{X}^{-1} \begin{bmatrix}\bm{x}_{1}-\bm{\mu}_{1}\\ \bm{x}_{2}-\bm{\mu}_{2}\end{bmatrix}\right\} \tag{1-2-6}\] 按分块矩阵求逆公式，有 \[\bm{D}_{X}^{-1}=\begin{bmatrix} \bm{D}_{11}^{-1}+\bm{D}_{11}^{-1}\bm{D}_{12}\widetilde{\bm{D}}_{22}^{-1}\bm{D}_{21}\bm{D}_{11}^{-1} & -\bm{D}_{11}^{-1}\bm{D}_{12}\widetilde{\bm{D}}_{22}^{-1}\\ -\widetilde{\bm{D}}_{22}^{-1}\bm{D}_{21}\bm{D}_{11}^{-1} & \widetilde{\bm{D}}_{22}^{-1} \end{bmatrix} \tag{1-2-7}\] 或为 \[\bm{D}_{X}^{-1}=\begin{bmatrix} \widetilde{\bm{D}}_{11}^{-1} & -\widetilde{\bm{D}}_{11}^{-1}\bm{D}_{12}\bm{D}_{22}^{-1}\\ -\bm{D}_{22}^{-1}\bm{D}_{21}\widetilde{\bm{D}}_{11}^{-1} & \bm{D}_{22}^{-1}+\bm{D}_{22}^{-1}\bm{D}_{21}\widetilde{\bm{D}}_{11}^{-1}\bm{D}_{12}\bm{D}_{22}^{-1} \end{bmatrix} \tag{1-2-8}\] 其中 \[\left.\begin{aligned} \widetilde{\bm{D}}_{11}&=\bm{D}_{11}-\bm{D}_{12}\bm{D}_{22}^{-1}\bm{D}_{21}\\ \widetilde{\bm{D}}_{22}&=\bm{D}_{22}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{12} \end{aligned}\right\} \tag{1-2-9}\] 可将 (1-2-7) 和 (1-2-8) 两式分别写为 \[\bm{D}_{X}^{-1}=\begin{bmatrix}-\bm{D}_{11}^{-1}\bm{D}_{12}\\ \bm{E}_{t}\end{bmatrix} \widetilde{\bm{D}}_{22}^{-1} \begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}_{t}\end{bmatrix} +\begin{bmatrix}\bm{D}_{11}^{-1}&\bm{0}\\ \bm{0}&\bm{0}\end{bmatrix} \tag{1-2-10}\] \[\bm{D}_{X}^{-1}=\begin{bmatrix}\bm{E}_{n}\\ -\bm{D}_{22}^{-1}\bm{D}_{21}\end{bmatrix} \widetilde{\bm{D}}_{11}^{-1} \begin{bmatrix}\bm{E}_{n}&-\bm{D}_{12}\bm{D}_{22}^{-1}\end{bmatrix} +\begin{bmatrix}\bm{0}&\bm{0}\\ \bm{0}&\bm{D}_{22}^{-1}\end{bmatrix} \tag{1-2-11}\] 因 \(\bm{D}_{X}\) 还可分解为 \[\bm{D}_{X}=\begin{bmatrix}\bm{D}_{11}&\bm{0}\\ \bm{D}_{21}&\widetilde{\bm{D}}_{22}\end{bmatrix} \begin{bmatrix}\bm{E}&\bm{D}_{11}^{-1}\bm{D}_{12}\\ \bm{0}&\bm{E}\end{bmatrix} =\begin{bmatrix}\widetilde{\bm{D}}_{11}&\bm{D}_{12}\\ \bm{0}&\bm{D}_{22}\end{bmatrix} \begin{bmatrix}\bm{E}&\bm{0}\\ \bm{D}_{22}^{-1}\bm{D}_{21}&\bm{E}\end{bmatrix} \tag{1-2-12}\] 所以，\(\bm{D}_{X}\) 的行列式之值为 \[|\bm{D}_{X}|=|\bm{D}_{11}|\,|\widetilde{\bm{D}}_{22}|=|\bm{D}_{22}|\,|\widetilde{\bm{D}}_{11}| \tag{1-2-13}\]

利用 (1-2-10)、(1-2-9) 式和 (1-2-13) 式，可将概率密度 (1-2-6) 式改写为 \[\begin{aligned} f(\bm{x})={}&f(\bm{x}_{1},\bm{x}_{2})\\ ={}&(2\pi)^{-\frac{n}{2}}|\bm{D}_{11}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{1}-\bm{\mu}_{1})^{T}\bm{D}_{11}^{-1}(\bm{x}_{1}-\bm{\mu}_{1})\right\}\cdot\\ &(2\pi)^{-\frac{t}{2}}|\widetilde{\bm{D}}_{22}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{2}-\widetilde{\bm{\mu}}_{2})^{T}\widetilde{\bm{D}}_{22}^{-1}(\bm{x}_{2}-\widetilde{\bm{\mu}}_{2})\right\} \end{aligned} \tag{1-2-14}\] 或 \[\begin{aligned} f(\bm{x})={}&f(\bm{x}_{1},\bm{x}_{2})\\ ={}&(2\pi)^{-\frac{t}{2}}|\bm{D}_{22}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{2}-\bm{\mu}_{2})^{T}\bm{D}_{22}^{-1}(\bm{x}_{2}-\bm{\mu}_{2})\right\}\cdot\\ &(2\pi)^{-\frac{n}{2}}|\widetilde{\bm{D}}_{11}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{1}-\widetilde{\bm{\mu}}_{1})^{T}\widetilde{\bm{D}}_{11}^{-1}(\bm{x}_{1}-\widetilde{\bm{\mu}}_{1})\right\} \end{aligned} \tag{1-2-15}\] 其中 \[\left.\begin{aligned} \widetilde{\bm{\mu}}_{1}&=\bm{\mu}_{1}+\bm{D}_{12}\bm{D}_{22}^{-1}(\bm{x}_{2}-\bm{\mu}_{2})\\ \widetilde{\bm{\mu}}_{2}&=\bm{\mu}_{2}+\bm{D}_{21}\bm{D}_{11}^{-1}(\bm{x}_{1}-\bm{\mu}_{1}) \end{aligned}\right\} \tag{1-2-16}\] 根据边际概率密度和多维正态分布的性质可知 \[f_{1}(\bm{x}_{1})=(2\pi)^{-\frac{n}{2}}|\bm{D}_{11}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{1}-\bm{\mu}_{1})^{T}\bm{D}_{11}^{-1}(\bm{x}_{1}-\bm{\mu}_{1})\right\} \tag{1-2-17}\] \[f_{2}(\bm{x}_{2})=(2\pi)^{-\frac{t}{2}}|\bm{D}_{22}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{2}-\bm{\mu}_{2})^{T}\bm{D}_{22}^{-1}(\bm{x}_{2}-\bm{\mu}_{2})\right\} \tag{1-2-18}\] 又由条件概率密度公式知 \[f(\bm{x}_{2}/\bm{x}_{1})=\frac{f(\bm{x}_{1},\bm{x}_{2})}{f_{1}(\bm{x}_{1})} \tag{1-2-19}\] \[f(\bm{x}_{1}/\bm{x}_{2})=\frac{f(\bm{x}_{1},\bm{x}_{2})}{f_{2}(\bm{x}_{2})} \tag{1-2-20}\] 将 (1-2-14) 和 (1-2-17) 两式代入 (1-2-19) 式，得 \[f(\bm{x}_{2}/\bm{x}_{1})=(2\pi)^{-\frac{t}{2}}|\widetilde{\bm{D}}_{22}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{2}-\widetilde{\bm{\mu}}_{2})^{T}\widetilde{\bm{D}}_{22}^{-1}(\bm{x}_{2}-\widetilde{\bm{\mu}}_{2})\right\} \tag{1-2-21}\] 而将 (1-2-15) 和 (1-2-18) 两式代入 (1-2-20) 式，即得 \[f(\bm{x}_{1}/\bm{x}_{2})=(2\pi)^{-\frac{n}{2}}|\widetilde{\bm{D}}_{11}|^{-\frac{1}{2}}\cdot \exp\left\{-\frac{1}{2}(\bm{x}_{1}-\widetilde{\bm{\mu}}_{1})^{T}\widetilde{\bm{D}}_{11}^{-1}(\bm{x}_{1}-\widetilde{\bm{\mu}}_{1})\right\} \tag{1-2-22}\] 显然，上两式仍然是正态概率密度，根据条件期望和条件方差的定义和正态概率密度的性质可得 \[\left.\begin{aligned} E(\bm{X}_{1}/\bm{x}_{2})&=\widetilde{\bm{\mu}}_{1}=\bm{\mu}_{1}+\bm{D}_{12}\bm{D}_{22}^{-1}(\bm{x}_{2}-\bm{\mu}_{2})\\ E(\bm{X}_{2}/\bm{x}_{1})&=\widetilde{\bm{\mu}}_{2}=\bm{\mu}_{2}+\bm{D}_{21}\bm{D}_{11}^{-1}(\bm{x}_{1}-\bm{\mu}_{1}) \end{aligned}\right\} \tag{1-2-23}\] \[\left.\begin{aligned} D(\bm{X}_{1}/\bm{x}_{2})&=\widetilde{\bm{D}}_{11}=\bm{D}_{11}-\bm{D}_{12}\bm{D}_{22}^{-1}\bm{D}_{21}\\ D(\bm{X}_{2}/\bm{x}_{1})&=\widetilde{\bm{D}}_{22}=\bm{D}_{22}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{12} \end{aligned}\right\} \tag{1-2-24}\] 因此，(1-2-21) 和 (1-2-22) 式又可写为 \[\left.\begin{aligned} f(\bm{x}_{2}/\bm{x}_{1})={}&(2\pi)^{-\frac{t}{2}}|D(\bm{X}_{2}/\bm{x}_{1})|^{-\frac{1}{2}}\cdot\\ &\exp\{-\frac{1}{2}[\bm{x}_{2}-E(\bm{X}_{2}/\bm{x}_{1})]^{T}\cdot\\ &D^{-1}(\bm{X}_{2}/\bm{x}_{1})\,[\bm{x}_{2}-E(\bm{X}_{2}/\bm{x}_{1})]\}\\ f(\bm{x}_{1}/\bm{x}_{2})={}&(2\pi)^{-\frac{n}{2}}|D(\bm{X}_{1}/\bm{x}_{2})|^{-\frac{1}{2}}\cdot\\ &\exp\{-\frac{1}{2}[\bm{x}_{1}-E(\bm{X}_{1}/\bm{x}_{2})]^{T}\cdot\\ &D^{-1}(\bm{X}_{1}/\bm{x}_{2})\,[\bm{x}_{1}-E(\bm{X}_{1}/\bm{x}_{2})]\} \end{aligned}\right\} \tag{1-2-25}\]

正态分布的条件期望具有以下性质：

(1) 由 (1-2-23) 式可知，\(E(\bm{X}_{1}/\bm{x}_{2})\) 是 \(\bm{x}_{2}\) 的线性组合，所以，它是正态随机向量；当然，\(E(\bm{X}_{2}/\bm{x}_{1})\) 也是正态随机向量。

(2) 设 \(\bm{X}\) 和 \(\bm{Y}\) 为正态随机向量，且设 \[\left.\begin{aligned} \widetilde{\bm{X}}&=\bm{X}-E(\bm{X}/\bm{y})\\ \bm{Z}&=\bm{A}\bm{Y} \end{aligned}\right\} \tag{1-2-26}\] 则 \(\widetilde{\bm{X}}\) 是与 \(\bm{Z}\) 互相独立的随机向量。这是因为 \[\begin{aligned} \widetilde{\bm{X}}&=\bm{X}-\{\bm{\mu}_{X}+\bm{D}_{XY}\bm{D}_{Y}^{-1}(\bm{Y}-\bm{\mu}_{Y})\}\\ &=\bm{X}-\bm{D}_{XY}\bm{D}_{Y}^{-1}\bm{Y}+\bm{D}_{XY}\bm{D}_{Y}^{-1}\bm{\mu}_{Y} \end{aligned}\] 由协方差传播律可得 \[\begin{aligned} D(\widetilde{\bm{X}},\bm{Z})&= \begin{bmatrix}\bm{E}&-\bm{D}_{XY}\bm{D}_{Y}^{-1}\end{bmatrix} \begin{bmatrix}\bm{D}_{X}&\bm{D}_{XY}\\ \bm{D}_{YX}&\bm{D}_{Y}\end{bmatrix} \begin{bmatrix}\bm{0}\\ \bm{A}^{T}\end{bmatrix}\\ &=\bm{D}_{XY}\bm{A}^{T}-\bm{D}_{XY}\bm{D}_{Y}^{-1}\bm{D}_{Y}\bm{A}^{T}=\bm{0} \end{aligned}\]

(3) 设 \(\bm{X}\sim N(\bm{\mu}_{X},\bm{D}_{X})\)，\(\bm{Y}_{1}\sim N(\bm{\mu}_{1},\bm{D}_{1})\)，\(\bm{Y}_{2}\sim N(\bm{\mu}_{2},\bm{D}_{2})\)，且 \(\operatorname{cov}(\bm{Y}_{1},\bm{Y}_{2})=\bm{0}\)，而 \(D(\bm{X},\bm{Y}_{1})=\bm{D}_{XY_{1}}\neq\bm{0}\)，\(D(\bm{X},\bm{Y}_{2})=\bm{D}_{XY_{2}}\neq\bm{0}\)，则有 \[E(\bm{X}/\bm{y})=E(\bm{X}/\bm{y}_{1},\bm{y}_{2})=E(\bm{X}/\bm{y}_{1})+E(\bm{X}/\bm{y}_{2})-\bm{\mu}_{X} \tag{1-2-27}\] 证因为 \[\begin{aligned} E(\bm{X}/\bm{y})&=E(\bm{X}/\bm{y}_{1},\bm{y}_{2}) =\bm{\mu}_{X}+\bm{D}_{XY}\bm{D}_{Y}^{-1}(\bm{y}-\bm{\mu}_{Y})\\ &=\bm{\mu}_{X}+\begin{bmatrix}\bm{D}_{XY_{1}}&\bm{D}_{XY_{2}}\end{bmatrix} \begin{bmatrix}\bm{D}_{1}^{-1}&\bm{0}\\ \bm{0}&\bm{D}_{2}^{-1}\end{bmatrix} \begin{bmatrix}\bm{y}_{1}-\bm{\mu}_{1}\\ \bm{y}_{2}-\bm{\mu}_{2}\end{bmatrix} \end{aligned}\] 所以 \[\begin{aligned} E(\bm{X}/\bm{y}_{1},\bm{y}_{2})={}&\{\bm{\mu}_{X}+\bm{D}_{XY_{1}}\bm{D}_{1}^{-1}(\bm{y}_{1}-\bm{\mu}_{1})\}+{}\\ &\{\bm{D}_{XY_{2}}\bm{D}_{2}^{-1}(\bm{y}_{2}-\bm{\mu}_{2})+\bm{\mu}_{X}-\bm{\mu}_{X}\}\\ ={}&E(\bm{X}/\bm{y}_{1})+E(\bm{X}/\bm{y}_{2})-\bm{\mu}_{X} \end{aligned}\]

(4) 设 \(\bm{X}\sim N(\bm{\mu}_{X},\bm{D}_{X})\)，\(\bm{Y}\sim N(\bm{\mu}_{Y},\bm{D}_{Y})\)，且 \[\bm{\mu}_{Y}=\begin{bmatrix}\bm{\mu}_{1}\\ \bm{\mu}_{2}\end{bmatrix},\quad \bm{D}_{Y}=\begin{bmatrix}\bm{D}_{11}&\bm{D}_{12}\\ \bm{D}_{21}&\bm{D}_{22}\end{bmatrix},\quad \bm{D}_{YX}=\begin{bmatrix}\bm{D}_{Y_{1}X}\\ \bm{D}_{Y_{2}X}\end{bmatrix}=\bm{D}_{XY}^{T}\] 令 \(\widetilde{\bm{Y}}_{2}=\bm{Y}_{2}-E(\bm{Y}_{2}/\bm{y}_{1})\)，则有 \[\begin{aligned} E(\bm{X}/\bm{y}_{1},\bm{y}_{2})&=E(\bm{X}/\bm{y}_{1},\widetilde{\bm{y}}_{2})\\ &=E(\bm{X}/\bm{y}_{1})+E(\bm{X}/\widetilde{\bm{y}}_{2})-\bm{\mu}_{X} \end{aligned} \tag{1-2-28}\] 证因为 \[\begin{aligned} \widetilde{\bm{Y}}_{2}&=\bm{Y}_{2}-\bm{\mu}_{2}-\bm{D}_{21}\bm{D}_{11}^{-1}(\bm{Y}_{1}-\bm{\mu}_{1})\\ &=\begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}\end{bmatrix} \begin{bmatrix}\bm{Y}_{1}\\ \bm{Y}_{2}\end{bmatrix} -\bm{\mu}_{2}+\bm{D}_{21}\bm{D}_{11}^{-1}\bm{\mu}_{1} \end{aligned}\] 所以 \[\left.\begin{aligned} E(\widetilde{\bm{Y}}_{2})&=\bm{0},\\ D(\widetilde{\bm{Y}}_{2})&=\begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}\end{bmatrix} \begin{bmatrix}\bm{D}_{11}&\bm{D}_{12}\\ \bm{D}_{21}&\bm{D}_{22}\end{bmatrix} \begin{bmatrix}-\bm{D}_{11}^{-1}\bm{D}_{12}\\ \bm{E}\end{bmatrix}\\ &=\bm{D}_{22}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{12}=\widetilde{\bm{D}}_{22}\\ D(\widetilde{\bm{Y}}_{2},\bm{Y}_{1})&=\bm{0},\\ D(\widetilde{\bm{Y}}_{2},\bm{X})&=\begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}\end{bmatrix} \begin{bmatrix}\bm{D}_{Y_{1}X}\\ \bm{D}_{Y_{2}X}\end{bmatrix}\\ &=\bm{D}_{Y_{2}X}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{Y_{1}X} \end{aligned}\right\} \tag{1-2-29}\] 利用分块求逆公式和 (1-2-29) 式得 \[\resizebox{\textwidth}{!}{$ \begin{aligned} E(\bm{X}/\bm{y}_{1},\bm{y}_{2})={}&\bm{\mu}_{X}+\bm{D}_{XY}\bm{D}_{Y}^{-1}(\bm{Y}-\bm{\mu}_{Y})\\ ={}&\bm{\mu}_{X}+\begin{bmatrix}\bm{D}_{XY_{1}}&\bm{D}_{XY_{2}}\end{bmatrix} \begin{bmatrix}\bm{D}_{11}&\bm{D}_{12}\\ \bm{D}_{21}&\bm{D}_{22}\end{bmatrix}^{-1} \begin{bmatrix}\bm{Y}_{1}-\bm{\mu}_{1}\\ \bm{Y}_{2}-\bm{\mu}_{2}\end{bmatrix}\\ ={}&\bm{\mu}_{X}+\begin{bmatrix}\bm{D}_{XY_{1}}&\bm{D}_{XY_{2}}\end{bmatrix} \left\{\begin{bmatrix}-\bm{D}_{11}^{-1}\bm{D}_{12}\\ \bm{E}\end{bmatrix}\cdot \widetilde{\bm{D}}_{22}^{-1} \begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}\end{bmatrix} +\begin{bmatrix}\bm{D}_{11}^{-1}&\bm{0}\\ \bm{0}&\bm{0}\end{bmatrix}\right\} \begin{bmatrix}\bm{Y}_{1}-\bm{\mu}_{1}\\ \bm{Y}_{2}-\bm{\mu}_{2}\end{bmatrix}\\ ={}&\bm{\mu}_{X}+\{(-\bm{D}_{XY_{1}}\bm{D}_{11}^{-1}\bm{D}_{12}+\bm{D}_{XY_{2}})\, \widetilde{\bm{D}}_{22}^{-1} \begin{bmatrix}-\bm{D}_{21}\bm{D}_{11}^{-1}&\bm{E}\end{bmatrix} +\begin{bmatrix}\bm{D}_{XY_{1}}\bm{D}_{11}^{-1}&\bm{0}\end{bmatrix}\} \begin{bmatrix}\bm{Y}_{1}-\bm{\mu}_{1}\\ \bm{Y}_{2}-\bm{\mu}_{2}\end{bmatrix}\\ ={}&\bm{\mu}_{X}+D(\bm{X},\widetilde{\bm{Y}}_{2})\,D^{-1}(\widetilde{\bm{Y}}_{2})\, \{-\bm{D}_{21}\bm{D}_{11}^{-1}(\bm{Y}_{1}-\bm{\mu}_{1})+\bm{Y}_{2}-\bm{\mu}_{2}\}+{}\\ &\bm{D}_{XY_{1}}\bm{D}_{11}^{-1}(\bm{Y}_{1}-\bm{\mu}_{1})+\bm{\mu}_{X}-\bm{\mu}_{X}\\ ={}&E(\bm{X}/\bm{y}_{1})+E(\bm{X}/\widetilde{\bm{y}}_{2})-\bm{\mu}_{X} \end{aligned}$}\]

矩阵反演公式

由于正定矩阵的逆阵唯一，故由 (1-2-7)、(1-2-8) 两式直接可得： \[(\bm{D}_{11}-\bm{D}_{12}\bm{D}_{22}^{-1}\bm{D}_{21})^{-1} =\bm{D}_{11}^{-1}+\bm{D}_{11}^{-1}\bm{D}_{12}(\bm{D}_{22}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{12})^{-1}\bm{D}_{21}\bm{D}_{11}^{-1} \tag{1-2-30}\] \[\bm{D}_{11}^{-1}\bm{D}_{12}(\bm{D}_{22}-\bm{D}_{21}\bm{D}_{11}^{-1}\bm{D}_{12})^{-1} =(\bm{D}_{11}-\bm{D}_{12}\bm{D}_{22}^{-1}\bm{D}_{21})^{-1}\bm{D}_{12}\bm{D}_{22}^{-1} \tag{1-2-31}\] 由此可知，对于任意矩阵 \(\bm{A}\)、\(\bm{B}\) 和任意可逆阵 \(\bm{C}\)、\(\bm{D}\)，只要在下式中它们可以相乘，就有上两式关系，一般形式为 \[(\bm{D}+\bm{A}\bm{C}\bm{B})^{-1} =\bm{D}^{-1}-\bm{D}^{-1}\bm{A}(\bm{C}^{-1}+\bm{B}\bm{D}^{-1}\bm{A})^{-1}\bm{B}\bm{D}^{-1} \tag{1-2-32}\] \[\bm{C}\bm{B}(\bm{D}+\bm{A}\bm{C}\bm{B})^{-1} =(\bm{C}^{-1}+\bm{B}\bm{D}^{-1}\bm{A})^{-1}\bm{B}\bm{D}^{-1} \tag{1-2-33}\] 通常称 (1-2-32)、(1-2-33) 两式为矩阵反演公式，是两个非常重要的关系式，在测量平差推导公式时常要用到。

矩阵反演公式也可直接证明。令 \(\bm{H}=(\bm{D}+\bm{A}\bm{C}\bm{B})^{-1}\)，则有 \[\begin{gathered} (\bm{D}+\bm{A}\bm{C}\bm{B})\bm{H}=\bm{E},\ \text{或}\ \bm{D}\bm{H}+\bm{A}\bm{C}\bm{B}\bm{H}=\bm{E},\\ \bm{H}=\bm{D}^{-1}-\bm{D}^{-1}\bm{A}\bm{C}\bm{B}\bm{H} \end{gathered} \tag{1-2-34}\] 将上式左乘 \(\bm{B}\)，得 \[\bm{B}\bm{D}^{-1}=(\bm{C}^{-1}+\bm{B}\bm{D}^{-1}\bm{A})\bm{C}\bm{B}\bm{H},\] 或 \[(\bm{C}^{-1}+\bm{B}\bm{D}^{-1}\bm{A})^{-1}\bm{B}\bm{D}^{-1}=\bm{C}\bm{B}\bm{H}\] 此即 (1-2-33) 式，代入 (1-2-34) 式，即得 (1-2-32) 式。

极大似然估计

设有参数向量 \(\underset{t\times 1}{\bm{X}}\)，它可以是未知的非随机量，也可以是随机向量，为了估计 \(\bm{X}\)，进行了 \(n\) 次观测，得到了观测向量 \(\underset{n\times 1}{\bm{L}}\) 的观测值 \(\underset{n\times 1}{\bm{l}}\)，又假定对 \(\bm{X}\) 的所有可能取值为 \(\bm{x}\)，在 \(\bm{X}=\bm{x}\) 的条件下得到的观测向量 \(\bm{L}\) 的条件概率密度为 \(f(\bm{l}/\bm{x})\)。容易理解，\(f(\bm{l}/\bm{x})\) 是 \(\bm{x}\) 和 \(\bm{l}\) 的函数，但对具体的观测值 \(\bm{l}\) 来说，\(f(\bm{l}/\bm{x})\) 可以认为只是 \(\bm{x}\) 的函数。因此，如果 \(\hat{\bm{x}}\) 是 \(\bm{x}\) 中的一个，而 \(f(\bm{l}/\hat{\bm{x}})\) 是 \(f(\bm{l}/\bm{x})\) 中的最大值，那么，\(\hat{\bm{X}}\) 是 \(\bm{X}\) 的准确值的可能性最大。此时把 \(\hat{\bm{X}}\) 叫做 \(\bm{X}\) 的极大似然估值，并记作 \(\hat{\bm{X}}_{ML}(\bm{L})\) 或 \(\hat{\bm{X}}_{ML}\)。这就是说，极大似然估计是以 \[f(\bm{l}/\bm{x})=\max \tag{1-3-1}\] 为准则求最佳估值 \(\hat{\bm{X}}\) 的方法。

显然，它满足于 \[\left.\frac{\partial f(\bm{l}/\bm{x})}{\partial\bm{x}}\right|_{\bm{x}=\hat{\bm{X}}_{ML}(\bm{L})}=0 \tag{1-3-2}\] 由于对数是单调增加函数，因此 \(\ln f(\bm{l}/\bm{x})\) 与 \(f(\bm{l}/\bm{x})\) 在相同的 \(\bm{x}\) 值达到最大，亦即 (1-3-2) 式等价于 \[\left.\frac{\partial\ln f(\bm{l}/\bm{x})}{\partial\bm{x}}\right|_{\bm{x}=\hat{\bm{X}}_{ML}(\bm{L})}=0 \tag{1-3-3}\] 此方程称为似然方程，\(f(\bm{l}/\bm{x})\) 称为似然函数，而 \(\ln f(\bm{l}/\bm{x})\) 称为对数似然函数。

如果参数 \(\bm{X}\) 是非随机量，则 \[f(\bm{l}/\bm{x})=f(\bm{l},\bm{x})\] 而 (1-3-1) 式变为 \[f(\bm{l},\bm{x})=\max \tag{1-3-4}\] 此时，\(f(\bm{l},\bm{x})\) 是 \(\underset{n\times 1}{\bm{L}}\) 的概率密度，其中的 \(\bm{x}\) 只是表示函数与参数 \(\bm{X}\) 有关。

由似然方程或 (1-3-2) 式可见，极大似然估值 \(\hat{\bm{X}}_{ML}\) 是观测值 \(\bm{L}\) 的函数。在采用极大似然估计求 \(\hat{\bm{X}}_{ML}\) 时，需要首先知道似然函数 \(f(\bm{l}/\bm{x})\) 或对数似然函数 \(\ln f(\bm{l}/\bm{x})\)。

例 1-3-1

设有观测方程为 \[L_{k}=X_{k},\ (k=1,2,\cdots,n)\] 并且已知 \(X_{k}\) 与 \(X_{j}\,(k\neq j)\) 互相独立，\(X_{k}\) 的概率密度为 \[f(x_{k})=\frac{1}{\sqrt{2\pi}\sigma_{x}}\exp\left\{-\frac{1}{2\sigma_{x}^{2}}(x_{k}-\mu_{x})^{2}\right\}\] 试由观测向量 \(\underset{n\times 1}{\bm{L}}\) 求 \(\mu_{x}\) 和 \(\sigma_{x}^{2}\) 的极大似然估值。

解由于 \(L_{k}\) 与 \(X_{k}\) 具有相同的分布，所以有似然函数 \[\begin{aligned} f(\bm{l}/\mu_{x},\sigma_{x}^{2})&=f(l_{1})f(l_{2})\cdots f(l_{n})\\ &=\frac{1}{(\sqrt{2\pi})^{n}\sigma_{x}^{n}}\exp\left\{-\frac{1}{2\sigma_{x}^{2}}\sum_{k=1}^{n}(l_{k}-\mu_{x})^{2}\right\} \end{aligned}\] 下面分几种情况讨论：

(1) 当 \(\sigma_{x}^{2}\) 为已知，求 \(\mu_{x}\) 的极大似然估值。

因对数似然函数为 \[\ln f(\bm{l}/\mu_{x},\sigma_{x}^{2}) =-\ln\{(2\pi)^{n/2}\sigma_{x}^{n}\}-\frac{1}{2\sigma_{x}^{2}}\sum_{k=1}^{n}(l_{k}-\mu_{x})^{2}\] 故由似然方程可得： \[\left.\frac{\partial\ln f(\bm{l}/\mu_{x},\sigma_{x}^{2})}{\partial\mu_{x}}\right|_{\mu_{x}=\hat{\mu}_{xML}} =\left.\frac{1}{\sigma_{x}^{2}}\sum_{k=1}^{n}(l_{k}-\mu_{x})\right|_{\mu_{x}=\hat{\mu}_{xML}}=0\] 即 \[\sum_{k=1}^{n}(l_{k}-\hat{\mu}_{xML})=0\] 因此 \[\hat{\mu}_{xML}=\frac{1}{n}\sum_{k=1}^{n}l_{k}\] 又因为 \[E(\hat{\mu}_{xML})=\frac{1}{n}\sum_{k=1}^{n}E(l_{k})=\frac{1}{n}\sum_{k=1}^{n}E(\hat{X}_{k})=\mu_{x}\] 所以 \(\hat{\mu}_{xML}\) 是 \(\mu_{x}\) 的无偏估计量。

(2) 当 \(\mu_{x}\) 为已知时，求 \(\sigma_{x}^{2}\) 的极大似然估值。

由对数似然函数和似然方程可得： \[\left.\frac{\partial\ln f(\bm{l}/\mu_{x},\sigma_{x}^{2})}{\partial\sigma_{x}^{2}}\right|_{\sigma_{x}^{2}=\hat{\sigma}_{xML}^{2}} =-\frac{n}{2\hat{\sigma}_{xML}^{2}}+\frac{\sum(l_{k}-\mu_{x})^{2}}{2(\hat{\sigma}_{xML}^{2})^{2}}=0\] 可得 \[\hat{\sigma}_{xML}^{2}=\frac{1}{n}\sum_{k=1}^{n}(l_{k}-\mu_{x})^{2}\] 因为 \[E(\hat{\sigma}_{xML}^{2})=\frac{1}{n}\sum_{k=1}^{n}\left|E\left((l_{k}-\mu_{x})^{2}\right)\right|=\sigma_{x}^{2}\] 所以 \(\hat{\sigma}_{xML}^{2}\) 是 \(\sigma_{x}^{2}\) 的无偏估计量。

(3) 当 \(\mu_{x}\) 和 \(\sigma_{x}^{2}\) 均为未知时，求 \(\mu_{x}\) 和 \(\sigma_{x}^{2}\) 的极大似然估值。

由于这时有两个参数，若设 \(\bm{X}=\begin{bmatrix}\mu_{x}&\sigma_{x}^{2}\end{bmatrix}^{T}\)，则似然方程为 \[\left.\frac{\partial\ln f(\bm{l}/\bm{x})}{\partial\bm{x}}\right|_{\bm{x}=\hat{\bm{X}}_{ML}} =\begin{pmatrix} \dfrac{\partial}{\partial\mu_{x}}\ln f(\bm{l}/\mu_{x},\sigma_{x}^{2})\\[10pt] \dfrac{\partial}{\partial\sigma_{x}^{2}}\ln f(\bm{l}/\mu_{x},\sigma_{x}^{2}) \end{pmatrix}_{\bm{x}=\hat{\bm{X}}_{ML}}=0\] 可得 \[\sum_{k=1}^{n}(l_{k}-\hat{\mu}_{xML})=0\] \[-\frac{n}{2\hat{\sigma}_{xML}^{2}}+\frac{\sum(l_{k}-\hat{\mu}_{xML})^{2}}{2(\hat{\sigma}_{xML}^{2})^{2}}=0\] 因此 \[\hat{\mu}_{xML}=\frac{1}{n}\sum_{k=1}^{n}l_{k}\] \[\hat{\sigma}_{xML}^{2}=\frac{1}{n}\sum_{k=1}^{n}(l_{k}-\hat{\mu}_{xML})^{2}\] 且 \[E(\hat{\mu}_{xML})=\frac{1}{n}\sum_{k=1}^{n}E(l_{k})=\mu_{x}\] \[E(\hat{\sigma}_{xML}^{2})=\frac{1}{n}E\left\{\sum_{k=1}^{n}(l_{k}-\hat{\mu}_{xML})^{2}\right\} =\frac{n-1}{n}\sigma_{x}^{2}\] 即 \(\hat{\mu}_{xML}\) 是 \(\mu_{x}\) 的无偏估计量；而 \(\hat{\sigma}_{xML}^{2}\) 是 \(\sigma_{x}^{2}\) 的有偏估计量，但当 \(n\rightarrow\infty\) 时，\(E(\hat{\sigma}_{xML}^{2})\rightarrow\sigma_{x}^{2}\)，因此，\(\hat{\sigma}_{xML}^{2}\) 是 \(\sigma_{x}^{2}\) 的渐近无偏估计量。

上例中的似然函数是正态条件概率密度。一般来说，当 \(f(\bm{l}/\bm{x})\) 是正态条件概率密度时，有 \[f(\bm{l}/\bm{x})=\frac{1}{(2\pi)^{n/2}\,|D(\bm{L}/\bm{x})|^{1/2}} \exp\left\{-\frac{1}{2}(\bm{l}-E(\bm{L}/\bm{x}))^{T}\cdot D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}/\bm{x}))\right\} \tag{1-3-5}\] 式中 \[E(\bm{L}/\bm{x})=E(\bm{L})+\bm{D}_{LX}\bm{D}_{X}^{-1}(\bm{X}-E(\bm{X})) \tag{1-3-6}\] \[D(\bm{L}/\bm{x})=\bm{D}_{L}-\bm{D}_{LX}\bm{D}_{X}^{-1}\bm{D}_{XL} \tag{1-3-7}\] 则似然方程等价于 \[(\bm{l}-E(\bm{L}/\bm{x}))^{T}D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}/\bm{x}))=\min\] 也等价于 \[\left.\frac{\partial}{\partial\bm{x}}\left\{(\bm{l}-E(\bm{L}/\bm{x}))^{T}D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}/\bm{x}))\right\}\right|_{\bm{x}=\hat{\bm{X}}_{ML}}=0 \tag{1-3-8}\] 由此可得： \[\left\{\bm{l}-E(\bm{L})-\bm{D}_{LX}\bm{D}_{X}^{-1}(\hat{\bm{X}}_{ML}-E(\bm{X}))\right\}^{T}D^{-1}(\bm{L}/\bm{x})\,\frac{\mathrm{d}E(\bm{L}/\bm{x})}{\mathrm{d}\bm{x}}=0\] 而 \[\frac{\mathrm{d}E(\bm{L}/\bm{x})}{\mathrm{d}\bm{x}}=\bm{D}_{LX}\bm{D}_{X}^{-1}\] 所以有 \[\bm{D}_{XL}D^{-1}(\bm{L}/\bm{x})\,\bm{D}_{LX}\bm{D}_{X}^{-1}(\hat{\bm{X}}_{ML}-E(\bm{X})) -\bm{D}_{XL}D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}))=0\] 即得 \[\hat{\bm{X}}_{ML}=E(\bm{X})+\left\{\bm{D}_{XL}D^{-1}(\bm{L}/\bm{x})\,\bm{D}_{LX}\bm{D}_{X}^{-1}\right\}^{-1} \bm{D}_{XL}D^{-1}(\bm{L}/\bm{x})\,(\bm{L}-E(\bm{L})) \tag{1-3-9}\] 上式就是当 \(f(\bm{l}/\bm{x})\) 为正态条件概率密度时求极大似然估值 \(\hat{\bm{X}}_{ML}\) 的公式。

例 1-3-2

设有线性模型 \[\bm{L}=\bm{B}\bm{X}+\bm{\Delta} \tag{1-3-10}\] 若 \(E(\bm{\Delta})=\bm{0}\)，\(D(\bm{\Delta})=\bm{D}_{\Delta}\)，\(E(\bm{X})=\bm{\mu}_{X}\)，\(D(\bm{X})=\bm{D}_{X}\)，\(\bm{D}_{X\Delta}=\bm{0}\) 且 \(\bm{D}_{\Delta}\)，\(\bm{D}_{X}\) 正定，由 (1-3-10) 式知 \[E(\bm{L})=\bm{B}\bm{\mu}_{X},\quad \bm{D}_{L}=\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta},\quad \bm{D}_{LX}=\bm{B}\bm{D}_{X}\] 因此，(1-3-6)、(1-3-7) 式为 \[\begin{aligned} E(\bm{L}/\bm{x})&=\bm{B}\bm{\mu}_{x}+\bm{D}_{LX}\bm{D}_{X}^{-1}(\bm{X}-\bm{\mu}_{x})\\ D(\bm{L}/\bm{x})&=\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta}-\bm{B}\bm{D}_{X}\bm{D}_{X}^{-1}\bm{D}_{X}\bm{B}^{T} =\bm{D}_{\Delta} \end{aligned}\] 代入 (1-3-9) 式，可得 \[\begin{aligned} \hat{\bm{X}}_{ML}&=\bm{\mu}_{x}+(\bm{B}^{T}\bm{D}_{\Delta}^{-1}\bm{B})^{-1}\bm{D}_{X}^{-1}\bm{D}_{X}\bm{B}^{T}\bm{D}_{\Delta}^{-1}(\bm{L}-\bm{B}\bm{\mu}_{x})\\ &=(\bm{B}^{T}\bm{D}_{\Delta}^{-1}\bm{B})^{-1}\bm{B}^{T}\bm{D}_{\Delta}^{-1}\bm{L} \end{aligned} \tag{1-3-11}\] 结果说明，对于线性模型 (1-3-10)，尽管 \(\bm{X}\) 是随机参数，其极大似然估计并不受其先验期望和先验方差的影响。

例 1-3-3

设对被观测量 \(x\) 进行了 \(n\) 次独立的同精度观测，得观测值 \(L_{1},L_{2},\cdots,L_{n}\)，其真误差分别为 \(\varDelta_{1},\varDelta_{2},\cdots,\varDelta_{n}\)，若假设 \(x\) 的极大似然估值为 \(\hat{x}\)，且满足 \[\left\{\sum_{i=1}^{n}\left|L_{i}-\hat{x}\right|^{p}\right\}^{\frac{1}{p}}=\min\quad(0<p<\infty) \tag{1-3-12}\] 试根据极大似然估计原理求观测误差 \(\varDelta\) 的概率分布密度函数。

解设误差 \(\varDelta\) 的概率密度函数为 \(f(\varDelta)\)，则 \(\varDelta_{1},\varDelta_{2},\cdots,\varDelta_{n}\) 的联合概率密度为 \[f(\varDelta_{1},\varDelta_{2},\cdots,\varDelta_{n})=\prod_{i=1}^{n}f(\varDelta_{i}) \tag{1-3-13}\] 将上式取对数并对 \(x\) 求导，考虑到 \(\varDelta_{i}=x-L_{i}\)，可得 \[\frac{\mathrm{d}}{\mathrm{d}x}\ln f(\varDelta_{1},\varDelta_{2},\cdots,\varDelta_{n}) =\sum_{i=1}^{n}\frac{f^{\prime}(\varDelta_{i})}{f(\varDelta_{i})} \tag{1-3-14}\] 记 \(v_{i}=\hat{x}-L_{i}\)，由于 \(\hat{x}\) 为极大似然估值，所以由 \(\dfrac{\mathrm{d}}{\mathrm{d}x}\ln f(\varDelta_{1},\varDelta_{2},\cdots,\varDelta_{n})\bigr|_{x=\hat{x}}=0\) 知 \[\sum_{i=1}^{n}f^{\prime}(v_{i})/f(v_{i})=0 \tag{1-3-15}\] 令 \[\psi(v)=f^{\prime}(v)/f(v)\] (1-3-15) 式成为 \[\sum_{i=1}^{n}\psi(v_{i})=0 \tag{1-3-16}\] 由于 \(\hat{x}\) 满足 (1-3-12) 式，所以应有 \[\left.\frac{\mathrm{d}}{\mathrm{d}x}\left\{\sum_{i=1}^{n}\left|L_{i}-\hat{x}\right|^{p}\right\}\right|_{x=\hat{x}}=0\] 即 \[\sum_{i=1}^{n}\left|v_{i}\right|^{p-2}v_{i}=0\] 记 \[y_{i}=\left|v_{i}\right|^{p-2}v_{i} \tag{1-3-17}\] 则有 \[\sum y_{i}=0 \tag{1-3-18}\] 由 (1-3-17) 式知 \(v_{i}\) 可表达为 \(y_{i}\) 的函数，所以 \(\psi(v_{i})\) 亦可表达为 \(y_{i}\) 的函数，不妨记 \(\psi(v_{i})=g(y_{i})\)。将 \(g(y_{i})\) 展开为 \(y_{i}\) 的幂级数 \[\psi(v_{i})=g(y_{i})=k_{0}+k_{1}y_{i}+k_{2}y_{i}^{2}+k_{3}y_{i}^{3}+\cdots\] 将上式求和，考虑到 (1-3-16) 式得 \[\sum\psi(v_{i})=nk_{0}+k_{1}\sum_{i=1}^{n}y_{i}+k_{2}\sum_{i=1}^{n}y_{i}^{2}+k_{3}\sum_{i=1}^{n}y_{i}^{3}+\cdots=0\] 由此式及 (1-3-18) 式并顾及到 \(y_{i}\) 可取任意值，知 \[k_{i}=0\quad(i\neq 1)\qquad k_{1}\neq 0\] 及 \[\psi(v_{i})=k_{1}y_{i}\] 即 \[f^{\prime}(v)/f(v)=k_{1}\left|v\right|^{p-2}v \tag{1-3-19}\] 对上式取积分，并写成指数形式得 \[f(v)=A\mathrm{e}^{k_{1}\left|v\right|^{p}}\] 所以观测误差 \(\varDelta\) 的概率密度函数为 \[f(\varDelta)=A\mathrm{e}^{k_{1}\left|\varDelta\right|^{p}} \tag{1-3-20}\] 由偶然误差的特性知 \(f(\varDelta)\) 为偶函数，则 \(f(\varDelta)\) 随 \(|\varDelta|\) 的增加而减小，所以 \(k_{1}<0\)，记 \(k_{1}=-h^{p}\)，\((h>0)\)，则 (1-3-20) 式可写成 \[f(\varDelta)=A\mathrm{e}^{-(h\left|\varDelta\right|)^{p}} \tag{1-3-21}\] 考虑到 \(\int_{-\infty}^{\infty}f(\varDelta)\,\mathrm{d}\varDelta=2\int_{0}^{\infty}f(\varDelta)\,\mathrm{d}\varDelta=1\) 及 \(\int_{-\infty}^{\infty}\varDelta^{2}f(\varDelta)\,\mathrm{d}\varDelta=2\int_{0}^{\infty}\varDelta^{2}f(\varDelta)\,\mathrm{d}\varDelta=\sigma^{2}\) 可得 \[h=\frac{1}{\sigma}\left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{1}{2}}\] \[A=\frac{p}{2\sigma\varGamma\left(\dfrac{1}{p}\right)}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\] 式中 \(\sigma^{2}\) 为观测误差 \(\varDelta\) 的母体方差。\(\varGamma(x)\) 为伽玛函数，将 \(A\)、\(h\) 代入 (1-3-21) 式即得 \[f(\varDelta)=\frac{p}{2\sigma\varGamma\left(\dfrac{1}{p}\right)} \sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\, \mathrm{e}^{-\left[\sqrt{\frac{\varGamma\left(\frac{3}{p}\right)}{\varGamma\left(\frac{1}{p}\right)}}\,\frac{|\varDelta|}{\sigma}\right]^{p}} \quad(0<p<\infty) \tag{1-3-22}\] 式 (1-3-22) 称为一元\(p\) 范分布的概率密度函数。

本例说明当 \(x\) 的极大似然估值满足 (1-3-12) 式时，其随机误差服从一元 \(p\) 范分布，概率密度为 (1-3-22) 式。

例 1-3-4

设有观测方程 \(\bm{L}=\bm{B}\bm{X}+\bm{\Delta}\)，观测值 \(\bm{L}\) 服从多元 \(p\) 范分布，其概率密度函数为 \[f(\bm{L})=\frac{(p\lambda)^{n}}{2^{n}\varGamma^{n}\left(\dfrac{1}{p}\right)|\bm{D}_{L}|^{\frac{1}{2}}} \exp\left\{-\left[\lambda\,\|\bm{D}_{L}^{-\frac{1}{2}}(\bm{L}-\bm{\mu}_{L})\|_{p}\right]^{p}\right\} \tag{1-3-23}\] 式中 \(\lambda=\left[\dfrac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{1}{2}}\)，\(\|\bm{X}\|_{p}=\left\{\sum\limits_{i=1}^{n}\left|x_{i}\right|^{p}\right\}^{\frac{1}{p}}\)，\(\bm{D}_{L}=\sigma_{0}^{2}\bm{Q}\) 为正定方阵。试求 \(\bm{X}\)、单位权方差因子 \(\sigma_{0}^{2}\) 及参数 \(p\) 的极大似然估值。

解不失一般性，设 \(\bm{D}_{L}=\sigma_{0}^{2}\bm{E}\)，\(\bm{E}\) 为单位阵。因 \(\bm{\mu}_{L}=\bm{B}\bm{X}\)，所以 \(\bm{\Delta}\) 的概率密度函数为 \[f(\bm{\Delta})=\frac{p^{n}}{2^{n}\varGamma^{n}\left(\dfrac{1}{p}\right)\sigma_{0}^{n}} \left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{n}{2}}\cdot \exp\left\{-\left[\frac{1}{\sigma_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right]^{p} \sum_{i=1}^{n}\left|\varDelta_{i}\right|^{p}\right\} \tag{1-3-24}\] 对上式取对数得 \[\begin{aligned} \ln f(\bm{\Delta})={}&n\left\{\ln p-\ln 2-\ln\sigma_{0}-\ln\varGamma\left(\frac{1}{p}\right)\right\} +\frac{n}{2}\left\{\ln\varGamma\left(\frac{3}{p}\right)-\ln\varGamma\left(\frac{1}{p}\right)\right\}-{}\\ &\left[\frac{1}{\sigma_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right]^{p} \sum_{i=1}^{n}\left|\varDelta_{i}\right|^{p} \end{aligned} \tag{1-3-25}\] 令 \(\bm{K}^{T}=\begin{bmatrix}k_{1},k_{2},\cdots,k_{n}\end{bmatrix}^{T}\)，构造函数 \[\varPhi=\ln f(\bm{\Delta})-\bm{K}^{T}(\bm{B}\bm{X}-\bm{\Delta}-\bm{L}) \tag{1-3-26}\] 则 \(\bm{\Delta}\)，\(\bm{X}\)，\(\sigma_{0}\)，\(p\) 的极大似然估值应使 \(\varPhi\) 取极大值，以 \(\bm{V}\)、\(\hat{\bm{X}}\)、\(\hat{\sigma}_{0}\)、\(p\) 记上述待估量的极大似然估值（为书写简便以 \(p\) 记 \(\hat{p}\)）则有 \[\left.\frac{\partial\varPhi}{\partial\bm{\Delta}}\right|_{\bm{V},\hat{\bm{X}},\hat{\sigma}_{0},p}=0 \tag{1-3-27}\] \[\left.\frac{\partial\varPhi}{\partial\bm{X}}\right|_{\bm{V},\hat{\bm{X}},\hat{\sigma}_{0},p}=0 \tag{1-3-28}\] \[\left.\frac{\partial\varPhi}{\partial\sigma_{0}}\right|_{\bm{V},\hat{\bm{X}},\hat{\sigma}_{0},p}=0 \tag{1-3-29}\] \[\left.\frac{\partial\varPhi}{\partial p}\right|_{\bm{V},\hat{\bm{X}},\hat{\sigma}_{0},p}=0 \tag{1-3-30}\] 由 (1-3-27) 式得 \[\left[\frac{1}{\hat{\sigma}_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right]^{p} \sum\left|v_{i}\right|^{p-2}v_{i}-k_{i}=0\quad(i=1,2,\cdots,n) \tag{1-3-31}\] 令 \[\bm{W}=\operatorname{diag}\begin{bmatrix}\left|v_{1}\right|^{p-2},&\left|v_{2}\right|^{p-2},&\cdots,&\left|v_{n}\right|^{p-2}\end{bmatrix}\] 上式可写成 \[\bm{K}=\left[\frac{1}{\hat{\sigma}_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right]^{p}\bm{W}\bm{V} \tag{1-3-32}\] 由 (1-3-28) 式可得 \[\bm{B}^{T}\bm{K}=0 \tag{1-3-33}\] 将 (1-3-32) 式代入并考虑到 \(\left[\dfrac{1}{\hat{\sigma}_{0}}\sqrt{\dfrac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right]^{p}\neq 0\)，有 \[\bm{B}^{T}\bm{W}\bm{V}=0 \tag{1-3-34}\] 由观测方程 \(\bm{L}=\bm{B}\bm{X}+\bm{\Delta}\) 知 \(\bm{X}\) 与 \(\bm{\Delta}\) 的估值 \(\hat{\bm{X}}\) 与 \(\bm{V}\) 满足 \(\bm{V}=\bm{B}\hat{\bm{X}}-\bm{L}\)，代入上式得 \[\bm{B}^{T}\bm{W}\bm{B}\hat{\bm{X}}-\bm{B}^{T}\bm{W}\bm{L}=0 \tag{1-3-35}\] 由 (1-3-29) 式可得 \[-\frac{n}{\hat{\sigma}_{0}}+\frac{p}{\hat{\sigma}_{0}^{p+1}} \left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{p}{2}} \sum_{i=1}^{n}\left|v_{i}\right|^{p}=0 \tag{1-3-36}\] 即 \[\hat{\sigma}_{0}^{p}=\frac{p}{n} \left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{p}{2}} \sum_{i=1}^{n}\left|v_{i}\right|^{p} \tag{1-3-37}\] 为了计算 \(\dfrac{\partial\varPhi}{\partial p}\)，先作如下准备

1) \[\frac{\mathrm{d}\varGamma(x)}{\mathrm{d}x}=\psi(x) \tag{1-3-38}\] 式中 \(\psi(x)\) 为普西函数。

2) 令 \[y=\frac{1}{\sigma_{0}^{p}} \left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{p}{2}} \sum_{i=1}^{n}\left|\varDelta_{i}\right|^{p} \tag{1-3-39}\] 则 \[\resizebox{\textwidth}{!}{$ \begin{aligned} \frac{1}{y}\frac{\partial y}{\partial p}=\frac{\partial\ln y}{\partial p} ={}&\frac{\partial}{\partial p}\left\{-p\ln\sigma_{0} +\frac{p}{2}\left[\ln\varGamma\left(\frac{3}{p}\right)-\ln\varGamma\left(\frac{1}{p}\right)\right] +\ln\left(\sum_{i=1}^{n}\left|\varDelta_{i}\right|^{p}\right)\right\}\\ ={}&-\ln\sigma_{0}+\frac{1}{2}\ln\varGamma\left(\frac{3}{p}\right) -\frac{1}{2}\ln\varGamma\left(\frac{1}{p}\right) -\frac{3}{2p}\psi\left(\frac{3}{p}\right) +\frac{1}{2p}\psi\left(\frac{1}{p}\right) +\frac{\sum\limits_{i=1}^{n}\left|\varDelta_{i}\right|^{p}\ln\left|\varDelta_{i}\right|} {\sum\limits_{i=1}^{n}\left|\varDelta_{i}\right|^{p}}\\ ={}&\ln\left[\frac{1}{\sigma_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right] -\frac{3}{2p}\psi\left(\frac{3}{p}\right) +\frac{1}{2p}\psi\left(\frac{1}{p}\right) +\frac{\sum\limits_{i=1}^{n}\left|\varDelta_{i}\right|^{p}\ln\left|\varDelta_{i}\right|} {\sum\limits_{i=1}^{n}\left|\varDelta_{i}\right|^{p}} \end{aligned}$} \tag{1-3-40}\] 于是 \[\frac{\partial\varPhi}{\partial p} =n\left[\frac{1}{p}+\frac{1}{p^{2}}\psi\left(\frac{1}{p}\right)\right] +\frac{n}{2}\left[-\frac{3}{p^{2}}\psi\left(\frac{3}{p}\right)+\frac{1}{p^{2}}\psi\left(\frac{1}{p}\right)\right] -\frac{\partial y}{\partial p} \tag{1-3-41}\] 由 (1-3-27) 式知 \[\left.y\right|_{\bm{V},\hat{\bm{X}},\hat{\sigma}_{0},p}=\frac{p}{n} \tag{1-3-42}\] \[\ln\left[\frac{1}{\hat{\sigma}_{0}}\sqrt{\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}}\right] =\frac{1}{p}\ln\left(\frac{n}{p}\right)-\frac{1}{p}\ln\left(\sum_{i=1}^{n}\left|v_{i}\right|^{p}\right) \tag{1-3-43}\] 将 (1-3-41)、(1-3-40) 式代入 (1-3-30) 式并考虑到 (1-3-42)、(1-3-43) 式得 \[p+\psi\left(\frac{1}{p}\right)+\ln\left(\frac{p}{n}\right) +\ln\left(\sum_{i=1}^{n}\left|v_{i}\right|^{p}\right) -\frac{p\sum\limits_{i=1}^{n}\left|v_{i}\right|^{p}\ln\left|v_{i}\right|} {\sum\limits_{i=1}^{n}\left|v_{i}\right|^{p}}=0 \tag{1-3-44}\] 至此得到求解 \(\bm{V}\)，\(\bm{X}\)，\(\hat{\sigma}_{0}\)，\(p\) 的如下方程： \[\bm{V}=\bm{B}\hat{\bm{X}}-\bm{L} \tag{1-3-45}\] \[\bm{B}^{T}\bm{W}\bm{B}\hat{\bm{X}}-\bm{B}^{T}\bm{W}\bm{L}=0 \tag{1-3-46}\] \[p+\psi\left(\frac{1}{p}\right)+\ln\left(\frac{p}{n}\right) +\ln\left(\sum_{i=1}^{n}\left|v_{i}\right|^{p}\right) -\frac{p\sum\limits_{i=1}^{n}\left|v_{i}\right|^{p}\ln\left|v_{i}\right|} {\sum\limits_{i=1}^{n}\left|v_{i}\right|^{p}}=0 \tag{1-3-47}\] \[\hat{\sigma}_{0}^{p}=\frac{p}{n} \left[\frac{\varGamma\left(\dfrac{3}{p}\right)}{\varGamma\left(\dfrac{1}{p}\right)}\right]^{\frac{p}{2}} \sum_{i=1}^{n}\left|v_{i}\right|^{p} \tag{1-3-48}\] 从上述前 3 个非线性方程中可解出 \(\bm{V}\)，\(\hat{\bm{X}}\)，\(p\)，然后可由 (1-3-48) 式计算 \(\hat{\sigma}_{0}\)。

当 \(p\) 为常数时，\(p\) 范分布的极大似然估值与 \(L_{p}\) 最小估值等价。由于 \(p\) 是常数，不会产生 (1-3-47) 式。此时可由 (1-3-45)，(1-3-46) 式联合解出 \(\hat{\bm{X}}\)，\(\bm{V}\)，由 (1-3-48) 式计算 \(\hat{\sigma}_{0}\)。

最小二乘估计

设被估计量是 \(t\) 维未知的参数向量 \(\bm{X}\)，观测向量为 \(\underset{n\times 1}{\bm{L}}\,(n>t)\)，其观测误差（或称为噪声）向量为 \(\underset{n\times 1}{\bm{\Delta}}\)，观测方程 \[\bm{L}=\bm{B}\bm{X}+\bm{\Delta} \tag{1-4-1}\] 式中 \(\underset{n\times t}{\bm{B}}\) 的秩 \(\operatorname{rk}(\bm{B})=t\)，\(E(\bm{\Delta})=\bm{0}\)，\(D(\bm{\Delta})=\bm{D}_{\Delta}\)，设 \(\bm{X}\) 的估值为 \(\hat{\bm{X}}\)，则有 \[\bm{V}=\bm{B}\hat{\bm{X}}-\bm{L} \tag{1-4-2}\] 所谓最小二乘估计，就是要求估值 \(\hat{\bm{x}}\) 使下列二次型达到最小值，即 \[\psi(\hat{\bm{X}})=\bm{V}^{T}\bm{P}\bm{V}=(\bm{B}\hat{\bm{X}}-\bm{L})^{T}\bm{P}(\bm{B}\hat{\bm{X}}-\bm{L})=\min \tag{1-4-3}\] 其中 \(\underset{n\times n}{\bm{P}}\) 是一个适当选取的对称正定常数阵，\(\hat{\bm{X}}\) 称为 \(\bm{X}\) 的最小二乘估值，记为 \(\hat{\bm{X}}_{LS}\) 或 \(\hat{\bm{X}}_{LS}(\bm{L})\)。

当参数 \(\bm{X}\) 的各个分量 \(X_{i}\) 之间没有确定的函数关系，即它们是函数独立的参数时，可将 \(\psi(\hat{\bm{X}})\) 对 \(\hat{\bm{X}}\) 求自由极值，令其一阶导数为零，得 \[\frac{\partial\psi(\hat{\bm{X}})}{\partial\hat{\bm{X}}}=2\bm{V}^{T}\bm{P}\frac{\partial\bm{V}}{\partial\hat{\bm{X}}}=2\bm{V}^{T}\bm{P}\bm{B}=0 \tag{1-4-4}\] 转置后，得 \[\bm{B}^{T}\bm{P}\bm{V}=\bm{B}^{T}\bm{P}(\bm{B}\hat{\bm{X}}-\bm{L})=0\] 或 \[\bm{B}^{T}\bm{P}\bm{B}\hat{\bm{X}}=\bm{B}^{T}\bm{P}\bm{L} \tag{1-4-5}\] 解得 \[\hat{\bm{X}}=(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}\bm{L} \tag{1-4-6}\] 又因为 \[\frac{\partial^{2}\psi(\hat{\bm{X}})}{\partial\hat{\bm{X}}^{2}}=2\bm{B}^{T}\bm{P}\bm{B}>0\] 所以 \(\hat{\bm{X}}\) 使 \(\psi(\hat{\bm{X}})\) 达到极小值。

最小二乘估计量 \(\hat{\bm{X}}\) 的估计误差为 \[\bm{\Delta}_{\hat{\bm{X}}}=\bm{X}-\hat{\bm{X}} =\bm{X}-(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}(\bm{B}\bm{X}+\bm{\Delta}) =-(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}\bm{\Delta} \tag{1-4-7}\] 由此式按协方差传播律可得 \(\hat{\bm{X}}\) 的误差方差阵为 \[D(\bm{\Delta}_{\hat{\bm{X}}})=(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}\bm{D}_{\Delta}\bm{P}\bm{B}(\bm{B}^{T}\bm{P}\bm{B})^{-1} \tag{1-4-8}\] 将对称正定阵 \(\bm{D}_{\Delta}\) 表示为 \(\bm{D}_{\Delta}=\bm{R}^{T}\bm{R}\)（\(\bm{R}\) 为可逆阵），并令 \[\left.\begin{aligned} \bm{a}&=\bm{B}^{T}\bm{R}^{-1}\\ \bm{b}&=\bm{R}\bm{P}\bm{B}(\bm{B}^{T}\bm{P}\bm{B})^{-1} \end{aligned}\right\}\] 则得： \[\bm{a}\bm{b}=\bm{B}^{T}\bm{R}^{-1}\bm{R}\bm{P}\bm{B}(\bm{B}^{T}\bm{P}\bm{B})^{-1}=\bm{E}\] 且由“矩阵形”许瓦茨不等式可得： \[D(\bm{\Delta}_{\hat{\bm{X}}})=\bm{b}^{T}\bm{b}\geq(\bm{a}\bm{b})^{T}(\bm{a}\bm{a}^{T})^{-1}(\bm{a}\bm{b})=(\bm{a}\bm{a}^{T})^{-1}\] 即 \[D(\bm{\Delta}_{\hat{\bm{X}}})=(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}\bm{D}_{\Delta}\bm{P}\bm{B}(\bm{B}^{T}\bm{P}\bm{B})^{-1} \geq(\bm{B}^{T}\bm{D}_{\Delta}^{-1}\bm{B})^{-1}\] 只有当 \(\bm{P}=\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\) 或 \(\bm{P}=\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\)（\(\sigma_{0}^{2}\) 为常数）时，上式才取等号，而使 \(\hat{\bm{X}}\) 的误差方差阵达到最小，此时有 \[D(\bm{\Delta}_{\hat{\bm{X}}})=\operatorname{Var}(\bm{\Delta}_{\hat{\bm{X}}}) =(\bm{B}^{T}\bm{D}_{\Delta}^{-1}\bm{B})^{-1}=(\bm{B}^{T}\bm{P}\bm{B})^{-1}\sigma_{0}^{2} \tag{1-4-9}\] 有时将 \(\bm{P}\) 取为 \(\bm{D}_{\Delta}^{-1}\) 或 \(\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\) 时的估计称为马尔柯夫估计，此时应将 (1-4-3) 式写为 \[\bm{V}^{T}\bm{P}_{\Delta}\bm{V}=\min \tag{1-4-10}\] 可以看到，最小二乘估计具有如下性质：

(1) 最小二乘估计是一种线性估计，即 \(\bm{X}\) 的估计量 \(\hat{\bm{X}}_{LS}\) 是观测值的线性函数。

(2) 当观测误差的数学期望为 \(E(\bm{\Delta})=\bm{0}\) 时，因 \[E(\bm{L})=\bm{B}\bm{X}\] 所以 \[E(\hat{\bm{X}}_{LS})=(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}E(\bm{L}) =(\bm{B}^{T}\bm{P}\bm{B})^{-1}\bm{B}^{T}\bm{P}\bm{B}\bm{X}=\bm{X}\] 即 \(\hat{\bm{X}}_{LS}\) 具有无偏性。

(3) 当观测误差的方差阵为 \(\bm{D}_{\Delta}\)，而取 \(\bm{P}=\bm{D}_{\Delta}^{-1}\) 或 \(\bm{P}=\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\) 时，\(\hat{\bm{X}}_{LS}\) 的误差方差阵达到最小值。

(4) 最小二乘估计不需要 \(\bm{X}\) 的任何先验统计信息。当 \(\bm{X}\) 是非随机量，或 \(\bm{X}\) 虽然是随机量，但完全不考虑其先验统计信息时，由观测方程 (1-4-1) 和 (1-4-6) 式按协方差传播律可知 \[\bm{D}_{L}=\bm{D}_{\Delta} \tag{1-4-11}\] \[\bm{D}_{\hat{\bm{X}}_{LS}}=D(\bm{\Delta}_{\hat{\bm{X}}_{LS}}) \tag{1-4-12}\]

上面是不考虑概率分布，直接将 (1-4-3) 式作为一种估计准则。当观测误差和参数 \(\bm{X}\) 是正态随机向量时，这种最小二乘估计准则还可以从极大似然估计导出。

设 \(\bm{\Delta}\sim N(\bm{0},\bm{D}_{\Delta})\)，\(\bm{X}\sim N(\bm{\mu}_{x},\bm{D}_{X})\)，由于 \(\bm{X}\) 和 \(\bm{\Delta}\) 一般是互相独立的，故设 \(\bm{D}_{X\Delta}=\bm{0}\)。则由观测方程 (1-4-1) 式可得： \[\left.\begin{aligned} \bm{\mu}_{L}&=E(\bm{L})=\bm{B}\bm{\mu}_{x}\\ \bm{D}_{L}&=\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta}\\ \bm{D}_{LX}&=\bm{B}\bm{D}_{X} \end{aligned}\right\} \tag{1-4-13}\] 而在 \(\bm{X}=\bm{x}\) 条件下的条件概率密度为 \[f(\bm{l}/\bm{x})=\frac{1}{(2\pi)^{n/2}\,|D(\bm{L}/\bm{x})|^{1/2}} \exp\left\{-\frac{1}{2}(\bm{l}-E(\bm{L}/\bm{x}))^{T}\cdot D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}/\bm{x}))\right\}\] 式中 \[\begin{aligned} E(\bm{L}/\bm{x})&=\bm{\mu}_{L}+\bm{D}_{LX}\bm{D}_{X}^{-1}(\bm{x}-\bm{\mu}_{x})\\ D(\bm{L}/\bm{x})&=\bm{D}_{L}-\bm{D}_{LX}\bm{D}_{X}^{-1}\bm{D}_{XL} \end{aligned}\] 将 (1-4-13) 式代入上式得： \[E(\bm{L}/\bm{x})=\bm{B}\bm{\mu}_{x}+\bm{B}(\bm{x}-\bm{\mu}_{x})=\bm{B}\bm{x}\] \[D(\bm{L}/\bm{x})=(\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta})-\bm{B}\bm{D}_{X}\bm{D}_{X}^{-1}\bm{D}_{X}\bm{B}^{T}=\bm{D}_{\Delta}\] 由于似然方程等价于 \[(\bm{l}-E(\bm{L}/\bm{x}))^{T}D^{-1}(\bm{L}/\bm{x})\,(\bm{l}-E(\bm{L}/\bm{x}))=\min\] 所以也等价于 \[(\bm{L}-\bm{B}\hat{\bm{X}})^{T}\bm{D}_{\Delta}^{-1}(\bm{L}-\bm{B}\hat{\bm{X}})=\min \tag{1-4-14}\] 考虑到 \[\begin{gathered} \bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\ \text{或}\ \bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\\ \bm{V}=\bm{B}\hat{\bm{X}}-\bm{L} \end{gathered}\] 则 (1-4-14) 式也就是最小二乘估计的准则 (1-4-10)。这就由极大似然估计导出了最小二乘估计。

从上述讨论看到，在由极大似然估计导出最小二乘估计的过程中，虽然将参数 \(\bm{X}\) 作为随机向量，但是在求最小二乘估值 \(\hat{\bm{X}}_{LS}\) 时，并不需要知道 \(\bm{X}\) 的先验期望和先验方差。因此，从这个意义上可以说，最小二乘估计实际上并没有考虑参数的随机性质。正因为如此，当不知道参数的先验期望和先验方差，或者参数是非随机量时，可以应用上述最小二乘估计求其估值。

本节是以间接平差的函数模型为例，说明了最小二乘估计的准则。至于其他的各种经典平差法（如条件平差、附有参数的条件平差、附有限制条件的间接平差），尽管它们各具自己的函数模型，但它们所依据的估计准则不变，其差别仅在于：在不同的函数模型下，它们的具体求解方法有所不同。因此可以说，各种经典平差方法，都是依据最小二乘估计准则 \(\bm{V}^{T}\bm{P}\bm{V}=\min\)，去求未知参数 \(\bm{X}\) 的最小二乘估值 \(\hat{\bm{X}}_{LS}\) 和观测值 \(\bm{L}\) 的平差值 \(\hat{\bm{L}}\)。

极大验后估计

如 1-3 节中所述，极大似然估计是以“\(f(\bm{l}/\bm{x})=\max\)”为准则的估计方法，而极大验后估计则是以 \[f(\bm{x}/\bm{l})=\max \tag{1-5-1}\] 为准则的估计方法。这里，\(f(\bm{x}/\bm{l})\) 是随机参数向量 \(\underset{t\times 1}{\bm{X}}\) 在观测向量 \(\underset{n\times 1}{\bm{L}}=\underset{n\times 1}{\bm{l}}\) 的条件下的条件概率密度，\(\bm{l}\) 仍然表示 \(\bm{L}\) 的观测值。这个准则的含义在直观上是较明显的。它的含义是：给定了 \(\bm{L}\) 的一组子样观测值 \(\bm{l}\)，由这组 \(\bm{l}\) 可以按一定的概率取得参数 \(\bm{X}\) 的不同估值 \(\hat{\bm{X}}\)，其中最佳估值的条件概率密度 \(f(\bm{x}/\bm{l})\) 应为极大值。一般用 \(\hat{\bm{X}}_{MA}\) 或 \(\hat{\bm{X}}_{MA}(\bm{L})\) 表示由极大验后估计得到的最佳估值，称之为极大验后估值，显然，\(\hat{\bm{X}}_{MA}\) 应满足 \[\left.\frac{\partial\ln f(\bm{x}/\bm{l})}{\partial\bm{x}}\right|_{\bm{x}=\hat{\bm{X}}_{MA}}=0 \tag{1-5-2}\] 此方程称为验后方程。

因为 \[\begin{gathered} f(\bm{x}/\bm{l})=\frac{f(\bm{l},\bm{x})}{f_{2}(\bm{l})}\\ \ln f(\bm{x}/\bm{l})=\ln f(\bm{l},\bm{x})-\ln f_{2}(\bm{l}) \end{gathered}\] 将上式对 \(\bm{x}\) 求导，则有 \[\frac{\partial\ln f(\bm{x}/\bm{l})}{\partial\bm{x}}=\frac{\partial\ln f(\bm{x},\bm{l})}{\partial\bm{x}}\] 由此可知，极大验后估计的准则 (1-5-1) 式等价于 \[f(\bm{x},\bm{l})=\max \tag{1-5-3}\]

例 1-5-1

设有观测值 \(\bm{L}=\begin{bmatrix}L_{1}&L_{2}&\cdots&L_{n}\end{bmatrix}^{T}\)，观测方程为 \[L_{i}=x^{3}+\varDelta_{i},\quad(i=1,2,\cdots,n)\] 其中参数 \(x\) 与观测误差 \(\varDelta_{i}\) 均为相互独立的正态随机变量，且有 \(x\sim N(0,\sigma_{x}^{2})\)，\(\varDelta_{i}\sim N(0,\sigma_{\varDelta}^{2})\)，试求 \(x\) 的极大验后估值 \(\hat{x}_{MA}\)。

解因 \(x\) 和 \(\varDelta_{i}\) 的概率密度为 \[\begin{gathered} f_{1}(x)=\frac{1}{\sqrt{2\pi}\sigma_{x}}\exp\left\{-\frac{x^{2}}{2\sigma_{x}^{2}}\right\}\\ f_{2}(\varDelta_{i})=\frac{1}{\sqrt{2\pi}\sigma_{\varDelta}}\exp\left\{-\frac{\varDelta_{i}^{2}}{2\sigma_{\varDelta}^{2}}\right\} \end{gathered}\] 由此可得 \[\begin{gathered} f(l_{i}/x)=\frac{1}{\sqrt{2\pi}\sigma_{\varDelta}}\exp\left\{-\frac{(l_{i}-x^{3})^{2}}{2\sigma_{\varDelta}^{2}}\right\}\\ f(\bm{l}/x)=\frac{1}{(\sqrt{2\pi})^{n}\sigma_{\varDelta}^{n}}\exp\left\{-\frac{\sum\limits_{i=1}^{n}(l_{i}-x^{3})^{2}}{2\sigma_{\varDelta}^{2}}\right\} \end{gathered}\] 所以 \[\begin{aligned} f(x/\bm{l})&=\frac{f(\bm{l}/x)f_{1}(x)}{f_{2}(\bm{l})}\\ &=\frac{1}{(\sqrt{2\pi})^{n+1}\sigma_{\varDelta}^{n}\sigma_{x}f_{2}(\bm{l})} \exp\left\{-\frac{1}{2}\left(\sum_{i=1}^{n}\frac{(l_{i}-x^{3})^{2}}{\sigma_{\varDelta}^{2}}+\frac{x^{2}}{\sigma_{x}^{2}}\right)\right\} \end{aligned}\] 则由验后方程得： \[\left.\frac{\partial}{\partial x}\left\{\sum_{i=1}^{n}\frac{(l_{i}-x^{3})^{2}}{\sigma_{\varDelta}^{2}}+\frac{x^{2}}{\sigma_{X}^{2}}\right\}\right|_{x=\hat{x}_{MA}}=0\] 即有 \[2\sum_{i=1}^{n}\frac{3\hat{x}_{MA}^{2}(\hat{x}_{MA}^{3}-l_{i})}{\sigma_{\varDelta}^{2}}+\frac{2\hat{x}_{MA}}{\sigma_{x}^{2}}=0\] 或写为 \[\frac{3n}{\sigma_{\varDelta}^{2}}\hat{x}_{MA}^{5} -\left(3\sum_{i=1}^{n}\frac{l_{i}}{\sigma_{\varDelta}^{2}}\right)\hat{x}_{MA}^{2} +\frac{1}{\sigma_{x}^{2}}\hat{x}_{MA}=0\] 解此方程就可得到极大验后估值 \(\hat{x}_{MA}\)。

下面讨论 \(\bm{X}\) 和 \(\bm{L}\) 均为正态随机向量的情况。因为此时条件概率密度为 \[\begin{aligned} f(\bm{x}/\bm{l})={}&\frac{1}{(2\pi)^{t/2}\,|D(\bm{X}/\bm{l})|^{1/2}}\cdot\\ &\exp\left\{-\frac{1}{2}(\bm{x}-E(\bm{X}/\bm{l}))^{T}\cdot D^{-1}(\bm{X}/\bm{l})\,(\bm{x}-E(\bm{X}/\bm{l}))\right\} \end{aligned} \tag{1-5-4}\] 其中 \[E(\bm{X}/\bm{l})=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L}) \tag{1-5-5}\] \[D(\bm{X}/\bm{l})=\bm{D}_{X}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{D}_{LX} \tag{1-5-6}\] 上式中各个符号的意义均与 1-3 节中相同。将 (1-5-4) 式代入验后方程 (1-5-2)，有 \[\left.\frac{\partial}{\partial\bm{x}}\left\{(\bm{x}-E(\bm{X}/\bm{l}))^{T}D^{-1}(\bm{X}/\bm{l})\,(\bm{x}-E(\bm{X}/\bm{l}))\right\}\right|_{\bm{x}=\hat{\bm{X}}_{MA}}=0\] 则得： \[(\hat{\bm{X}}_{MA}-E(\bm{X}/\bm{l}))^{T}D^{-1}(\bm{X}/\bm{l})=0\] 所以，极大验后估值为 \[\hat{\bm{X}}_{MA}=E(\bm{X}/\bm{l}) \tag{1-5-7}\] 亦即 \[\hat{\bm{X}}_{MA}=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L}) \tag{1-5-8}\]

估值 \(\hat{\bm{X}}_{MA}\) 的估计误差为 \[\bm{\Delta}_{\hat{\bm{X}}_{MA}}=\bm{X}-\hat{\bm{X}}_{MA} =\bm{X}-\bm{\mu}_{x}-\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L})\] \[=\begin{bmatrix}\bm{E}&-\bm{D}_{XL}\bm{D}_{L}^{-1}\end{bmatrix} \begin{bmatrix}\bm{X}\\ \bm{L}\end{bmatrix} +(\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{\mu}_{L}-\bm{\mu}_{x}) \tag{1-5-9}\] 由协方差传播律可得 \(\hat{\bm{X}}_{MA}\) 的误差方差阵为 \[D(\bm{\Delta}_{\hat{\bm{X}}_{MA}})= \begin{bmatrix}\bm{E}&-\bm{D}_{XL}\bm{D}_{L}^{-1}\end{bmatrix} \begin{bmatrix}\bm{D}_{X}&\bm{D}_{XL}\\ \bm{D}_{LX}&\bm{D}_{L}\end{bmatrix} \begin{bmatrix}\bm{E}\\ -\bm{D}_{L}^{-1}\bm{D}_{LX}\end{bmatrix}\] 即得： \[D(\bm{\Delta}_{\hat{\bm{X}}_{MA}})=\bm{D}_{X}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{D}_{LX}=D(\bm{X}/\bm{l}) \tag{1-5-10}\] (1-5-8) 和 (1-5-10) 式就是当 \(\bm{X}\)、\(\bm{L}\) 为正态随机向量时，极大验后估计求 \(\bm{X}\) 的估值 \(\hat{\bm{X}}_{MA}\) 及其误差方差的基本公式。

由 (1-5-8) 式不难看出，\(\hat{\bm{X}}_{MA}\) 是 \(\bm{X}\) 的无偏估值。

例 1-5-2

设有观测方程 \[\bm{L}=\bm{B}\bm{X}+\bm{\Delta} \tag{1-5-11}\] 也设 \(\bm{X}\) 和 \(\bm{\Delta}\) 为正态随机向量，\(\bm{\Delta}\sim N(\bm{0},\bm{D}_{\Delta})\)，\(\bm{X}\sim N(\bm{\mu}_{x},\bm{D}_{X})\)，\(\operatorname{cov}(\bm{X},\bm{\Delta})=\bm{0}\)。此时有 \[\begin{gathered} \bm{\mu}_{L}=E(\bm{L})=\bm{B}\bm{\mu}_{x}\\ \bm{D}_{L}=\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta}\\ \bm{D}_{LX}=\bm{B}\bm{D}_{X} \end{gathered}\] 将它们代入 (1-5-8) 式即得： \[\hat{\bm{X}}_{MA}=E(\bm{X}/\bm{l}) =\bm{\mu}_{x}+\bm{D}_{X}\bm{B}^{T}(\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta})^{-1}(\bm{L}-\bm{B}\bm{\mu}_{x}) \tag{1-5-12}\] 它的误差方差阵为 \[D(\bm{\Delta}_{\hat{\bm{X}}_{MA}})=\bm{D}_{X}-\bm{D}_{X}\bm{B}^{T}(\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{D}_{\Delta})^{-1}\bm{B}\bm{D}_{X} \tag{1-5-13}\] 从上面的讨论可知，由于极大验后估计考虑了参数 \(\bm{X}\) 的先验统计特性，因此，当参数的先验期望 \(\bm{\mu}_{x}\) 和先验方差 \(\bm{D}_{X}\) 已知时，极大验后估计改善了最小二乘估计，此时，极大验后估值 \(\hat{\bm{X}}_{MA}\) 的误差方差要小于其最小二乘估值 \(\hat{\bm{X}}_{LS}\) 的误差方差。

最小方差估计

最小方差估计是一种以估计误差的方差为最小作为准则的估计方法，即根据观测向量 \(\bm{L}\) 求得参数 \(\bm{X}\) 的估值，如果它的误差方差比任何其他估值的方差小，就认为这个估值是最优估值。记 \(\bm{X}\) 的最小方差估值为 \(\hat{\bm{X}}_{MV}\) 或 \(\hat{\bm{X}}_{MV}(\bm{L})\)。

设任一估值为 \(\hat{\bm{X}}\)，其估计误差为 \(\bm{\Delta}_{\hat{\bm{X}}}=\bm{X}-\hat{\bm{X}}\)，而误差方差阵为 \[\begin{aligned} D(\bm{\Delta}_{\hat{\bm{X}}})&=E\{(\bm{X}-\hat{\bm{X}})(\bm{X}-\hat{\bm{X}})^{T}\}\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{x}})(\bm{x}-\hat{\bm{x}})^{T}f(\bm{x},\bm{l})\,\mathrm{d}\bm{x}\mathrm{d}\bm{l}\\ &=\int_{-\infty}^{\infty}\left\{\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{x}})(\bm{x}-\hat{\bm{x}})^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\!f_{2}(\bm{l})\,\mathrm{d}\bm{l} \end{aligned} \tag{1-6-1}\] 当 \(D(\bm{\Delta}_{\hat{\bm{X}}})\) 取最小值时的 \(\hat{\bm{X}}\) 就是最小方差估值 \(\hat{\bm{X}}_{MV}\)。因 (1-6-1) 式表示的方差阵是一个非负定对称阵，所以，为了求得使 \(D(\bm{\Delta}_{\hat{\bm{X}}})\) 取得最小值的 \(\hat{\bm{X}}_{MV}\)，只需要求下式的最小值，即得： \[\psi=\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{x}})(\bm{x}-\hat{\bm{x}})^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x} \tag{1-6-2}\] 由上式可写出 \[\begin{aligned} \psi={}&\int_{-\infty}^{\infty}\{\bm{x}-E(\bm{X}/\bm{l})+E(\bm{X}/\bm{l})-\hat{\bm{x}}\}\cdot \{(\bm{x}-E(\bm{X}/\bm{l})+E(\bm{X}/\bm{l})-\hat{\bm{x}})\}^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\\ ={}&\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))(\bm{x}-E(\bm{X}/\bm{l}))^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}+{}\\ &(E(\bm{X}/\bm{l})-\hat{\bm{x}})(E(\bm{X}/\bm{l})-\hat{\bm{x}})^{T}\int_{-\infty}^{\infty}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}+{}\\ &\left\{\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}(E(\bm{X}/\bm{l})-\hat{\bm{x}})^{T}+{}\\ &(E(\bm{X}/\bm{l})-\hat{\bm{x}})\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x} \end{aligned}\] 因为 \[\begin{gathered} \int_{-\infty}^{\infty}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}=1\\ \int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x} =\int_{-\infty}^{\infty}\bm{x}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x} -\int_{-\infty}^{\infty}E(\bm{X}/\bm{l})f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\\ =E(\bm{X}/\bm{l})-E(\bm{X}/\bm{l})=0 \end{gathered}\] 所以 \[\begin{aligned} \psi={}&\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))(\bm{x}-E(\bm{X}/\bm{l}))^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}+{}\\ &(E(\bm{X}/\bm{l})-\hat{\bm{x}})(E(\bm{X}/\bm{l})-\hat{\bm{x}})^{T} \end{aligned} \tag{1-6-3}\] 由于 \((E(\bm{X}/\bm{l})-\hat{\bm{x}})(E(\bm{X}/\bm{l})-\hat{\bm{X}})^{T}\) 总是一个非负定阵，所以 \[\psi\geq\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))(\bm{x}-E(\bm{X}/\bm{l}))^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x} \tag{1-6-4}\] 欲使 \(\psi\) 取得最小值，就应使上式取等号，此时应使 \[E(\bm{X}/\bm{l})-\hat{\bm{x}}=0\] 即得参数的最小方差估值为 \[\hat{\bm{X}}_{MV}=E(\bm{X}/\bm{l}) \tag{1-6-5}\] 而最小方差估值 \(\hat{\bm{X}}_{MV}\) 的误差方差阵为 \[\begin{aligned} D(\bm{\Delta}_{\hat{\bm{X}}_{MV}})&=E\{\bm{X}-E(\bm{X}/\bm{l})\,((\bm{X}-E(\bm{X}/\bm{l}))^{T}\}\\ &=\int_{-\infty}^{\infty}\left\{\int_{-\infty}^{\infty}(\bm{x}-E(\bm{X}/\bm{l}))(\bm{x}-E(\bm{X}/\bm{l}))^{T}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\cdot f_{2}(\bm{l})\,\mathrm{d}\bm{l} \end{aligned}\] 即 \[D(\bm{\Delta}_{\hat{\bm{X}}_{MV}})=\int_{-\infty}^{\infty}D(\bm{X}/\bm{l})f_{2}(\bm{l})\,\mathrm{d}\bm{l} \tag{1-6-6}\] 它是估计误差的最小方差阵。

又因为 \[\begin{aligned} E(\hat{\bm{X}}_{MV})&=\int_{-\infty}^{\infty}E(\bm{X}/\bm{l})f_{2}(\bm{l})\,\mathrm{d}\bm{l}\\ &=\int_{-\infty}^{\infty}\left\{\int_{-\infty}^{\infty}\bm{x}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\!f_{2}(\bm{l})\,\mathrm{d}\bm{l}\\ &=\int_{-\infty}^{\infty}\bm{x}\left\{\int_{-\infty}^{\infty}f(\bm{x},\bm{l})\,\mathrm{d}\bm{l}\right\}\mathrm{d}\bm{x} \end{aligned}\] 考虑到 \[\int_{-\infty}^{\infty}f(\bm{x},\bm{l})\,\mathrm{d}\bm{l}=f_{1}(\bm{x})\] 即得 \[E(\hat{\bm{X}}_{MV})=\int_{-\infty}^{\infty}\bm{x}f_{1}(\bm{x})\,\mathrm{d}\bm{x}=E(\bm{X}) \tag{1-6-7}\] 可见，\(\hat{\bm{X}}_{MV}\) 是 \(\bm{X}\) 的无偏估计量。

可以看到，当 \(\bm{X}\) 和 \(\bm{L}\) 都是正态随机向量时，\(\bm{X}\) 的最小方差估值 \(\hat{\bm{X}}_{MV}\) 和它的极大验后估值 \(\hat{\bm{X}}_{MA}\) 是相等的。然而，当 \(\bm{X}\) 和 \(\bm{L}\) 不都是正态随机向量时，\(\hat{\bm{X}}_{MV}\) 就不一定等于 \(\hat{\bm{X}}_{MA}\) 了。

线性最小方差估计

前面所述的极大似然估计、极大验后估计和最小方差估计，均要求知道观测向量 \(\bm{L}\) 和未知参数向量 \(\bm{X}\) 的条件概率密度或联合概率密度，它们所得到的估计量 \(\hat{\bm{X}}\) 可以是 \(\bm{L}\) 的任意函数。而最小二乘估计可以不需要知道任何统计性质，所得到的估计量 \(\hat{\bm{X}}_{LS}\) 是 \(\bm{L}\) 的线性函数，所以说最小二乘估计是一种线性估计。本节的线性最小方差估计则是放宽对概率密度的要求，只要求已知 \(\bm{L}\) 和 \(\bm{X}\) 的数学期望和方差、协方差，以及限定所求的估计量是观测向量 \(\bm{L}\) 的线性函数，再以估计量的均方误差达到极小为求最优估计量的准则。这样得到的估计量称为线性最小方差估计量，并记为 \(\hat{\bm{X}}_{L}(\bm{L})\) 或 \(\hat{\bm{X}}_{L}\)。

设已知观测向量 \(\bm{L}\) 的数学期望和方差为 \(\underset{n\times 1}{\bm{\mu}_{L}}\) 和 \(\underset{n\times n}{\bm{D}_{L}}\)，参数向量 \(\bm{X}\) 的先验期望和方差为 \(\underset{t\times 1}{\bm{\mu}_{x}}\) 和 \(\underset{t\times t}{\bm{D}_{X}}\)，\(\bm{L}\) 和 \(\bm{X}\) 的协方差为 \(\underset{n\times t}{\bm{D}_{LX}}\)，又设估计量 \(\hat{\bm{X}}\) 是 \(\bm{L}\) 的线性函数 \[\hat{\bm{X}}=\bm{\alpha}+\bm{\beta}\bm{L} \tag{1-7-1}\] 式中 \(\underset{t\times 1}{\bm{\alpha}}\) 和 \(\underset{t\times n}{\bm{\beta}}\) 是非随机常数向量和系数矩阵。此时，\(\hat{\bm{X}}\) 的误差向量是 \[\bm{\Delta}_{\hat{\bm{X}}}=\bm{X}-\hat{\bm{X}}=\bm{X}-\bm{\alpha}-\bm{\beta}\bm{L} \tag{1-7-2}\] 则 \(\bm{\Delta}_{\hat{\bm{X}}}\) 的数学期望和方差分别为 \[E(\bm{\Delta}_{\hat{\bm{X}}})=\bm{\mu}_{x}-\bm{\alpha}-\bm{\beta}\bm{\mu}_{L} \tag{1-7-3}\] \[D(\bm{\Delta}_{\hat{\bm{X}}})=\bm{D}_{X}+\bm{\beta}\bm{D}_{L}\bm{\beta}^{T}-\bm{D}_{XL}\bm{\beta}^{T}-\bm{\beta}\bm{D}_{LX} \tag{1-7-4}\] 而 \(\bm{\Delta}_{\hat{\bm{X}}}\) 的均方误差阵为 \[\begin{aligned} E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T}) &=E\left|(\bm{\Delta}_{\hat{\bm{X}}}-E(\bm{\Delta}_{\hat{\bm{X}}})+E(\bm{\Delta}_{\hat{\bm{X}}})) (\bm{\Delta}_{\hat{\bm{X}}}-E(\bm{\Delta}_{\hat{\bm{X}}})+E(\bm{\Delta}_{\hat{\bm{X}}}))^{T}\right|\\ &=E\left|(\bm{\Delta}_{\hat{\bm{X}}}-E(\bm{\Delta}_{\hat{\bm{X}}}))(\bm{\Delta}_{\hat{\bm{X}}}-E(\bm{\Delta}_{\hat{\bm{X}}}))^{T}\right| +E(\bm{\Delta}_{\hat{\bm{X}}})E(\bm{\Delta}_{\hat{\bm{X}}})^{T} \end{aligned}\] 即得 \[\begin{aligned} E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T}) &=E(\bm{\Delta}_{\hat{\bm{X}}})E(\bm{\Delta}_{\hat{\bm{X}}})^{T}+D(\bm{\Delta}_{\hat{\bm{X}}})\\ &=E(\bm{\Delta}_{\hat{\bm{X}}})E(\bm{\Delta}_{\hat{\bm{X}}})^{T} +\bm{D}_{X}+\bm{\beta}\bm{D}_{L}\bm{\beta}^{T}-\bm{D}_{XL}\bm{\beta}^{T}-\bm{\beta}\bm{D}_{LX} \end{aligned}\] 将上式配方，则有 \[\begin{aligned} E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T}) ={}&E(\bm{\Delta}_{\hat{\bm{X}}})E(\bm{\Delta}_{\hat{\bm{X}}})^{T} +(\bm{\beta}-\bm{D}_{XL}\bm{D}_{L}^{-1})\,\bm{D}_{L}\,(\bm{\beta}-\bm{D}_{XL}\bm{D}_{L}^{-1})^{T}+{}\\ &\bm{D}_{X}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{D}_{LX} \end{aligned} \tag{1-7-5}\]

上式右边第一、二项都是非负定阵，而第三、四项均与 \(\bm{\alpha}\)、\(\bm{\beta}\) 无关。显然，为使 (1-7-5) 式中的 \(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T})\) 达到极小，唯一的解就是选取 \(\bm{\alpha}\)、\(\bm{\beta}\)，使 (1-7-5) 式右边的第一、二项等于零，亦即使 \[E(\bm{\Delta}_{\hat{\bm{X}}})=E(\bm{X}-\hat{\bm{X}})=0 \tag{1-7-6}\] \[\bm{\beta}=\bm{D}_{XL}\bm{D}_{L}^{-1} \tag{1-7-7}\] 将 (1-7-6) 和 (1-7-7) 两式代入 (1-7-3) 式可得： \[\bm{\alpha}=\bm{\mu}_{x}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{\mu}_{L} \tag{1-7-8}\] 再将 (1-7-7) 和 (1-7-8) 两式代入 (1-7-1) 式，即得线性最小方差估计量 \[\hat{\bm{X}}_{L}=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L}) \tag{1-7-9}\] 因为 \(E(\bm{\Delta}_{\hat{\bm{X}}})=\bm{0}\)，所以，\(\bm{\Delta}_{\hat{\bm{X}}}\) 的方差 \(D(\bm{\Delta}_{\hat{\bm{X}}})\) 可由 (1-7-5) 式得出 \[D(\bm{\Delta}_{\hat{\bm{X}}})=E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T}) =\bm{D}_{X}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{D}_{LX} \tag{1-7-10}\]

如果把线性最小方差估计的 \(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T})\) 达到最小的准则，改为其迹 \(\operatorname{tr}(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T}))\) 达到最小，即 \[\operatorname{tr}(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T})) =E(\bm{\Delta}_{\hat{\bm{X}}}^{T}\bm{\Delta}_{\hat{\bm{X}}}) =E\left\{(\bm{X}-\bm{\alpha}-\bm{\beta}\bm{L})^{T}(\bm{X}-\bm{\alpha}-\bm{\beta}\bm{L})\right\}=\min \tag{1-7-11}\] 则可按求极值的方法求定 \(\bm{\alpha}\)、\(\bm{\beta}\)。

将 (1-7-11) 式分别对 \(\bm{\alpha}\)、\(\bm{\beta}\) 求导数，并令其为零，可得： \[E(\bm{X}-\bm{\alpha}-\bm{\beta}\bm{L})=0 \tag{1-7-12}\] \[E\left\{(\bm{X}-\bm{\alpha}-\bm{\beta}\bm{L})\bm{L}^{T}\right\}=0 \tag{1-7-13}\] 由 (1-7-12) 式可得： \[\bm{\alpha}=\bm{\mu}_{x}-\bm{\beta}\bm{\mu}_{L}\] 代入 (1-7-13) 式得： \[\begin{aligned} &E\left\{(\bm{X}-\bm{\mu}_{x}-\bm{\beta}(\bm{L}-\bm{\mu}_{L}))\,(\bm{L}-\bm{\mu}_{L}+\bm{\mu}_{L})^{T}\right\}\\ ={}&E\left\{(\bm{X}-\bm{\mu}_{x})(\bm{L}-\bm{\mu}_{L})^{T}\right\} -\bm{\beta}\left\{E(\bm{L}-\bm{\mu}_{L})(\bm{L}-\bm{\mu}_{L})^{T}\right\} \end{aligned}\] 即有 \[\bm{D}_{XL}-\bm{\beta}\bm{D}_{L}=0\] 所以也可得 \[\bm{\beta}=\bm{D}_{XL}\bm{D}_{L}^{-1} \tag{1-7-14}\] \[\bm{\alpha}=\bm{\mu}_{x}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{\mu}_{L} \tag{1-7-15}\] 此即 (1-7-7)、(1-7-8) 式，由此可知，这种以方差阵之迹达到最小的准则，与前面以方差阵达到最小的准则所得到的结果完全相同。有时也称这种以方差阵之迹达到最小为准则的估计方法称为最小方差迹估计。

不难看到，线性最小方差估计量 \(\hat{\bm{X}}_{L}\) 具有以下性质：

(1) 由 (1-7-9) 式可得： \[E(\hat{\bm{X}}_{L})=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(E(\bm{L})-\bm{\mu}_{L})=\bm{\mu}_{x}\] 所以，\(\hat{\bm{X}}_{L}\) 是 \(\bm{X}\) 的无偏估计，即 \(\hat{\bm{X}}_{L}\) 具有无偏性。

(2) \(\hat{\bm{X}}\) 具有有效性，即 \(\hat{\bm{X}}_{L}\) 的误差方差取得最小值。这是显然的，因为有 \(E(\bm{\Delta}_{\hat{\bm{X}}})=\bm{0}\)，其误差方差等于其方差阵。

(3) 因为估计误差可表为 \[\bm{\Delta}_{\hat{\bm{X}}}=(\bm{X}-\bm{\mu}_{x})-\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L})\] 所以 \(\bm{\Delta}_{\hat{\bm{X}}}\) 与观测向量 \(\bm{L}\) 的协方差阵为 \[\operatorname{cov}(\bm{\Delta}_{\hat{\bm{X}}},\bm{L})=\bm{D}_{XL}-\bm{D}_{XL}\bm{D}_{L}^{-1}\bm{D}_{L}=0\] 可见，估计误差向量 \(\bm{\Delta}_{\hat{\bm{X}}}\) 与观测向量 \(\bm{L}\) 是不相关的；从几何的角度看，可以将此性质叫做 \(\bm{\Delta}_{\hat{\bm{X}}}\) 与 \(\bm{L}\) 正交。\(\bm{X}\) 与 \(\bm{L}\) 本来不是正交的，但从 \(\bm{X}\) 中减去一个由 \(\bm{L}\) 的线性函数构成的随机向量 \(\hat{\bm{X}}_{L}\) 后，即与 \(\bm{L}\) 正交。因此可以说，\(\hat{\bm{X}}_{L}\) 是 \(\bm{X}\) 在 \(\bm{L}\) 上的投影。

(4) 当 \(\bm{X}\)，\(\bm{L}\) 的联合概率密度是正态时，因为 \[E(\bm{X}/\bm{L})=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L})\] 所以，此时 \(\bm{X}\) 的线性最小方差估计量 \(\hat{\bm{X}}_{L}\) 就等于最小方差估计量 \(\hat{\bm{X}}_{MV}\)，也等于其极大验后估计量 \(\hat{\bm{X}}_{MA}\)。

贝叶斯估计

在 1-5 节和 1-6 节中介绍的极大验后估计和最小方差估计，可以说是贝叶斯（Bayes）估计的两种形式，因此有必要介绍一些关于贝叶斯估计的概念。

仍设 \(\bm{X}\) 是被估计的未知参数向量，\(\bm{L}\) 是观测向量，\(\hat{\bm{X}}(\bm{L})\) 是根据 \(\bm{L}\) 给出的 \(\bm{X}\) 的一个估计量，其估计误差为 \(\bm{\Delta}_{\hat{\bm{X}}}=\bm{X}-\hat{\bm{X}}(\bm{L})\)。

设有估计误差 \(\bm{\Delta}_{\hat{\bm{X}}}\) 的一个标量值函数： \[C(\bm{\Delta}_{\hat{\bm{X}}})=C(\bm{X}-\hat{\bm{X}}(\bm{L})) \tag{1-8-1}\] 如果它具有性质：

(1) 当 \(\|\bm{\Delta}_{\hat{\bm{X}}_{2}}\|\geq\|\bm{\Delta}_{\hat{\bm{X}}_{1}}\|\) 时，\(C(\bm{\Delta}_{\hat{\bm{X}}_{2}})\geq C(\bm{\Delta}_{\hat{\bm{X}}_{1}})\geq 0\)；

(2) 当 \(\|\bm{\Delta}_{\hat{\bm{X}}}\|=0\) 时，\(C(\bm{\Delta}_{\hat{\bm{X}}})=0\)；

(3) \(C(-\bm{\Delta}_{\hat{\bm{X}}})=C(\bm{\Delta}_{\hat{\bm{X}}})\)。

其中 \(\|\bm{\Delta}_{\hat{\bm{X}}}\|=(\bm{\Delta}_{\hat{\bm{X}}}^{T}\bm{\Delta}_{\hat{\bm{X}}})^{1/2}\)，则称 \(C(\bm{\Delta}_{\hat{\bm{X}}})\) 为估计量 \(\hat{\bm{X}}(\bm{L})\) 对 \(\bm{X}\) 的损失函数（或代价函数），并称其数学期望为 \(\hat{\bm{X}}(\bm{L})\) 的贝叶斯风险，记为 \[\beta(\bm{\Delta}_{\hat{\bm{X}}})=E\{C(\bm{\Delta}_{\hat{\bm{X}}})\}=E\{C(\bm{X}-\hat{\bm{X}}(\bm{L}))\} \tag{1-8-2}\] 上述 \(C(\bm{\Delta}_{\hat{\bm{X}}})\) 的第一个性质说明它是原点到 \(\bm{\Delta}_{\hat{\bm{X}}}\) 的距离的非减函数；第二个性质的含义是，当估计精确时，估计的损失为零；第三个特性说明 \(C(\bm{\Delta}_{\hat{\bm{X}}})\) 对称于原点。

所谓贝叶斯估计，就是根据使贝叶斯风险达到最小的准则来求定未知参数的估计量 \(\hat{\bm{X}}(\bm{L})\)，也就是使 \(\hat{\bm{X}}(\bm{L})\) 满足 \[\beta=E\left|C(\bm{\Delta}_{\hat{\bm{X}}})\right| =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}C(\bm{\Delta}_{\hat{\bm{X}}})f(\bm{x},\bm{l})\,\mathrm{d}\bm{x}\mathrm{d}\bm{l}=\min \tag{1-8-3}\] 可以看到，选择不同形式的损失函数，就可得到不同的贝叶斯估计方法和结果。下面来说明极大验后估计和最小方差估计是贝叶斯估计的两种形式。

极大验后估计

设选择的损失函数是 \[C(\bm{\Delta}_{\hat{\bm{X}}})=C(\bm{X}-\hat{\bm{X}}(\bm{L})) =\begin{cases} 0, & \|\bm{\Delta}_{\hat{\bm{X}}}\|<\varepsilon/2\\[4pt] \dfrac{1}{\varepsilon}, & \|\bm{\Delta}_{\hat{\bm{X}}}\|\geq\varepsilon/2 \end{cases} \tag{1-8-4}\] 上式的损失函数称为均匀损失函数，此时，\(\hat{\bm{X}}\) 的贝叶斯风险为 \[\beta=E\left|C(\bm{\Delta}_{\hat{\bm{X}}})\right| =\int_{-\infty}^{\infty}\int_{\|\bm{\Delta}_{\hat{\bm{X}}}\|\geq\varepsilon/2}\frac{1}{\varepsilon}f(\bm{x},\bm{l})\,\mathrm{d}\bm{x}\mathrm{d}\bm{l} \tag{1-8-5}\] 上式可写为 \[\begin{aligned} \beta&=\int_{-\infty}^{\infty}\left\{\int_{\|\bm{\Delta}_{\hat{\bm{X}}}\|\geq\varepsilon/2}\frac{1}{\varepsilon}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\!f_{2}(\bm{l})\,\mathrm{d}\bm{l}\\ &=\int_{-\infty}^{\infty}\frac{1}{\varepsilon}\left\{1-\int_{\|\bm{\Delta}_{\hat{\bm{X}}}\|<\varepsilon/2}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\!f_{2}(\bm{l})\,\mathrm{d}\bm{l} \end{aligned}\] 若设 \(\bm{X}\) 的贝叶斯估计量为 \(\hat{\bm{X}}_{B}\)，因 \[\left.\beta\right|_{\hat{\bm{X}}=\hat{\bm{X}}_{B}}=\min\] 等价于 \[\left.\int_{\|\bm{\Delta}_{\hat{\bm{X}}}\|<\varepsilon/2}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right|_{\hat{\bm{X}}=\hat{\bm{X}}_{B}}=\max\] 当 \(\varepsilon\) 足够小（\(\varepsilon>0\)）时，这又等价于 \[\left.f(\bm{x}/\bm{l})\right|_{\hat{\bm{X}}=\hat{\bm{X}}_{B}}=\max \tag{1-8-6}\] 所以，此时 \(\hat{\bm{X}}_{B}\) 又是 \(\bm{X}\) 的极大验后估计量 \(\hat{\bm{X}}_{MA}\)。也就是说，当损失函数是 (1-8-4) 式，且 \(\varepsilon\) 足够小时，贝叶斯估计就是极大验后估计。

最小方差估计

设选择的损失函数是 \[C(\bm{\Delta}_{\hat{\bm{X}}})=C(\bm{X}-\hat{\bm{X}}(\bm{L})) =\|\bm{\Delta}_{\hat{\bm{X}}}\|_{S}=\bm{\Delta}_{\hat{\bm{X}}}^{T}\bm{S}\bm{\Delta}_{\hat{\bm{X}}} \tag{1-8-7}\] 式中 \(\bm{S}\) 为任意对称非负定阵，(1-8-7) 式的损失函数称为二次型损失函数。此时，\(\hat{\bm{X}}\) 的贝叶斯风险为 \[\beta=E\left\{C(\bm{\Delta}_{\hat{\bm{X}}})\right\} =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{X}})^{T}\bm{S}(\bm{x}-\hat{\bm{X}})f(\bm{x},\bm{l})\,\mathrm{d}\bm{x}\mathrm{d}\bm{l} \tag{1-8-8}\] 不难看到，上式也可写为矩阵迹的形式，即有 \[\beta=\operatorname{tr}\left\{\bm{S}\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{X}})(\bm{x}-\hat{\bm{X}})^{T}f(\bm{x},\bm{l})\,\mathrm{d}\bm{x}\mathrm{d}\bm{l}\right\}=\min \tag{1-8-9}\] 式中的积分就是 \(\hat{\bm{X}}\) 的误差方差阵 \(E(\bm{\Delta}_{\hat{\bm{X}}}\bm{\Delta}_{\hat{\bm{X}}}^{T})\)，当取 \(\bm{S}=\bm{E}\) 时，选择二次型损失函数的贝叶斯估计，是以估计量的误差方差阵之迹达到最小为准则来求 \(\hat{\bm{X}}\) 的方法。因此，可以说，它就是最小方差估计。

如果将 (1-8-8) 式写为 \[\beta=\int_{-\infty}^{\infty}\left\{\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{X}})^{T}\bm{S}(\bm{x}-\hat{\bm{X}})f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\!f_{2}(\bm{l})\,\mathrm{d}\bm{l}=\min\] 则它也等价于 \[\bar{\beta}=\int_{-\infty}^{\infty}(\bm{x}-\hat{\bm{X}})^{T}\bm{S}(\bm{x}-\hat{\bm{X}})f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}=\min \tag{1-8-10}\] 又因为 \[\frac{\partial\bar{\beta}}{\partial\hat{\bm{X}}}=-2\int_{-\infty}^{\infty}\bm{S}(\bm{x}-\hat{\bm{X}})f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\] 所以有 \[\left.\left\{-2\int_{-\infty}^{\infty}\bm{S}(\bm{x}-\hat{\bm{X}})f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\right\}\right|_{\hat{\bm{X}}=\hat{\bm{X}}_{B}}=0\] 由于 \(\bm{S}\) 是非负定阵，因此下式成立： \[\int_{-\infty}^{\infty}\hat{\bm{X}}_{B}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}=\int_{-\infty}^{\infty}\bm{x}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}\] 亦即 \[\hat{\bm{X}}_{B}=\int_{-\infty}^{\infty}\bm{x}f(\bm{x}/\bm{l})\,\mathrm{d}\bm{x}=E(\bm{X}/\bm{l}) \tag{1-8-11}\] 又由于 \[\frac{\partial^{2}\bar{\beta}}{\partial\bm{X}\partial\bm{X}^{T}}=2\bm{S}\] 因此，当 \(\hat{\bm{X}}_{B}=E(\bm{X}/\bm{l})\) 时，确使 \(\bar{\beta}\) 具有最小值。也就是说，根据 (1-8-9) 式求得的 \(\hat{\bm{X}}_{B}\) 也是 \(\bm{X}\) 的最小方差估计量 \(\hat{\bm{X}}_{MV}\)。

广义测量平差原理

测量平差的主要任务，是根据含有随机误差的观测值来确定被观测量及其函数的平差值，也就是求定未知参数的最佳估值。前面所讨论的各种估计方法也就是广义测量平差的理论基础。为了进一步说明广义测量平差原理，下面先讨论在正态分布的情况下，上述估计方法的关系。

从前面的叙述可以看到，对于正态分布来说，极大验后估计所得到的结果，与最小方差估计、线性最小方差估计相同；而在一定的情况下，可以由极大似然估计导出最小二乘估计。因此，本节主要说明极大似然估计、最小二乘估计与极大验后估计之间的关系。

由 1-3 节知，对于正态分布，极大似然估计的准则 \(f(\bm{l}/\bm{x})=\max\) 等价于 \[(\bm{L}-E(\bm{L}/\bm{x}))^{T}D^{-1}(\bm{L}/\bm{x})\,(\bm{L}-E(\bm{L}/\bm{x}))=\min \tag{1-9-1}\] 若未知参数为 \(\bm{X}\sim N(\bm{\mu}_{x},\bm{D}_{X})\)，观测误差 \(\bm{\Delta}\sim N(\bm{0},\bm{D}_{\Delta})\)，\(D(\bm{X},\bm{\Delta})=\bm{0}\)，并有观测方程 \[\bm{L}=\bm{B}\bm{X}+\bm{\Delta} \tag{1-9-2}\] 再记 \[\bm{V}=\bm{B}\hat{\bm{X}}-\bm{L} \tag{1-9-3}\] 则由 1-4 节知，似然方程等价于最小二乘估计准则 \[\bm{V}^{T}\bm{P}_{\Delta}\bm{V}=(\bm{B}\hat{\bm{X}}-\bm{L})^{T}\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\,(\bm{B}\hat{\bm{X}}-\bm{L})=\min \tag{1-9-4}\] 其中 \(\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\sigma_{0}^{2}\)，若取 \(\sigma_{0}^{2}=1\)，则 \(\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\)。(1-9-3) 式也就是观测值 \(\bm{L}\) 对应的误差方程。

又由 1-5 节知，极大验后估值 \(\hat{\bm{X}}_{MA}\) 应满足验后方程 \[\left.\frac{\partial\ln f(\bm{x}/\bm{l})}{\partial\bm{x}}\right|_{\bm{x}=\hat{\bm{X}}_{MA}}=0\] 根据贝叶斯公式可得： \[f(\bm{x}/\bm{l})=\frac{f(\bm{l}/\bm{x})f_{1}(\bm{x})}{f_{2}(\bm{l})}\] 因此 \[\frac{\partial\ln f(\bm{x}/\bm{l})}{\partial\bm{x}} =\frac{\partial\ln f(\bm{l}/\bm{x})}{\partial\bm{x}}+\frac{\partial\ln f_{1}(\bm{x})}{\partial\bm{x}} \tag{1-9-5}\] 考虑正态分布的概率密度 \(f(\bm{l}/\bm{x})\) 和 \(f_{1}(\bm{x})\) 可知，极大验后估计准则“\(f(\bm{x}/\bm{l})=\min\)”也等价于 \[(\bm{L}-E(\bm{L}/\bm{x}))^{T}D^{-1}(\bm{L}/\bm{x})\,(\bm{L}-E(\bm{L}/\bm{x})) +(\bm{x}-\bm{\mu}_{x})^{T}\bm{D}_{X}^{-1}(\bm{x}-\bm{\mu}_{x})=\min \tag{1-9-6}\] 而当有观测方程 (1-9-2)，且 \(D(\bm{X},\bm{\Delta})=\bm{0}\) 时，上式便等价于 \[(\bm{B}\hat{\bm{X}}-\bm{L})^{T}\bm{D}_{\Delta}^{-1}(\bm{B}\hat{\bm{X}}-\bm{L}) +(\hat{\bm{X}}-\bm{\mu}_{x})^{T}\bm{D}_{X}^{-1}(\hat{\bm{X}}-\bm{\mu}_{x})=\min \tag{1-9-7}\] 下面根据 (1-9-5) 和 (1-9-7) 式来进行讨论。

在式 (1-9-6) 中，其左边第一项就是极大似然估计准则的等价公式 (1-9-1) 的左边项。因此，当 \(\bm{X}\) 是随机参数时，极大验后估计改善了极大似然估计或最小二乘估计。而当 \(\bm{X}\) 的先验概率密度 \(f_{1}(\bm{x})\) 为常数时，则有 \[\frac{\partial}{\partial\bm{x}}f_{1}(\bm{x})=0 \tag{1-9-8}\] \[\frac{\partial\ln f(\bm{x}/\bm{l})}{\partial\bm{x}}=\frac{\partial\ln f(\bm{l}/\bm{x})}{\partial\bm{x}} \tag{1-9-9}\] 所谓先验概率密度 \(f_{1}(\bm{x})\) 为常数，也就是说在一定的范围内，参数 \(\bm{X}\) 在验前取任何值的概率都相等，亦即 \(\bm{X}\) 是不具有先验统计特性的非随机量。上两式表明，极大验后估计在此时便退化为极大似然估计或最小二乘估计。

如果将 (1-9-7) 式中的未知参数看成非随机量，亦记为 \(\bm{X}^{*}\)，将此时的观测向量记为 \(\bm{L}^{*}\)；而将 \(\bm{X}\) 的先验期望 \(\bm{\mu}_{x}\) 看成是与 \(\bm{L}^{*}\) 相互独立，且方差为 \(\bm{D}_{X}\) 的虚拟观测值，记为 \(\bm{L}_{x}\,(=\bm{\mu}_{x})\)，相应的虚拟观测误差记为 \(\bm{\Delta}_{x}\)，则有观测方程为 \[\left.\begin{aligned} \bm{L}_{x}&=\bm{X}^{*}+\bm{\Delta}_{x}\\ \bm{L}^{*}&=\bm{B}\bm{X}^{*}+\bm{\Delta} \end{aligned}\right\} \tag{1-9-10}\] 若仍以 \(\hat{\bm{X}}\) 表示 \(\bm{X}^{*}\) 的估值，并记 \[\left.\begin{aligned} \bm{V}_{x}&=\hat{\bm{X}}-\bm{L}_{x}\\ \bm{V}&=\bm{B}\hat{\bm{X}}-\bm{L} \end{aligned}\right\} \tag{1-9-11}\] 此式也就是误差方程。于是，(1-9-7) 式可写为 \[\bm{V}^{T}\bm{P}_{\Delta}\bm{V}+\bm{V}_{x}^{T}\bm{P}_{x}\bm{V}_{x}=\min \tag{1-9-12}\] 式中 \[\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\sigma_{0}^{2},\quad \bm{P}_{x}=\bm{D}_{X}^{-1}\sigma_{0}^{2}\] 当取 \(\sigma_{0}^{2}=1\) 时，即有 \(\bm{P}_{\Delta}=\bm{D}_{\Delta}^{-1}\)，\(\bm{P}_{x}=\bm{D}_{X}^{-1}\)。它们表示权矩阵。

也就是说，在上述情况下，可以对 \(\bm{L}^{*}\) 和 \(\bm{L}_{x}\) 列出误差方程 (1-9-11)，按 (1-9-12) 式来求非随机参数 \(\bm{X}^{*}\) 的估计值 \(\hat{\bm{X}}\)。容易看到，(1-9-12) 式是 1-4 节中的最小二乘估计准则的扩充，因此，称 (1-9-12) 式为广义最小二乘原理。而将按广义最小二乘原理进行平差的过程，称为广义测量平差。

不难理解，在上述情况下，按极大验后估计（或最小方差估计）求得的 \(\hat{\bm{X}}_{MA}\)（或 \(\hat{\bm{X}}_{MV}\)）同按广义最小二乘原理求得的估值 \(\hat{\bm{X}}\)，在数值上是完全相等的。同时，由于按广义最小二乘原理求 \(\hat{\bm{X}}\) 时，\(\bm{X}^{*}\) 是非随机量，因此所得到的估值 \(\hat{\bm{X}}\) 的方差（\(\bm{D}_{\hat{\bm{X}}}\)）也就等于其误差方差 \(D(\bm{\Delta}_{\hat{\bm{X}}})\)，当然它也等于 \(\hat{\bm{X}}_{MA}\) 的误差方差 \(D(\bm{\Delta}_{\hat{\bm{X}}_{MA}})\)，但一般并不等于 \(\hat{\bm{X}}_{MA}\) 的方差。在以后按广义最小二乘原理进行平差时，一般不区分 \(D(\bm{\Delta}_{\hat{\bm{X}}})\) 和 \(\bm{D}_{\hat{\bm{X}}}\)。

以上的讨论说明，在正态分布的情况下，极大验后估计可以转化为广义最小二乘估计。实际上，随机参数的先验期望和先验方差的精确值一般是不可能得到的，往往只能得到它们的估计值。显然，先验期望的估计值也就是 \(\bm{X}\) 的观测值。因此，在这种情况下，按极大验后估计求 \(\hat{\bm{X}}_{MA}\) 也只能说是近似的；而将此先验期望的估计值作为方差为 \(\bm{D}_{X}\) 的虚拟观测值，采用最小二乘估计将更为合理。只有在 \(\bm{D}_{X}\) 和 \(\bm{\mu}_{x}\) 能够精确得到时，采用极大验后估计才是合理的。但此时，也可按广义最小二乘原理求解，得到的结果与极大验后估计一致。

如果在未知参数中除包含随机参数 \(\bm{X}\) 外，还包含非随机参数 \(\bm{Y}\)，则有 \[f(\bm{x},\bm{y}/\bm{l})=f(\bm{x}/\bm{l})\] 故此时只要将未知参数中的随机部分，即 \(\bm{X}\) 的先验期望当作方差为 \(\bm{D}_{X}\) 的虚拟观测值，仍可按 (1-9-12) 式表示的广义最小二乘原理求估值 \(\hat{\bm{X}}\) 和 \(\hat{\bm{Y}}\)。

如果全部未知参数都是非随机量，则 (1-9-12) 式中的 \(\bm{V}_{x}^{T}\bm{P}_{x}\bm{V}_{x}\) 就不存在了，也就变成 1-4 节中的最小二乘原理了。

上面的广义最小二乘原理 (1-9-12) 式，是就正态分布和线性观测方程 (1-9-2) 且 \(\bm{D}_{X\Delta}=\bm{0}\) 的情况导出的。对于非线性观测方程，可按泰勒级数化为线性形式；对于非正态分布，也可将它们近似地看成正态分布；而 \(\bm{D}_{X\Delta}\neq\bm{0}\) 的情况亦不多见。因此，(1-9-12) 式的广义最小二乘原理具有一定的普遍意义。

下面讨论 \(\bm{D}_{X\Delta}\neq\bm{0}\) 的情况。仍假定 \(\bm{X}\)、\(\bm{\Delta}\) 为正态分布，且有 (1-9-2) 式的线性观测方程。

根据数学期望的运算规则和协方差传播律，由 (1-9-2) 式可得： \[\left.\begin{aligned} \bm{\mu}_{L}&=\bm{B}\bm{\mu}_{x}\\ \bm{D}_{L}&=\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{B}\bm{D}_{X\Delta}+\bm{D}_{\Delta X}\bm{B}^{T}+\bm{D}_{\Delta}\\ \bm{D}_{LX}&=\bm{B}\bm{D}_{X}+\bm{D}_{\Delta X}=\bm{D}_{XL}^{T} \end{aligned}\right\} \tag{1-9-13}\] 由于已知 \(\bm{\mu}_{x}\)，\(\bm{D}_{X}\)，并可由 (1-9-13) 三式得到 \(\bm{\mu}_{L}\)、\(\bm{D}_{L}\)、\(\bm{D}_{LX}\)，因 \(\bm{X}\)、\(\bm{L}\) 都是服从正态分布的，故可按极大验后估计（或最小方差估计和线性最小方差估计）求得 \(\bm{X}\) 的估值 \(\hat{\bm{X}}\) 为 \[\begin{aligned} \hat{\bm{X}}_{MA}&=E(\bm{X}/\bm{l})=\bm{\mu}_{x}+\bm{D}_{XL}\bm{D}_{L}^{-1}(\bm{L}-\bm{\mu}_{L})\\ &=\bm{\mu}_{x}+(\bm{D}_{X}\bm{B}^{T}+\bm{D}_{X\Delta})\,(\bm{B}\bm{D}_{X}\bm{B}^{T} +\bm{B}\bm{D}_{X\Delta}+\bm{D}_{\Delta X}\bm{B}^{T}+\bm{D}_{\Delta})^{-1}(\bm{L}-\bm{B}\bm{\mu}_{x}) \end{aligned} \tag{1-9-14}\] 现仍从 (1-9-6) 式来考虑，因为 \[\begin{aligned} E(\bm{L}/\bm{x})&=\bm{\mu}_{L}+\bm{D}_{LX}\bm{D}_{X}^{-1}(\bm{X}-\bm{\mu}_{x})\\ &=\bm{B}\bm{\mu}_{x}+(\bm{B}\bm{D}_{X}+\bm{D}_{\Delta X})\,\bm{D}_{X}^{-1}(\bm{X}-\bm{\mu}_{x})\\ &=\bm{B}\bm{X}+\bm{D}_{\Delta X}\bm{D}_{X}^{-1}(\bm{X}-\bm{\mu}_{x}) \end{aligned} \tag{1-9-15}\] \[\begin{aligned} D(\bm{L}/\bm{x})&=\bm{D}_{L}-\bm{D}_{LX}\bm{D}_{X}^{-1}\bm{D}_{XL}\\ &=(\bm{B}\bm{D}_{X}\bm{B}^{T}+\bm{B}\bm{D}_{X\Delta}+\bm{D}_{\Delta X}\bm{B}^{T}+\bm{D}_{\Delta}) -(\bm{B}\bm{D}_{X}+\bm{D}_{\Delta X})\,\bm{D}_{X}^{-1}(\bm{D}_{X}\bm{B}^{T}+\bm{D}_{X\Delta})\\ &=\bm{D}_{\Delta}-\bm{D}_{\Delta X}\bm{D}_{X}^{-1}\bm{D}_{X\Delta} =\widetilde{\bm{D}}_{\Delta} \end{aligned} \tag{1-9-16}\] 令 (1-9-6) 式的左端为 \(\varPhi\)，将上两式代入 (1-9-6) 式，仍用 \(\hat{\bm{X}}\) 表示满足 (1-9-6) 式的 \(\bm{X}\) 的估值，并顾及误差方程 (1-9-11)，则可得： \[\begin{aligned} \varPhi={}&(-\bm{V}-\bm{D}_{\Delta X}\bm{D}_{X}^{-1}\bm{V}_{x})^{T}\widetilde{\bm{D}}_{\Delta}^{-1} (-\bm{V}-\bm{D}_{\Delta X}\bm{D}_{X}^{-1}\bm{V}_{x}) +\bm{V}_{x}^{T}\bm{D}_{X}^{-1}\bm{V}_{x}\\ ={}&\begin{bmatrix}\bm{V}_{x}^{T}&\bm{V}^{T}\end{bmatrix} \begin{bmatrix} \bm{D}_{X}^{-1}+\bm{D}_{X}^{-1}\bm{D}_{X\Delta}\widetilde{\bm{D}}_{\Delta}^{-1}\bm{D}_{\Delta X}\bm{D}_{X}^{-1} & \bm{D}_{X}^{-1}\bm{D}_{X\Delta}\widetilde{\bm{D}}_{\Delta}^{-1}\\ \widetilde{\bm{D}}_{\Delta}^{-1}\bm{D}_{\Delta X}\bm{D}_{X}^{-1} & \widetilde{\bm{D}}_{\Delta}^{-1} \end{bmatrix} \begin{bmatrix}\bm{V}_{x}\\ \bm{V}\end{bmatrix} \end{aligned}\] 根据分块求逆公式，由 (1-9-6) 式可得： \[\varPhi=\begin{bmatrix}\bm{V}_{x}^{T}&\bm{V}^{T}\end{bmatrix} \begin{bmatrix} \bm{D}_{X} & -\bm{D}_{X\Delta}\\ -\bm{D}_{\Delta X} & \bm{D}_{\Delta} \end{bmatrix}^{-1} \begin{bmatrix}\bm{V}_{x}\\ \bm{V}\end{bmatrix}=\min \tag{1-9-17}\] 若记 \[\overline{\bm{V}}=\begin{bmatrix}\bm{V}_{x}\\ \bm{V}\end{bmatrix},\qquad \overline{\bm{P}}=\begin{bmatrix} \bm{D}_{X} & -\bm{D}_{X\Delta}\\ -\bm{D}_{\Delta X} & \bm{D}_{\Delta} \end{bmatrix}^{-1}\sigma_{0}^{2} \tag{1-9-18}\] 则 (1-9-17) 式即为 \[\overline{\bm{V}^{T}}\overline{\bm{P}}\,\overline{\bm{V}}=\min \tag{1-9-19}\] 显然，(1-9-17) 和 (1-9-19) 式与 (1-9-6) 式等价。也就是说，按照 (1-9-17) 或 (1-9-19) 式求得的估值 \(\hat{\bm{X}}\)，与按 (1-9-14) 式求得的极大验后估值 \(\hat{\bm{X}}_{MA}\) 相同。且 (1-9-19) 式与普通的最小二乘原理“\(\bm{V}^{T}\bm{P}_{\Delta}\bm{V}=\min\)”在形式上相同，因此，它是更普遍的广义最小二乘原理。当 \(\bm{D}_{X\Delta}=\bm{0}\) 时，它也就变成为 (1-9-14) 式的广义最小二乘原理。

综合本章所述，可以认为，广义测量平差主要包含以下内容：

(1) 广义平差问题包含三类：第一类是经典的平差问题，其特点是将未知参数都当作非随机参数；第二类是将所有的未知参数都看作是正态随机参数，我们将这类问题的平差方法称为“滤波”；第三类是一、二类问题的综合，即包含有随机参数，又包含有非随机参数，通常将这类问题的平差方法称为“配置”，或者叫做“拟合推估”。

(2) 作为广义平差的理论基础的估计方法可分为两类，一类是对非随机参数进行估计的最小二乘估计和极大似然估计（或者说不考虑参数的先验统计性质）；另一类是对随机参数进行估计的极大验后估计或最小方差估计，线性最小方差估计。由这两类估计方法可以得到各种不同的平差方法。

(3) 当未知参数 \(\bm{X}\) 是正态随机向量时，可以将它的先验期望当作虚拟观测值，按广义最小二乘原理求参数的估值 \(\hat{\bm{X}}\)，其结果与极大验后估值 \(\hat{\bm{X}}_{MA}\) 相同。因此，广义最小二乘原理是广义测量平差求平差值的基本准则。