本章介绍在学习最优估计理论中常用的数理统计知识。首先，简述随机变量和随机过程的概念及相关知识，阐述观测误差、观测误差的特性和误差传播定律。在此基础上，介绍随机过程的重要特性。最后，本章对白噪声、高斯过程、高斯白噪声和一些应用较广泛的有色噪声的概念和性质进行阐述。

本章重在介绍概念，并不加推导地给出其相关性质，旨在为后面的学习做准备和参考。

随机变量

随机变量的取值在进行试验和测量之前无法预先确定，例如掷一颗骰子出现的点数，电话交换台在一定时间内收到的呼叫次数，随机测量一个人的身高，悬浮在液体中的微粒沿某一方向的位移，灯泡的寿命等，都是随机变量的实例。由于偶然因素影响，随机变量即使在相同的条件下也可能取值不同，故其具有不确定性和随机性。尽管随机变量的具体内容各式各样，但从数学观点来看，它们都表现了同一种情况，就是每个变量都可以随机地取得不同的数值，也就是说，随机变量是定义在样本空间的实值函数。

尽管在实验或者测量之前，我们无法预测到它的数值，但是如果我们重复试验，对随机变量的大样本进行分析发现，随机变量的取值是重复出现的，而且这些取值落在某个范围的概率是一定的，并呈现一定的规律。

离散型随机变量

离散型随机变量在一定区间内取数值有限或可数，比如自然数集 \(\{0,\ 1\}\) 等。若随机变量的取值用 \(x_1,x_2,\cdots\) 表示，事件 \((X=x_i)\) 的概率为 \[p(x_i)=P(X=x_i)\ ,\ i=1,\ 2,\ \cdots \tag{1.1.1}\] 且满足 \[\sum_{i}^{\infty}p(x_i)=1 \tag{1.1.2}\] 函数 \(p(\cdot)\) 为概率质量函数或者频率函数，它描述了 \(X\) 的分布律。若已知概率质量函数，那么 \[F(x)=P(X\leq x)=\sum_{x_i\leq x}p(x_i) \tag{1.1.3}\] \(F(x)\) 称为 \(X\) 的概率分布函数，也称为累积分布函数。离散型随机变量的主要分布有：伯努利分布、二项分布和泊松分布等。

连续型随机变量

连续型随机变量在一定区间内变量取值有无限个，或数值无法一一列举出来，即实现值属于不可数集合，如 \((0,\ 1]\)。连续型随机变量 \(X\) 的累积分布函数为 \[F(x)=\int_{-\infty}^{x}p(t)\,\mathrm{d}t \tag{1.1.4}\]

其中 \(p(x)\) 为概率密度函数。对于任意两个实数 \(x_1\) 和 \(x_2\)（\(x_1<x_2\)），有 \[P\{x_1<X<x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}p(x)\,\mathrm{d}x \tag{1.1.5}\]

\(x\) 取任意指定实数值 \(a\) 的概率 \[P\{X=a\}=\int_{a}^{a}p(x)\,\mathrm{d}x=0 \tag{1.1.6}\] 尽管 \(P\{X=a\}=0\)，但 \(\{X=a\}\) 并不是不可能事件。

常见的连续型随机变量的分布为：均匀分布、指数分布、正态分布、卡方分布和伽马分布等，这些分布的概率密度函数将在 1.3 节中给出。

期望和方差

分布函数能够完整地描述随机变量，但在一些实际问题中，无法得到随机变量的分布，或者不需要去全面考查随机变量的变化情况，而只需要知道随机变量的某些特征，如对某一段距离进行重复量测，人们关心的是量测值的平均值和量测值与平均值的偏离程度，这些数值虽然不能完整地描述随机变量，但能够描述随机变量的统计特征。因此，本节将介绍随机变量常用的数字特征：数学期望、方差以及它们的性质。

期望

数学期望简称期望，又称为均值，它是随机变量最可能出现的数值。对于离散随机变量 \(X\)，数学期望的定义为 \[E(X)=u_X=\sum_{i=1}^{\infty}x_i p(x_i) \tag{1.2.1}\]

对于连续随机变量 \(X\)，数学期望的定义为 \[E(X)=u_X=\int_{-\infty}^{+\infty}xp(x)\,\mathrm{d}x \tag{1.2.2}\]

随机变量的期望由随机变量的概率分布所确定，所以也称 \(E(X)\) 为这一分布的期望。在后面的学习中，我们也用 \(u_X\) 来表示随机变量 \(X\) 的期望。

在实际应用中，对总体进行观察，总体的信息由样本反映出来，我们可以用样本来估计总体均值： \[\overline{X}=\sum_{i=1}^{n}X_i p(X_i) \tag{1.2.3}\] 式中，\(X_i\ (i=1,\ 2,\ \cdots,\ n)\) 为随机变量 \(X\) 的样本。从后面的学习可知，样本均值是总体均值的无偏估计。若将 \(p(X_i)\) 看作对 \(X_i\) 均值估计的权，样本均值就是样本的“加权”平均值。如果 \(X\) 在其值域内每个数值取值概率相等，都为 \(\dfrac{1}{n}\)，式 (1.2.3) 为随机变量 \(X\) 的算术平均值 \[\overline{X}=\frac{1}{n}\sum_{i=1}^{n}X_i \tag{1.2.4}\]

方差

在知道随机变量 \(X\) 的期望后，还需要进一步求得随机变量与其期望的偏离程度，偏离程度小，说明 \(X\) 的数值稳定。随机变量 \(X\) 与它的均值 \(E(X)\) 的偏离程度定义为 \[\mathrm{Var}(X)=E\left[\,(X-E(X)\,)^2\,\right] \tag{1.2.5}\] \(\mathrm{Var}(X)\) 是随机变量 \(X\) 的二阶中心矩，也称 \(\mathrm{Var}(X)\) 为方差，\(\sigma_X=\sqrt{\mathrm{Var}(X)}\) 为中误差。方差表达了随机变量 \(X\) 的取值或者样本与期望的离散程度，它是衡量随机变量 \(X\) 取值是否稳定的一个尺度。

根据方差的定义，对于离散型随机变量 \(X\) 有 \[\mathrm{Var}(X)=\sum_{i=1}^{\infty}\left(x_i-\mu_X\right)^2 p(x_i) \tag{1.2.6}\]

对于连续型随机变量，有 \[\mathrm{Var}(X)=\int_{-\infty}^{+\infty}\left(x-\mu_X\right)^2 p(x)\,\mathrm{d}x \tag{1.2.7}\]

在后面的介绍中，我们也用 \(D(X)\) 来表示随机变量 \(X\) 的方差，即 \(D(X)=\mathrm{Var}(X)\)。

当随机变量 \(X\) 的期望 \(\mu_X\) 已知时，\(X\) 的样本方差为 \[S_X^2=\frac{1}{n}\sum_{i=1}^{n}\left(X_i-\mu_X\right)^2 \tag{1.2.8}\] 当随机变量 \(X\) 的期望 \(\mu_X\) 未知时，\(X\) 的样本方差为 \[S_X^2=\frac{1}{n-1}\sum_{i=1}^{n}\left(x_i-\overline{X}\right)^2 \tag{1.2.9}\]

期望和方差的性质

根据随机变量期望和方差的定义，可以推导得到它们的性质。下面给出在后面的学习中会反复用到的期望和方差的几个重要的性质。

(1) 设 \(C\) 为常数，\(X\) 是随机变量，有 \[E(C)=C\ ,\ D(C)=0 \tag{1.2.10}\] \[E(CX)=CE(X) \tag{1.2.11}\] \[D(CX)=C^2D(X) \tag{1.2.12}\] \[D(X+C)=D(X)\] \[D(X)=E(X^2)-\left[\,E(X)\,\right]^2 \tag{1.2.13}\]

(2) 设 \(X\) 和 \(Y\) 都是随机变量，有 \[E(X+Y)=E(X)+E(Y) \tag{1.2.14}\]

(3) 设 \(X\) 和 \(Y\) 是相互独立的随机变量，有 \[E(XY)=E(X)E(Y) \tag{1.2.15}\] \[D(X+Y)=D(X)+D(Y) \tag{1.2.16}\]

常用的随机变量的分布

本节汇总出几种常用的随机变量的分布和它们各自的期望和方差。对于离散型随机变量，给出伯努利分布、二项分布和泊松分布。对于连续型随机变量，给出了均匀分布、指数分布、正态（高斯）分布、伽马分布和卡方分布。这些随机变量的分布在现实中和理论分析中都有广泛的应用。

多维随机变量

\(n\) 个随机变量 \(X_1,\ X_2,\ \cdots,\ X_n\) 构成的整体称为 \(n\) 维随机变量或者 \(n\) 维随机向量 \(\bm{X}=\left[\begin{array}{llll}X_1 & X_2 & \cdots & X_n\end{array}\right]^{\mathrm{T}}\)，其中 \(X_i\) 为 \(\bm{X}\) 中的第 \(i\) 个分量。多维随机变量的性质不仅与每个随机变量有关，还依赖于随机变量之间的相互关系。下面以二维随机向量为例说明多维随机变量的联合分布、边缘分布和条件分布等相关统计知识。

联合分布

设 \(\left[\begin{array}{ll}X & Y\end{array}\right]^{\mathrm{T}}\) 为二维随机变量，联合分布函数 \(F(x,\ y)\) 为 \[F(x,\ y)=P(X\leq x\ \cap\ Y\leq y) \tag{1.4.1}\]

离散型：\((X\ Y)\) 的分布律为 \[P\{X=x_i,\ Y=y_j\}=p_{ij}\quad (i=1,\ 2,\ \cdots;\ j=1,\ 2,\ \cdots) \tag{1.4.2}\] 其中 \(p_{ij}\) 为 \(X=x_i\)，\(Y=y_j\) 的频率函数。\((X\ Y)\) 的联合分布函数为 \[F(x,\ y)=\sum_{x_i\leq x}\sum_{y_j\leq y}p_{ij} \tag{1.4.3}\]

连续型：\((X\ Y)\) 的联合分布函数为 \[F(x,\ y)=\int_{-\infty}^{y}\int_{-\infty}^{x}p(u,\ v)\,\mathrm{d}u\,\mathrm{d}v \tag{1.4.4}\] 式中 \(p(x,\ y)\) 为 \(\left[\begin{array}{ll}X & Y\end{array}\right]^{\mathrm{T}}\) 的联合概率密度函数。

边缘分布

二维随机向量 \(\left[\begin{array}{ll}X & Y\end{array}\right]^{\mathrm{T}}\) 的边缘分布函数可以由联合分布函数确定，如 \(X\) 的边缘分布为 \[F_X(x)=P(X\leq x)=P(X\leq x,\ Y\leq\infty)=F(x,\ \infty) \tag{1.4.5}\]

离散型：\(X\) 的边缘分布为 \[F_X(x)=P(X\leq x)=\sum_{x_i\leq x}\sum_{j=1}^{\infty}p_{i,j} \tag{1.4.6}\] 记 \[P(X=x_i)=p_{i.}=\sum_{j=1}^{\infty}p_{i,j} \tag{1.4.7}\] 为关于 \(X\) 的边缘分布律。

连续型：\(X\) 的边缘分布为 \[F_X(x)=F(x,\ \infty)=\int_{-\infty}^{x}\left[\,\int_{-\infty}^{\infty}p(x,\ y)\,\mathrm{d}y\right]\mathrm{d}x \tag{1.4.8}\] 其中 \(\displaystyle\int_{-\infty}^{\infty}p(x,\ y)\,\mathrm{d}y\) 为 \(X\) 的边缘概率密度函数，即 \[p_X(x)=\int_{-\infty}^{\infty}p(x,\ y)\,\mathrm{d}y \tag{1.4.9}\]

条件分布

离散型：条件分布指在 \(\{Y=y_j\}\) 已经发生的条件下，\(X=x_i\) 发生的概率，也就是 \[P\{X=x_i\mid Y=y_j\},\ i=1,\ 2,\ \cdots \tag{1.4.10}\] 由条件概率公式可得 \[P\{X=x_i\mid Y=y_j\}=\frac{P\{X=x_i,\ Y=y_j\}}{P_Y\{Y=y_j\}}=\frac{p_{i,j}}{p_{.,j}} \tag{1.4.11}\]

连续型：给定 \(Y\leq y+\varepsilon\)（\(\varepsilon>0\) 且很小）条件下 \(X\) 的条件分布函数和条件概率密度函数分别为 \[F_{X\mid Y}(x\mid y)=P(X\leq x\mid y<Y\leq y+\varepsilon)=\int_{-\infty}^{x}\frac{p(x,\ y)}{p_Y(y)}\,\mathrm{d}x \tag{1.4.12}\] \[p_{X\mid Y}(x\mid y)=\frac{p(x,\ y)}{p_Y(y)} \tag{1.4.13}\]

相互独立的随机变量

连续型：如果 \(X\) 和 \(Y\) 满足 \[F(x,\ y)=F_X(x)F_Y(y) \tag{1.4.14}\] 即 \[p(x,\ y)=p_X(x)p_Y(y) \tag{1.4.15}\] 则称 \(X\) 和 \(Y\) 是随机独立的。

离散型：如果 \(X\) 和 \(Y\) 满足 \[P(X=x_i,\ Y=y_j)=P_X(X=x_i)P_Y(Y=y_j) \tag{1.4.16}\] 则称 \(X\) 和 \(Y\) 是随机独立的。

多维随机变量的特征值

1. 期望

对于 \(n\) 维随机向量 \[\underset{n,1}{\bm{X}}=\left[\begin{array}{llll}\bm{X}_1 & \bm{X}_2 & \cdots & \bm{X}_n\end{array}\right]^{\mathrm{T}} \tag{1.4.17}\] 其期望也为 \(n\) 维向量 \[E(\bm{X})=\bm{\mu}_X=\left[\begin{array}{c}\mu_{X_1}\\ \mu_{X_2}\\ \vdots\\ \mu_{X_n}\end{array}\right] =\left[\begin{array}{c}E(X_1)\\ E(X_2)\\ \vdots\\ E(X_n)\end{array}\right] \tag{1.4.18}\]

2. 协方差

对于随机向量 \(\bm{X}\) 来说，除了给出每个随机变量的期望和方差外，还需要描述出随机变量相互之间的关系，即协方差。随机变量 \(X_i\) 与 \(X_j\) 协方差定义为 \[\sigma_{X_iX_j}=\mathrm{Cov}(X_i,\ X_j)=E\left[\,(X_i-\mu_{X_i})(X_j-\mu_{X_j})\,\right] \tag{1.4.19}\] 进一步，可以得到 \[\mathrm{Cov}(X_1,\ X_2)=E(X_1X_2)-E(X_1)E(X_2) \tag{1.4.20}\] 对于 \(n\) 维随机向量 \(\bm{X}\)，其协方差为 \[\mathrm{Cov}(\bm{X})=E\left[\,(\bm{X}-\bm{\mu}_X)(\bm{X}-\bm{\mu}_X)^{\mathrm{T}}\,\right] =\begin{bmatrix} \sigma_{X_1}^2 & \sigma_{X_1X_2} & \cdots & \sigma_{X_1X_n}\\ & \sigma_{X_2}^2 & \cdots & \sigma_{X_2X_n}\\ \multicolumn{2}{l}{\text{symmetric}} & \ddots & \vdots\\ & & & \sigma_{X_n}^2 \end{bmatrix} \tag{1.4.21}\] 式 (1.4.21) 也称为 \(n\) 维随机向量 \(\bm{X}\) 的协方差矩阵。协方差矩阵为对称的非负定矩阵，其中 \(\sigma_{X_i}^2\) 为随机变量 \(X_i\) 的方差，\(\sigma_{X_iX_j}\) 为 \(X_i\) 与 \(X_j\) 的协方差，且 \(\sigma_{X_iX_j}=\sigma_{X_jX_i}\)。一般情况下，无法得到 \(n\) 维随机变量的分布，或者其分布复杂，因此在实际应用中协方差矩阵就显得尤为重要。

由随机变量 \((X_1,\ X_2)\) 的样本 \(x_{1,i}\) 和 \(x_{2,i}\) 可以计算样本协方差： \[S_{X_1X_2}=\frac{1}{n}\sum_{i=1}^{n}\left(x_{1,i}-\overline{X}_1\right)\left(x_{2,i}-\overline{X}_2\right) \tag{1.4.22}\]

3. 相关系数

方差和协方差是具有功率的量纲，为了消除量纲，作如下处理： \[\rho_{X_iX_j}=\frac{\sigma_{X_iX_j}}{\sigma_{X_i}\sigma_{X_j}} \tag{1.4.23}\] \(\rho_{X_iX_j}\) 即为随机变量 \(X_i\) 与 \(X_j\) 的相关系数，它是表征随机变量 \(X_i\) 与 \(X_j\) 之间线性相关程度的量。相关系数的取值范围为 \[\left|\rho_{X_iX_j}\right|\leq 1 \tag{1.4.24}\] \(\left|\rho_{X_iX_j}\right|\) 越大，\(X_i\) 与 \(X_j\) 的相关性越强，反之相关性越弱。\(\rho_{X_iX_j}\) 为正值时，表明 \(X_i\) 与 \(X_j\) 呈现正相关，即 \(X_i\) 增大，\(X_j\) 也增大；\(\rho_{X_iX_j}\) 为负值时，表明 \(X_i\) 与 \(X_j\) 为负相关，即 \(X_i\) 增大，\(X_j\) 减小。

由样本计算的相关系数为 \[\rho_{X_1X_2}=\frac{S_{X_1X_2}}{\sqrt{S_{X_1}S_{X_2}}} \tag{1.4.25}\] 式中，\(S_{X_1X_2}\) 为 \(X_1\) 和 \(X_2\) 样本协方差，\(S_{X_1}\) 和 \(S_{X_2}\) 分别为 \(X_1\) 和 \(X_2\) 的样本方差。

图 1.1 表示的是随机变量 \(X_1\) 和 \(X_2\) 的样本值。从图中看到，\(X_1\) 与 \(X_2\) 有较强的相关性，并且呈现负相关，由样本计算得到的相关系数为 \(-0.7\)。

若 \(\sigma_{X_iX_j}=0\)，那么相关系数 \(\rho_{X_iX_j}=0\)，则表明随机变量 \(X_i\) 与 \(X_j\) 不相关。这里需要注意的是，随机变量间的相关性和随机独立性是两个不同的概念。随机独立是指随机变量 \(X_i\) 与 \(X_j\) 满足 \[p(x_1,\ x_2)=p_{X_1}(x_1)p_{X_2}(x_2) \tag{1.4.26}\] 若随机变量 \(X_i\) 与 \(X_j\) 随机独立，根据式 (1.2.15) 和式 (1.4.20) 可以得到 \[\sigma_{X_iX_j}=0 \tag{1.4.27}\] 这表明如果随机变量独立，就没有任何关系，自然也不会相关，所以有：

随机变量 \(X_1\) 与 \(X_2\) 相互独立 \(\Rightarrow\) 随机变量 \(X_1\) 与 \(X_2\) 不相关

但是，不相关并不意味着随机变量 \(X_1\) 与 \(X_2\) 相互独立：

随机变量 \(X_1\) 与 \(X_2\) 不相关 \(\nRightarrow\) 随机变量 \(X_1\) 与 \(X_2\) 相互独立

在特殊情况下，如当 \((X_1,\ X_2)\) 服从二维正态分布，随机变量 \(X_1\) 与 \(X_2\) 不相关就有 \(\mathrm{Cov}(X_1,\ X_2)=0\)，可以推导得到 \(p(x_1,\ x_2)=p_{X_1}(x_1)p_{X_2}(x_2)\)，即 \(X_1\) 与 \(X_2\) 随机独立。这意味着当 \((X_1,\ X_2)\) 服从正态分布时，\(X_1\) 与 \(X_2\) 随机独立和 \(X_1\) 与 \(X_2\) 不相关是等价的。

4. 条件期望

条件期望是一个随机变量相对于另一个条件概率分布的期望值，它在估计理论中有重要的应用。设 \(X\) 和 \(Y\) 是随机变量，则 \(X\) 的条件期望在给定事件 \(Y=y\) 条件下 \(Y\)（在 \(Y\) 的值域）的函数。

对于离散型随机变量 \[E(X\mid Y=y_j)=\sum_{i=1}^{\infty}x_i\,p(X=x_i\mid Y=y_j) \tag{1.4.28}\] \[P\{X=x_i\mid Y=y_j\}=\frac{p_{ij}}{p_j},\ j=1,\ 2,\ \cdots \tag{1.4.29}\]

对于连续型随机变量，条件期望是 \[E(X\mid Y=y)=\int_{-\infty}^{\infty}x\,p_{X\mid Y}(x\mid y)\,\mathrm{d}x \tag{1.4.30}\]

条件期望有如下性质：

(1) 若 \(a\leq X\leq b\)，那么 \[a\leq E(X\mid Y=y)\leq b \tag{1.4.31}\]

(2) \(C_1,\ C_2\) 为常数，且 \(E(X_i\mid Y=y)\) 存在，则 \[E(C_1X_1+C_2X_2\mid Y=y)=C_1E(X_1\mid Y=y)+C_2E(X_2\mid Y=y) \tag{1.4.32}\]

(3) \[E\left[\,E(X\mid Y)\,\right]=E(X) \tag{1.4.33}\]

(4) \(X\) 与 \(Y\) 独立，那么 \[E(X\mid Y)=E(X) \tag{1.4.34}\]

(5) \(C\) 为常数，那么 \[E(C\mid X)=C \tag{1.4.35}\]

式 (1.4.33) 也称为重期望公式，这里给出设二维连续随机变量 \((X,\ Y)\) 的重期望公式的证明。

证明：设 \((X,\ Y)\) 的联合密度函数为 \(p(x,\ y)\)，\(E(X\mid Y)\) 是 \(y\) 的函数，记 \(g(y)=E(X\mid Y)\)。由于 \[p(x,\ y)=p_{X\mid Y}(x\mid y)\,p_Y(y) \tag{1.4.36}\] 有 \[\begin{aligned} E(X)&=\int xp_X(x)\,\mathrm{d}x=\iint x\,p(x,\ y)\,\mathrm{d}y\,\mathrm{d}x\\ &=\iint x\,p_{X\mid Y}(x\mid y)\,p_Y(y)\,\mathrm{d}x\,\mathrm{d}y\\ &=\int\left\{\int x\,p_{X\mid Y}(x\mid y)\,\mathrm{d}x\right\}p_Y(y)\,\mathrm{d}y \end{aligned} \tag{1.4.37}\] 其中括号中的积分正是条件期望 \(E(X\mid Y)\)，所以 \[E(X)=\int E(X\mid Y)\,p_Y(y)\,\mathrm{d}y\] 由于 \(E(X\mid Y)\) 是 \(Y\) 的函数，\(p_Y(y)\) 是 \(Y\) 的概率密度函数，所以 \(\displaystyle\int E(X\mid Y)p_Y(y)\,\mathrm{d}y\) 即为 \(E(X\mid Y)\) 的期望，因此得到 \[E(X)=E\left(\,E(X\mid Y)\,\right) \tag{1.4.38}\] 以上是对连续性随机变量条件期望的证明，对离散型随机变量也可以类似证明。

条件期望在理论和实际问题中都有很大用处。在两个互有影响的随机变量 \(X\)、\(Y\) 中，如果已知其中一个随机变量的取值 \(Y=y\)，要据此去估计或预测另一个随机变量 \(X\) 的取值，这样的问题在实际应用中经常会碰到，也被称为“预测问题”。由上述讨论可知，条件数学期望 \(E(X\mid Y)\) 是在已知 \((Y=y)\) 发生的条件下，对 \(X\) 的一个“合理”的预测。

5. 条件方差

若 \(E\left\{\left[\,X-E(X\mid Y)\,\right]^2\mid Y\right\}\) 存在，称之为随机变量 \(X\) 在 \(Y\) 条件下的方差，记为 \(D(X\mid Y)\) \[D(X\mid Y)=E\left\{\left[\,X-E(X\mid Y)\,\right]^2\mid Y\right\} \tag{1.4.39}\]

多维正态分布

正态（高斯）分布在处理实际问题中有广泛的应用，这里以二维正态分布随机变量 \((X,\ Y)\) 来说明多维正态随机变量的联合分布和条件分布。

若 \(\left[\begin{array}{ll}X & Y\end{array}\right]^{\mathrm{T}}\) 服从正态分布，记 \(\bm{Z}=\left[\begin{array}{ll}X & Y\end{array}\right]^{\mathrm{T}}\)，那么 \(X\) 和 \(Y\) 的联合概率密度函数为 \[p(\bm{z})=\frac{1}{(2\pi)^{n/2}\left|\bm{D}_z\right|^{1/2}} \exp\left\{-\frac{1}{2}(\bm{z}-\bm{\mu}_z)^{\mathrm{T}}\bm{D}_z^{-1}(\bm{z}-\bm{\mu}_z)\right\} \tag{1.4.40}\] 式中 \[\bm{\mu}_z=\begin{bmatrix}\mu_X\\ \mu_Y\end{bmatrix}\ ,\quad \bm{D}_z=\begin{bmatrix}\sigma_X^2 & \sigma_{XY}\\ \sigma_{YX} & \sigma_Y^2\end{bmatrix} \tag{1.4.41}\] 式中，\(\sigma_{XY}=\sigma_{YX}\)，是 \(X\) 与 \(Y\) 的协方差。也可以将 \(\bm{Z}\) 的分布记为 \[\bm{Z}\sim N(\bm{\mu}_z,\ \bm{D}_z)\]

若令 \[\rho_{XY}=\frac{\sigma_{XY}}{\sigma_X\sigma_Y} \tag{1.4.42}\] 那么，\(X\) 和 \(Y\) 的联合概率密度函数也可表示为， \[p(x,\ y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\, e^{-\frac{1}{2(1-\rho^2)}\left[\left(\frac{x-\mu_1}{\sigma_1}\right)^2-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\left(\frac{y-\mu_2}{\sigma_2}\right)^2\right]} \tag{1.4.43}\] 图 1.2 为正态随机变量 \(X\) 和 \(Y\) 的联合概率密度函数 \(p(x,\ y)\)；图 1.3 中 \(p_X(x)\) 和 \(p_Y(y)\) 分别为随机变量 \(X\) 和 \(Y\) 的边缘分布，\((X,\ Y)\) 出现在区域 \(\Omega\) 的概率为以区域 \(\Omega\) 为底，\(p(x,\ y)\) 为顶的柱体的体积，即 \(p(x,\ y)\) 在区域 \(\Omega\) 的积分。

式 (1.4.41) 中的 \(\bm{D}_z\) 可分解为 \[\bm{D}_z=\begin{bmatrix}\sigma_X^2 & 0\\ \sigma_{YX} & \widetilde{\sigma}_Y^2\end{bmatrix} \begin{bmatrix}1 & \sigma_X^{-2}\sigma_{XY}\\ 0 & 1\end{bmatrix} =\begin{bmatrix}\widetilde{\sigma}_X^2 & \sigma_{XY}\\ 0 & \sigma_Y^2\end{bmatrix} \begin{bmatrix}1 & 0\\ \sigma_Y^{-2}\sigma_{YX} & 1\end{bmatrix} \tag{1.4.44}\] 其中 \[\begin{cases} \widetilde{\sigma}_X^2=\sigma_X^2-\sigma_{XY}\sigma_Y^{-2}\sigma_{YX}\\ \widetilde{\sigma}_Y^2=\sigma_Y^2-\sigma_{YX}\sigma_X^{-2}\sigma_{XY} \end{cases}\]

将式 (1.4.44) 代入式 (1.4.40)，\(p(\bm{z})\) 也可以表示为 \[\begin{aligned} p(\bm{z})=p(x,\ y)=&(2\pi)^{-1/2}\left|\sigma_X^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(x-\mu_X)^{\mathrm{T}}\sigma_X^{-2}(x-\mu_X)\right\}\\ &\cdot(2\pi)^{-1/2}\left|\widetilde{\sigma}_Y^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(y-\widetilde{\mu}_Y)^{\mathrm{T}}\widetilde{\sigma}_Y^{-2}(y-\widetilde{\mu}_Y)\right\} \end{aligned} \tag{1.4.45}\] 或者表示为 \[\begin{aligned} p(\bm{z})=p(x,\ y)=&(2\pi)^{-1/2}\left|\widetilde{\sigma}_X^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(x-\widetilde{\mu}_X)^{\mathrm{T}}\widetilde{\sigma}_X^{-2}(x-\widetilde{\mu}_X)\right\}\\ &\cdot(2\pi)^{-1/2}\left|\sigma_Y^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(y-\mu_Y)^{\mathrm{T}}\sigma_Y^{-2}(y-\mu_Y)\right\} \end{aligned} \tag{1.4.46}\] 其中 \[\begin{cases} \widetilde{\mu}_X=\mu_X+\sigma_{XY}\sigma_Y^{-2}(y-\mu_Y)\\ \widetilde{\mu}_Y=\mu_Y+\sigma_{YX}\sigma_X^{-2}(x-\mu_X) \end{cases} \tag{1.4.47}\]

在已知 \(X\) 和 \(Y\) 的联合概率密度函数 \(p(x,\ y)\) 的情况下，可以推出 \(X\) 和 \(Y\) 各自的边缘分布 \(p_X(x)\) 和 \(p_Y(y)\)，它们仍然为正态分布 \[p_X(x)=N(\mu_X,\ \sigma_X^2)\\ \tag{1.4.48}\] \[p_Y(y)=N(\mu_Y,\ \sigma_Y^2)\]

又由条件概率密度公式，知 \[\begin{cases} p_{X\mid Y}(x\mid y)=\dfrac{p(x,\ y)}{p_Y(y)}\\[8pt] p_{Y\mid X}(y\mid x)=\dfrac{p(x,\ y)}{p_X(x)} \end{cases} \tag{1.4.49}\]

将式 (1.4.46) 和式 (1.4.48) 代入式 (1.4.49)，可以得到以 \(Y\) 为条件关于 \(X\) 概率密度函数 \[p_{X\mid Y}(x\mid y)=(2\pi)^{-1/2}\left|\widetilde{\sigma}_X^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(x-\widetilde{\mu}_X)^{\mathrm{T}}\widetilde{\sigma}_X^{-2}(x-\widetilde{\mu}_X)\right\} \tag{1.4.50}\]

从上式可以看出，当 \((X\ Y)\) 的联合分布为正态分布时，以 \(Y\) 为条件关于 \(X\) 的分布仍然为正态分布，其中 \(\widetilde{\mu}_X\) 是它的条件期望，\(\widetilde{\sigma}_X^2\) 为其条件方差。同样，也可以得到以 \(X\) 为条件关于 \(Y\) 概率密度函数 \[p_{Y\mid X}(y\mid x)=(2\pi)^{-1/2}\left|\widetilde{\sigma}_Y^2\right|^{-1/2} \exp\left\{-\frac{1}{2}(y-\widetilde{\mu}_Y)^{\mathrm{T}}\widetilde{\sigma}_Y^{-2}(y-\widetilde{\mu}_Y)\right\} \tag{1.4.51}\]

以上是二维随机变量的正态分布，如果将 \((X,\ Y)\) 扩展为更多维，有 \[\underset{(n_1+n_2),1}{\bm{X}}=\left[\begin{array}{c}\underset{n_1,1}{\bm{X}_1}\\ \underset{n_2,1}{\bm{X}_2}\end{array}\right] \tag{1.4.52}\] 随机向量 \(\bm{X}_{n_1\times 1}\) 和随机向量 \(\bm{X}_{n_2\times 1}\) 分别是向量 \(\bm{X}_{(n_1+n_2)\times 1}\) 中的前 \(n_1\) 个分量和后 \(n_2\) 个分量，其期望和协方差为 \[\bm{\mu}=\left[\begin{array}{c}\bm{\mu}_1\\ \bm{\mu}_2\end{array}\right]\ ,\quad \bm{D}_X=\begin{bmatrix}\bm{D}_1 & \bm{D}_{12}\\ \bm{D}_{21} & \bm{D}_{22}\end{bmatrix} \tag{1.4.53}\] 联合概率密度函数为 \[p(\bm{x})=(2\pi)^{-\frac{n_1+n_2}{2}}\left|\bm{D}_X\right|^{-1/2} \exp\left\{-\frac{1}{2}\left[\begin{array}{c}\bm{x}_1-\bm{\mu}_1\\ \bm{x}_2-\bm{\mu}_2\end{array}\right]^{\mathrm{T}} \bm{D}_X^{-1}\left[\begin{array}{c}\bm{x}_1-\bm{\mu}_1\\ \bm{x}_2-\bm{\mu}_2\end{array}\right]\right\} \tag{1.4.54}\]

\(\bm{D}_X\) 可分解为 \[\bm{D}_X=\begin{bmatrix}\bm{D}_1 & 0\\ \bm{D}_{21} & \widetilde{\bm{D}}_2\end{bmatrix} \begin{bmatrix}\bm{I} & \bm{D}_2^{-1}\bm{D}_{12}\\ 0 & \bm{I}\end{bmatrix} =\begin{bmatrix}\widetilde{\bm{D}}_1 & \bm{D}_{12}\\ 0 & \bm{D}_2\end{bmatrix} \begin{bmatrix}\bm{I} & 0\\ \bm{D}_2^{-1}\bm{D}_{21} & \bm{I}\end{bmatrix} \tag{1.4.55}\] 其中， \[\begin{cases} \widetilde{\bm{D}}_1=\bm{D}_1-\bm{D}_{21}\bm{D}_2^{-1}\bm{D}_{21}\\ \widetilde{\bm{D}}_2=\bm{D}_2-\bm{D}_{21}\bm{D}_1^{-1}\bm{D}_{12} \end{cases} \tag{1.4.56}\]

于是，\(\bm{X}\) 的概率密度可表示为 \[\begin{aligned} p(\bm{x})=p(\bm{x}_1,\ \bm{x}_2)=&(2\pi)^{-n_1/2}\left|\bm{D}_1\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_1-\bm{\mu}_1)^{\mathrm{T}}\bm{D}_1^{-1}(\bm{x}_1-\bm{\mu}_1)\right\}\\ &\cdot(2\pi)^{-n_2/2}\left|\widetilde{\bm{D}}_2\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_2-\widetilde{\bm{\mu}}_2)^{\mathrm{T}}\widetilde{\bm{D}}_2^{-1}(\bm{x}_2-\widetilde{\bm{\mu}}_2)\right\} \end{aligned} \tag{1.4.57}\] 或者， \[\begin{aligned} p(\bm{x})=p(\bm{x}_1,\ \bm{x}_2)=&(2\pi)^{-n_1/2}\left|\widetilde{\bm{D}}_1\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_1-\widetilde{\bm{\mu}}_1)^{\mathrm{T}}\widetilde{\bm{D}}_1^{-1}(\bm{x}_1-\widetilde{\bm{\mu}}_1)\right\}\\ &\cdot(2\pi)^{-n_2/2}\left|\bm{D}_2\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_2-\bm{\mu}_2)^{\mathrm{T}}\bm{D}_2^{-1}(\bm{x}_2-\bm{\mu}_2)\right\} \end{aligned} \tag{1.4.58}\] \(\widetilde{\bm{\mu}}_1\) 和 \(\widetilde{\bm{\mu}}_2\) 分别为 \[\begin{cases} \widetilde{\bm{\mu}}_1=\bm{\mu}_1+\bm{D}_{12}\bm{D}_2^{-1}(\bm{x}_2-\bm{\mu}_2)\\ \widetilde{\bm{\mu}}_2=\bm{\mu}_2+\bm{D}_{21}\bm{D}_1^{-1}(\bm{x}_1-\bm{\mu}_1) \end{cases} \tag{1.4.59}\]

同样，可推导得到边缘概率密度 \[p_{X_1}(\bm{x}_1)=(2\pi)^{-n_1/2}\left|\bm{D}_1\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_1-\bm{\mu}_1)^{\mathrm{T}}\bm{D}_1^{-1}(\bm{x}_1-\bm{\mu}_1)\right\} \tag{1.4.60}\] \[p_{X_2}(\bm{x}_2)=(2\pi)^{-n_2/2}\left|\bm{D}_2\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_2-\bm{\mu}_2)^{\mathrm{T}}\bm{D}_2^{-1}(\bm{x}_2-\bm{\mu}_2)\right\} \tag{1.4.61}\]

又由条件概率密度公式 \[p_{X_1\mid X_2}(\bm{x}_1\mid\bm{x}_2)=\frac{p(\bm{x}_1,\ \bm{x}_2)}{p_{X_2}(\bm{x}_2)} \tag{1.4.62}\] 可得到 \(X_2\) 条件下 \(X_1\) 的条件概率密度函数 \[p_{X_1\mid X_2}(\bm{x}_1\mid\bm{x}_2)=(2\pi)^{-n_1/2}\left|\widetilde{\bm{D}}_1\right|^{-1/2} \exp\left\{-\frac{1}{2}(\bm{x}_1-\widetilde{\bm{\mu}}_1)^{\mathrm{T}}\widetilde{\bm{D}}_1^{-1}(\bm{x}_1-\widetilde{\bm{\mu}}_1)\right\} \tag{1.4.63}\]

条件期望和条件方差分别为 \[E(\bm{X}_1\mid\bm{X}_2)=\widetilde{\bm{\mu}}_1=\bm{\mu}_1+\bm{D}_{12}\bm{D}_2^{-1}(\bm{x}_2-\bm{\mu}_2) \tag{1.4.64}\] \[D(\bm{X}_1\mid\bm{X}_2)=\widetilde{\bm{D}}_1=\bm{D}_1-\bm{D}_{21}\bm{D}_2^{-1}\bm{D}_{21} \tag{1.4.65}\] 这里注意到 \(E(\bm{X}_1\mid\bm{X}_2)\) 是 \(\bm{X}_2\) 的函数。同样方法，读者可以自行推导得到 \(p_{X_2\mid X_1}(\bm{x}_2\mid\bm{x}_1)\)，这里不再赘述。

观测误差

为了获得研究对象的信息，我们使用仪器对其进行观测。如果对这个对象进行重复观测，获得的观测值并不总是相同的。这是由于实验仪器灵敏度和分辨能力有局限性，周围环境不稳定，或者观测者感官鉴别能力和技能水平不同等因素造成的。待测量的真值虽然客观存在，但测量结果和被观测对象的真值之间总会存在或多或少的偏差，即 \[X_i=\widetilde{X}+\varepsilon_i,\ (i=1,\ \cdots,\ \ell) \tag{1.5.1}\] 式中，\(\widetilde{X}\) 为真值（常数），\(X_i\) 为观测值，\(\varepsilon_i\) 为观测值与真值之间的偏差，即观测误差。

按照观测误差的性质和特点可将观测误差分为系统误差 \(s\)、粗差 \(f_i\) 和随机误差 \(\Delta_i\) 三大类。观测误差可以表达为 \[\varepsilon_i=s+f_i+\Delta_i \tag{1.5.2}\]

系统误差

系统误差 \(s\) 是指在相同条件下多次测量时，误差的符号和大小保持恒定，并随观测条件规律变化的误差。系统误差的大小可以归结为某一个因素或几个因素的函数。如在 GNSS 导航时，电离层延迟造成的测距误差与大气层中电子密度有关，可以表达为电子密度的函数。掌握系统误差产生的规律，可以通过采取一定的技术措施，设法消除或减弱它。如电离层延迟系统误差可以通过经验公式对其进行补偿，也可以通过多频观测值的组合将其消去。如果无法补偿系统误差，也可以将其作为未知参数与其他未知参数一并估计。这时，系统误差参数在估计中起到了吸收系统误差的作用，使其他参数估计不受系统误差的影响。

粗差

粗差是指在一定的测量条件下，测量结果明显偏离了真值。读数错误、测量方法错误、测量仪器有严重缺陷等原因，都会导致产生粗差。粗差明显地歪曲了测量结果，所以，对应于粗差的测量结果被称为异常数据或“坏值”，应该予以剔除。在观测时，一般需要进行多余观测，通过增加冗余度（自由度）来“抵抗”粗差的影响，进而对粗差进行识别并予以剔除。此外，粗差在观测时是可以避免的。

随机误差

随机误差指在相同条件下，多次测量同一对象时，误差的绝对值和符号以不可预测的方式变化，表现出偶然性，所以随机误差也称为偶然误差。例如热躁动、噪声干扰、电磁场的微变、空气扰动、大地微振等都可以造成随机误差。在 GNSS 测量中，接收机的噪声和对测距码或者相位的分辨干扰都导致了观测值的随机误差。随机误差没有规律，不可预测，不能控制，也不能用实验的方法加以消除，也就是说随机误差是不可避免客观存在的。对某物体的方位角观测和 GPS 接收机观测得到的 GPS 卫星与接收机之间的距离等，都是受随机误差干扰的观测值，所以每一个观测值都是随机变量。

虽然随机误差个体的数值是不能预知的，但从大样本分析来看，具有统计规律性。高斯（Carl Friedrich Gauss，1777—1855 年）给出了偶然误差具有的特性：

(1) 大小性：绝对值小的误差出现的概率比绝对值大的误差出现的概率大。

(2) 对称性：绝对值相等的正误差和负误差出现的概率相等。

(3) 有界性：绝对值很大的误差出现的概率近于零。误差的绝对值不会超过某一个界限。

(4) 抵偿性：在一定测量条件下，测量值误差的算术平均值随着测量次数的增加而趋于零。

基于以上性质，高斯推导得到了随机误差的分布，即我们现在常用的高斯分布 \(\Delta\sim N(0,\ \sigma_\Delta^2)\)。对于服从正态分布的随机误差来说，无论其方差为何值，它在一定区间内出现的概率是不变的，即 \[P(-m\sigma_\Delta<\Delta<m\sigma_\Delta)=\frac{1}{\sqrt{2\pi}\sigma_\Delta} \int_{-m\sigma_\Delta}^{m\sigma_\Delta}\exp\left\{-\frac{1}{2\sigma_\Delta^2}\Delta^2\right\}\mathrm{d}\Delta \tag{1.5.3}\] 式中的 \(m\) 为非负数。当 \(m\) 分别为 1、2 和 3 时，观测值在 \((m\sigma_X,\ -m\sigma_X)\) 出现的概率为 \[\left.\begin{aligned} P(-\sigma_\Delta<\Delta<\sigma_\Delta)&\approx 68.3\%\\ P(-2\sigma_\Delta<\Delta<2\sigma_\Delta)&\approx 95.5\%\\ P(-3\sigma_\Delta<\Delta<3\sigma_\Delta)&\approx 99.7\% \end{aligned}\right\} \tag{1.5.4}\] 式 (1.5.4) 给出了偶然误差在一定置信区间的置信度，如：第二式表明随机误差在 2 倍标准差范围内出现的概率为 95.5%，超出此范围的概率仅为 4.5%，如果某个观测值在其均值和 2 倍标准差决定的置信区间外，可将此观测值视为异常观测值（粗差观测值）。因此在工程中，常将 \(2\sigma\) 或者 \(3\sigma\) 作为剔除异常观测值的门限值。

精度与准确度

如果观测值只受到了随机误差的干扰，那么 \[X_i=\widetilde{X}+\Delta_i\quad (i=1,\ 2,\ \cdots,\ \ell) \tag{1.5.5}\] 有 \[E(X_i)=\widetilde{X} \tag{1.5.6}\] 将式 (1.5.5) 和式 (1.5.6) 代入方差的定义式 \[\mathrm{Var}(X_i)=E\left[\,(X_i-E(X_i))^2\,\right] \tag{1.5.7}\] 得到 \[\sigma_X^2=\sigma_\Delta^2 \tag{1.5.8}\]

但是当观测值不仅受到偶然误差的干扰，还有系统误差影响时，有 \[X_i=\widetilde{X}+\Delta_i+s\quad (i=1,\ 2,\ \cdots,\ \ell) \tag{1.5.9}\] 这时，观测值的期望为 \[E(X_i)=\widetilde{X}+s \tag{1.5.10}\] 将式 (1.5.9) 和式 (1.5.10) 代入式 (1.5.7)，有 \[\sigma_X^2=\sigma_\Delta^2 \tag{1.5.11}\]

从上面的分析看出，方差仅能描述出观测值与其期望的离散程度，并不能反映出观测值是否受到系统误差的影响。我们把观测值与期望的离散程度称为精度（Precision）。精度差 \(\sigma_X^2\) 越大，观测值围绕期望 \(E(X_i)\) 的波动越大；反之，\(\sigma_X^2\) 越小，观测值与期望的差异小，观测值的精度越高。

为了反映出观测值是否受到系统误差的影响，我们引入均方差（Mean Square Error，MSE） \[\mathrm{MSE}(X)=E\left[\,(X-\widetilde{X})^2\,\right] \tag{1.5.12}\] 与方差比较，MSE 描述的是观测值与真值（参考值）之间的差异，它反映的是观测值的准确度（Accuracy），能更加全面地评价观测值质量的好坏。\(\sqrt{\mathrm{MSE}}\) 即为 RMS（Root Of Mean Square）。可以证明 \(\mathrm{MSE}(X)\) 与 \(\sigma_X^2\) 的关系为 \[\mathrm{MSE}(X)=\sigma_X^2+\left(E(X)-\widetilde{X}\right)^2=\sigma_X^2+s^2 \tag{1.5.13}\]

从方差和均方差的定义来看，方差描述的是随机变量（或观测值）与期望的离散程度，而期望可以通过观测值自身来估计，所以方差量化的是“内符合精度”。均方差描述的是随机变量与参考值之间的离散程度，是随机变量与其无关的已知量比较，所以均方差描述的是“外符合精度”。只有在已知参考值的情况下，才能得到外符合精度，例如：已知 IGS 测站的坐标 \(\widetilde{X}\)，将其作为参考值，用估计的 IGS 站坐标 \(X\) 与已知坐标 \(\widetilde{X}\) 比较计算其样本方差，即可得到均方差。

误差传播定律

在实际应用中，需要研究的对象 \(Z\) 往往无法直接测量得到，但它可以表达为观测量 \(X\) 的函数，如果已知随机变量（观测量）\(X\) 的期望和方差，我们可以推导得到随机变量函数 \(Z\) 的期望和方差。

设有随机变量 \(\bm{X}_{n\times 1}=\left[\begin{array}{llll}X_1 & X_2 & \cdots & X_n\end{array}\right]^{\mathrm{T}}\)，\(\bm{X}\) 的期望和方差分别为 \[E(\bm{X})=\bm{\mu}_X=\left[\begin{array}{c}\mu_{X_1}\\ \vdots\\ \mu_{X_n}\end{array}\right]\ ,\quad \mathrm{Cov}(\bm{X})=\bm{D}_X=\begin{bmatrix} \sigma_{x_1}^2 & \sigma_{x_1x_2} & \cdots & \sigma_{x_1x_n}\\ & \sigma_{x_2}^2 & \cdots & \sigma_{x_2x_n}\\ \multicolumn{2}{l}{\text{symmetric}} & \ddots & \vdots\\ & & & \sigma_{x_n}^2 \end{bmatrix} \tag{1.5.14}\] \(Z\) 可以表达为随机变量 \(\bm{X}\) 的函数 \[Z=f(X_1,\ X_2,\ \cdots,\ X_n) \tag{1.5.15}\] \(Z\) 可为随机变量 \(\bm{X}\) 的线性函数，也可以为一般函数。下面我们首先从线性函数开始，推导已知 \(X\) 的期望和方差求函数 \(Z\) 的期望、方差和协方差，然后再扩展到一般函数的情况。

1. 随机变量线性函数的数学期望和方差

设有线性函数 \[Z=k_1X_1+k_2X_2+\cdots+k_nX_n+k_0 \tag{1.5.16}\] 设 \[\bm{K}=\left(\begin{array}{llll}k_1 & k_2 & \cdots & k_n\end{array}\right) \tag{1.5.17}\] 那么，式 (1.5.16) 可表示为 \[Z=\bm{K}\bm{X}+k_0 \tag{1.5.18}\] 由期望的定义和性质，可得到随机变量 \(Z\) 的期望 \[E(Z)=E(\bm{K}\bm{X}+k_0)=\bm{K}E(\bm{X})+k_0=\bm{K}\bm{\mu}_X+k_0 \tag{1.5.19}\] \(Z\) 的方差为 \[D_Z=\sigma_Z^2=E\left[\,(Z-E(Z))(Z-E(Z))^{\mathrm{T}}\,\right] \tag{1.5.20}\] 将式 (1.5.18) 代入上式得到 \[\begin{aligned} D_Z=\sigma_Z^2&=E\left[\,(\bm{K}\bm{X}-\bm{K}\bm{\mu}_X)(\bm{K}\bm{X}-\bm{K}\bm{\mu}_X)^{\mathrm{T}}\,\right]\\ &=E\left[\,\bm{K}(\bm{X}-\bm{\mu}_X)(\bm{X}-\bm{\mu}_X)^{\mathrm{T}}\bm{K}^{\mathrm{T}}\,\right]\\ &=\bm{K}E\left[\,(\bm{X}-\bm{\mu}_X)(\bm{X}-\bm{\mu}_X)^{\mathrm{T}}\,\right]\bm{K}^{\mathrm{T}} \end{aligned} \tag{1.5.21}\] 所以，随机变量 \(Z\) 的方差为 \[\sigma_Z^2=\bm{K}\bm{D}_X\bm{K}^{\mathrm{T}} \tag{1.5.22}\] 已知随机变量的方差，求得随机变量函数的方差也称为误差传播定律。

现将 \(\bm{K}\) 和 \(\bm{D}_X\) 代入式 (1.5.22)，展开后得到 \[D_Z=\sigma_Z^2=k_1^2\sigma_1^2+k_2^2\sigma_2^2+\cdots+k_n^2\sigma_n^2+2k_1k_2\sigma_{12}+2k_1k_3\sigma_{13}+\cdots \tag{1.5.23}\] 若随机向量 \(\bm{X}\) 中的元素相互独立，那么，有 \(\sigma_{x_ix_j}=0\)，\(i\neq j\)，这时矩阵 \(\bm{D}_X\) 为对角矩阵，式 (1.5.23) 即为 \[D_Z=\sigma_Z^2=k_1^2\sigma_1^2+k_2^2\sigma_2^2+\cdots+k_n^2\sigma_n^2 \tag{1.5.24}\]

2. 随机变量线性函数的协方差

若有另一个研究对象 \(Y\) 也是同一组随机变量 \(\bm{X}\) 的函数 \[Y=g_1X_1+g_2X_2+\cdots+g_nX_n+g_0 \tag{1.5.25}\] 令 \(\bm{G}=\left(\begin{array}{llll}g_1 & g_2 & \cdots & g_n\end{array}\right)\)，式 (1.5.25) 可以表示为： \[Y=\bm{G}\bm{X}+g_0 \tag{1.5.26}\] \(Y\) 的期望为 \[E(Y)=\bm{G}E(\bm{X})+g_0=\bm{G}\bm{\mu}_X+g_0 \tag{1.5.27}\] 由于随机变量 \(Y\) 与随机变量 \(Z\) 是同一组随机变量 \(\bm{X}\) 的函数，\(Y\) 与 \(Z\) 之间必然存在着相关关系。由协方差的定义可求得 \[\mathrm{Cov}(Z,\ Y)=\sigma_{ZY}=E\left[\,(Z-\mu_Z)(Y-\mu_Y)^{\mathrm{T}}\,\right] \tag{1.5.28}\] 将式 (1.5.18)、(1.5.19)、(1.5.26) 和 (1.5.27) 代入上式，可以得到 \[\sigma_{ZY}=\bm{K}\bm{D}_X\bm{G}^{\mathrm{T}} \tag{1.5.29}\] 式 (1.5.29) 即为随机变量 \(Y\) 与随机变量 \(Z\) 的协方差。在得到协方差后，进而可以求得 \(Y\) 与 \(Z\) 的相关系数。

3. 随机变量非线性函数的数学期望和方差

在实际应用中，很多研究对象是观测值的非线性函数。这时，需要先将非线性函数通过泰勒级数展开，然后舍弃高阶项得到函数 \(Z\) 与观测值 \(X\) 的线性函数形式，从而实现误差的传递。

首先，给随机变量 \(\bm{X}\) 赋以近似值： \[\bm{X}^{*}=\left[\begin{array}{llll}X_1^{*}, & X_2^{*}, & \cdots, & X_n^{*}\end{array}\right]^{\mathrm{T}} \tag{1.5.30}\] 将函数 \(Z\) 在 \(\bm{X}^{*}\) 处展开为泰勒级数 \[\begin{aligned} Z=f(X_1^{*}X_2^{*}\cdots X_n^{*}) &+\left(\frac{\partial f}{\partial X_1}\right)_{*}(X_1-X_1^{*}) +\left(\frac{\partial f}{\partial X_2}\right)_{*}(X_2-X_2^{*})+\cdots\\ &+\left(\frac{\partial f}{\partial X_n}\right)_{*}(X_n-X_n^{*})+O(X-X^{*}) \end{aligned} \tag{1.5.31}\] 其中 \(\left(\dfrac{\partial f}{\partial X_i}\right)_{*}\) 为函数 \(f(\cdot)\) 的一阶导数，并且代入近似值 \(\bm{X}^{*}\) 计算得到。\(O(X-X^{*})\) 为 \((X-X^{*})\) 的二阶项和高阶项。\(X\) 与 \(X^{*}\) 的数值差异越小，其二阶项和高阶项就越小，因此可以将二阶项和高阶项忽略，这样函数 \(Z\) 可表达为： \[Z=\left(\frac{\partial f}{\partial X_1}\right)_{*}X_1+\left(\frac{\partial f}{\partial X_2}\right)_{*}X_2+\cdots+\left(\frac{\partial f}{\partial X_n}\right)_{*}X_n +f(X_1^{*}\ X_2^{*}\ \cdots\ X_n^{*})-\sum_{i=1}^{n}\left(\frac{\partial f}{\partial X_i}\right)_{*}X_i^{*} \tag{1.5.32}\] 令： \[\bm{K}=\left[\begin{array}{llll}k_1 & k_2 & \cdots & k_n\end{array}\right] =\left[\begin{array}{llll}\left(\dfrac{\partial f}{\partial X_1}\right)_{*} & \left(\dfrac{\partial f}{\partial X_2}\right)_{*} & \cdots & \left(\dfrac{\partial f}{\partial X_n}\right)_{*}\end{array}\right] \tag{1.5.33}\] 和 \[k_{*}=f(X_1^{*}\ X_2^{*}\ \cdots\ X_n^{*})-\sum_{i=1}^{n}\left(\frac{\partial f}{\partial X_i}\right)_{*}X_i^{*} \tag{1.5.34}\] 那么，函数 \(Z\) 即为： \[Z=k_1X_1+k_2X_2+\cdots+k_nX_n+k_{*} \tag{1.5.35}\]

这样非线性函数 \(Z\) 就转化为了线性函数，这个过程称为非线性函数的线性化。

式 (1.5.35) 与式 (1.5.18) 形式上完全一致，因此可由式 (1.5.22) 求得随机函数 \(Z\) 的方差。

从以上的推导可以看出，在求非线性函数 \(Z\) 的方差时，只需要求得函数 \(Z\) 在 \(\bm{X}^{*}\) 处的一阶偏导数 \(k_i\ (i=1,\ 2,\ \cdots,\ n)\)，所以在应用时，可以跳过泰勒级数的展开步骤，直接来求函数 \(Z\) 的全微分： \[\mathrm{d}Z=\left(\frac{\partial f}{\partial X_1}\right)_{*}\mathrm{d}X_1+\left(\frac{\partial f}{\partial X_2}\right)_{*}\mathrm{d}X_2 +\cdots+\left(\frac{\partial f}{\partial X_n}\right)_{*}\mathrm{d}X_n=\bm{K}\mathrm{d}\bm{X} \tag{1.5.36}\] 在得到矩阵 \(\bm{K}\)，即一阶的雅克比矩阵后，就可以利用式 (1.5.22) 得到非线性随机函数 \(Z\) 的方差。

观察以上推导和式 (1.5.15) 可以看出，随机变量 \(\bm{X}\) 的微小变化和不确定性，引起了函数 \(Z\) 不确定性，通过误差传播定律量化出了函数 \(Z\) 的不确定性。

另外，若有另一个非线性函数 \(Y\)，同样可以得到 \(Y\) 的一阶雅各比矩阵，利用式 (1.5.29) 即可求得 \(Z\) 与 \(Y\) 的协方差。

例 1.1设随机变量 \(X_1,\ X_2,\ X_3\) 的协方差阵为 \[\bm{D}_X=\begin{bmatrix}3.4 & -2 & 1\\ -2 & 4 & 0.6\\ 1 & 0.6 & 5\end{bmatrix}\] 现有函数 \[Y_1=3X_1+X_3\ ;\quad Y_2=X_2-X_3\] 求 \(Y_1\) 和 \(Y_2\) 各自的方差和它们的协方差。

解：已知随机变量的协方差阵 \[\bm{D}_X=\begin{bmatrix}\sigma_{x_1}^2 & \sigma_{x_1x_2} & \sigma_{x_1x_3}\\ \sigma_{x_2x_1} & \sigma_{x_2}^2 & \sigma_{x_2x_3}\\ \sigma_{x_3x_1} & \sigma_{x_3x_2} & \sigma_{x_3}^2\end{bmatrix} =\begin{bmatrix}3.4 & -2 & 1\\ -2 & 4 & 0.6\\ 1 & 0.6 & 5\end{bmatrix}\] 和 \[Y_1=3X_1+X_3\ ;\quad Y_2=X_2-X_3\] 所以有 \[\begin{bmatrix}Y_1\\ Y_2\end{bmatrix}=\begin{bmatrix}3 & 0 & 1\\ 0 & 1 & -1\end{bmatrix} \begin{bmatrix}X_1\\ X_2\\ X_3\end{bmatrix}\] 利用误差传播定律得到 \[\begin{aligned} D_{Y_1}&=\begin{bmatrix}3 & 0 & 1\end{bmatrix}\bm{D}_X\begin{bmatrix}3 & 0 & 1\end{bmatrix}^{\mathrm{T}}=41.6\\ D_{Y_2}&=\begin{bmatrix}0 & 1 & -1\end{bmatrix}\bm{D}_X\begin{bmatrix}0 & 1 & -1\end{bmatrix}^{\mathrm{T}}=7.8\\ D_{Y_1Y_2}&=\begin{bmatrix}3 & 0 & 1\end{bmatrix}\bm{D}_X\begin{bmatrix}0 & 1 & -1\end{bmatrix}^{\mathrm{T}}=-13.4 \end{aligned}\]

例 1.2假设轮船起始位置 \(A\) 的坐标为 \((1000.0,\ 1000.0)\,\mathrm{m}\)，观测到轮船前进方向的坐标方位角为 \(30^{\circ}00'\pm 1'\)，轮船行驶的速度为 \(50.0\,\mathrm{km/h}\pm 300\,\mathrm{m/h}\)。求以这个方向行驶 10 分钟后轮船的坐标、坐标中误差和点位中误差。

解：根据航位推算，10 分钟后，船体所在位置为 \[\begin{cases} x_u=x_A+v\times t\times\cos\theta\\ y_u=y_A+v\times t\times\sin\theta \end{cases} \tag{1.5.37}\] 将已知点坐标和 \(v=50000\,\mathrm{m/h}\)，\(t=\dfrac{1}{6}\,\mathrm{h}\)，\(\theta=30^{\circ}\) 代入上式 \[\begin{cases} x_u=1000+50000\times\dfrac{1}{6}\times\cos 30^{\circ}=8216.9\,\mathrm{m}\\[8pt] y_u=1000+50000\times\dfrac{1}{6}\times\sin 30^{\circ}=5166.7\,\mathrm{m} \end{cases}\] 由于观测量 \(v\) 和 \(\theta\) 有误差，导致了推算得到的点位 \(u\) 与实际点位 \(u'\) 的差异，如图 1.4 所示，这个差异也称为点位误差。将这个点位误差投影到 \(x\) 和 \(y\) 方向为 \[\begin{cases} \mathrm{d}x_u=t\cos\theta\,\mathrm{d}v-vt\sin\theta\,\mathrm{d}\theta\\ \mathrm{d}y_u=t\sin\theta\,\mathrm{d}v+vt\cos\theta\,\mathrm{d}\theta \end{cases}\]

根据误差传播率，并将 \(\sigma_v^2=(300\,\mathrm{m/h})^2\) 和 \(\sigma_\theta'^2=(1')^2\) 代入，有 \[\begin{aligned} \sigma_{y_u}^2&=(t\cdot\sin\theta)^2\sigma_v^2+(vt\cos\theta)^2\left(\frac{\sigma_\theta'}{3437'}\right)^2=629.41\,\mathrm{m}^2\ ,\ \sigma_{y_u}=25.1\,\mathrm{m}\\ \sigma_{x_u}^2&=(t\cdot\cos\theta)^2\sigma_v^2+(-vt\sin\theta)^2\left(\frac{\sigma_\theta'}{3437'}\right)^2=1876.47\,\mathrm{m}^2\ ,\ \sigma_{x_u}=43.3\,\mathrm{m} \end{aligned}\] 在上面的计算中，要注意的是 \(\sigma_\theta'\) 的单位为“分”，需要将其换算为弧度（Radian）：\(1\,\mathrm{rad}=3437'\)。船体的点位误差为 \[\mathrm{d}P_u=\sqrt{\mathrm{d}x_u^2+\mathrm{d}y_u^2}\] 点位中误差为 \[\sigma_{P_u}=\sqrt{\sigma_{x_u}^2+\sigma_{y_u}^2}=50.0\,\mathrm{m}\] 由于航向误差和航行时候的速度误差，导致在 10 分钟后的航位推算有 \(50.0\,\mathrm{m}\) 的点位中误差。

随机过程的概念

自然界变化的过程通常可以分为两大类，确定过程和随机过程。如果每次试验（观测）所得到的过程都相同，且都是时间 \(t\) 的一个确定函数，且有确定的变化规律，那么这样的过程就是确定过程，如自由落体过程。反之，如果每次试验所得到的观测过程都不同，是时间 \(t\) 的不同函数，实验前又不能预知这次试验会出现什么样的结果，这样的过程称为随机过程。对连续时间的随机过程进行采样得到的序列称为离散时间随机过程，也称为随机序列。下面通过几个例子来说明什么是随机过程。

有信号 \[X(t,\ \Phi)=A\cos(\omega_0 t+\Phi) \tag{1.6.1}\] 其中 \(A\) 和 \(\omega_0\) 为常数，\(\Phi\) 为 \((-\pi,\ \pi)\) 上均匀分布的随机变量。由于起始相位 \(\Phi\) 是一个在 \((-\pi,\ \pi)\) 内连续取值的均匀分布随机变量，在观测信号 \(X(t,\ \Phi)\) 之前，并不能预知 \(\Phi\) 究竟取何值，因此，我们也不能预知 \(X(t)\) 究竟取哪个样本，所以这是一个随机过程。对于任意一个 \(\varphi_i\ (-\pi<\varphi_i<\pi)\)，对应一个确定的函数式 \[x(t,\ \varphi_i)=A\cos(\omega_0 t+\varphi_i) \tag{1.6.2}\] \(x(t,\ \varphi_i)\) 是对应于 \(\varphi_i\) 的一个样本函数，\(\varphi_i\) 不同，对应的 \(x(t,\ \varphi_i)\) 也不同，所以随机相位信号实际上是一族不同的时间序列 \(\{x(n,\ \varphi_i)=A\cos(\omega_0 n+\varphi_i)\}\)。图 1.5 给出 \(\Phi\) 取不同值的四组样本。为了更好地理解随机过程，可以将图中四组样本想象为由四个正弦信号发生器同时产生的相位信号，每一个信号发生器产生的信号都不同于其他信号发生器产生的信号，这是由于 \(\Phi\) 是随机变量，\(X(t,\ \Phi)\) 就是一个随机函数。从时间上来看，在某一个时间点 \(t_i\) 处，\(X(t_i)\) 有不同的取值，\(X(t_i)\) 的取值是随机的，所以 \(X(t_i)\) 就是一个随机变量。

以上的随机信号有固定的波形，这样的随机过程称为确定性的随机过程。而有些随机过程是不可预测的非确定性的随机过程，如接收机输出的电压，假定在接收机输入端没有信号，但由于接收机内部元件如电阻、晶体管等会发热产生热噪声，经过放大后，也会有电压输出，如图 1.6 所示。假如对多台相同的示波器同时进行观测，那么第一台示波器观测到的条波形为 \(x_1(t)\)，第二台示波器观测到的条波形为 \(x_2(t)\)，而第三次观测中记录的是 \(x_3(t)\)，…，记录到的波形都各不相同，而在观测中究竟会记录到一条什么样的波形，事先不能预知。另外，对应固定的某个时刻 \(t_1\)，\(x_1(t_1)\)，\(x_2(t_1)\)，…取值各不相同，也就是说，\(X(t_1)\) 的可能取值是 \(x_1(t_1)\)，\(x_2(t_1)\)，…之一，在 \(t_1\) 时刻究竟哪个值是不能预知的，故 \(X(t_1)\) 是一个随机变量。由所有可能的结果 \(x_1(t)\)，\(x_2(t)\)，\(x_3(t)\)，…构成了随机过程 \(X(t)\)。

在后面的学习中，我们用 \(X(t)\) 表示随机过程，用 \(x(t)\) 表示样本函数，将时间点 \(t_i\) 处的随机变量 \(X(t_i)\) 称为随机过程 \(X(t)\) 在 \(t=t_i\) 的状态。当状态和时间都连续时，称为连续型随机过程，图 1.5 和图 1.6 都是连续型随机过程。当状态和时间都是离散的，称为离散的随机过程，如贝努利过程，我们用 \(X(n)\) 来表示离散的随机过程。无论对连续随机过程还是对离散随机过程进行抽样观察，只能得到一些离散值，这样的离散值称为随机序列，如图 1.5 中的正弦随机信号的观测值就是离散的随机序列 \(X(t_i)\)。

为了认识随机过程，用实验方法观测样本函数，观测次数越多，所得到的样本数目亦越多，也就越能掌握这个过程的统计规律。在对随机过程进行描述时，把随机过程看作多维随机变量的推广，对于不同时刻 \(t_1,\ t_2,\ \cdots,\ t_i,\ \cdots\) 的 \(X(t)\) 对应于不同的随机变量 \(X(t_1),\ X(t_2),\ \cdots,\ X(t_i),\ \cdots\)。可见也可以将 \(X(t)\) 看作为一族随时间而变化的随机变量。对随机过程进行描述时，过程的时间分割越细，维数越多，对过程的统计描述也越全面。

随机过程的统计描述

尽管随机过程的变化过程是不确定的，但这不确定的变化过程中仍包含有规律性的因素，这种规律性从大量的样本经统计后呈现出来，也就是说，随机过程是存在某些统计规律的，这些统计规律由概率分布（密度）函数和数字特征来描述。

随机过程的概率分布

随机过程实际上是一组随时间变化的随机变量，因此我们可以用多维随机变量的理论来描述随机过程的统计特性。

1. 随机过程的一维概率分布

对于某个特定的时刻 \(t\)，\(X(t)\) 是一个随机变量，设 \(x\) 为任意实数，我们定义 \[F_X(x,\ t)=P\{X(t)\leq x\} \tag{1.7.1}\] 为 \(X(t)\) 的一维分布。很显然，由于对不同的时刻 \(t\)，随机变量 \(X(t)\) 是不同的，因而相应的也有不同的分布函数，因此，随机过程的一维分布不仅是实数 \(x\) 的函数，而且也是时间 \(t\) 的函数。

如果 \(F_X(x,\ t)\) 的一阶导数存在，则定义 \[p_X(x,\ t)=\frac{\partial F_X(x,\ t)}{\partial x} \tag{1.7.2}\] 为随机过程 \(X(t)\) 的一维概率密度函数。如果我们知道了随机过程的一维概率密度，那么我们也就知道了随机过程在任意时刻上随机变量的概率密度。

随机过程的一维分布具有普通随机变量分布的性质，如 \[0\leq F_X(x,\ t)\leq 1\ ,\quad F_X(-\infty,\ t)=0\ ,\quad F_X(+\infty,\ t)=1 \tag{1.7.3}\] \[F_X(x,\ t)=\int_{-\infty}^{x}p(x,\ t)\,\mathrm{d}x\ ,\quad \int_{-\infty}^{+\infty}p(x,\ t)\,\mathrm{d}x=1 \tag{1.7.4}\] 对于随机序列 \(X(n)\)，它的分布函数定义为 \[F_X(x,\ n)=P\{X(n)\leq x\} \tag{1.7.5}\] 如果 \(F_X(x,\ n)\) 的一阶导数存在，则定义 \[p_X(x,\ n)=\frac{\partial F_X(x,\ n)}{\partial x} \tag{1.7.6}\] 为随机过程 \(X(n)\) 的一维分布律。

例 1.3设随机振幅信号 \[Y(t)=X\cos\omega_0 t\] 其中 \(\omega_0\) 是常数，\(X\) 是均值为零，方差为 \(1\) 的正态随机变量，即 \(p_X(x)=\dfrac{1}{\sqrt{2\pi}}\exp\left\{-\dfrac{x^2}{2}\right\}\)，求 \(t=0\)，\(\dfrac{2\pi}{3\omega_0}\)，\(\dfrac{\pi}{2\omega_0}\) 时 \(Y(t)\) 的概率密度函数，以及任意时刻 \(t\) 的 \(Y(t)\) 的一维概率密度函数。

解：当 \(t=0\) 时，\(Y(0)=X\)，由于 \(X\) 是均值为零，方差为 \(1\) 的正态随机变量，所以 \[p_Y(y,\ 0)=\frac{1}{\sqrt{2\pi}}e^{-\frac{y^2}{2}}\] 当 \(t=\dfrac{2\pi}{3\omega_0}\) 时， \[Y\left(\frac{2\pi}{3\omega_0}\right)=-\frac{1}{2}X\] 在 \(t=\dfrac{2\pi}{3\omega_0}\) 时，有 \(X=-2Y\)，根据概率论与数理统计知识，\(Y\) 的概率密度函数为 \[p_Y\left(y,\ \frac{2\pi}{3\omega_0}\right)=p_X(-2y)\left|(-2y)'\right|=\sqrt{\frac{2}{\pi}}e^{-2y^2}\] 当 \(t=\dfrac{\pi}{2\omega_0}\) 时， \[Y\left(\frac{\pi}{2\omega_0}\right)=0\] 这表示，当 \(t=\dfrac{\pi}{2\omega_0}\) 时，\(Y\) 为常数 \(0\)，这表示 \(Y\) 在零以外的取值的可能性为零，它的概率密度函数用狄拉克 \(\delta\) 函数（Dirac Delta Function）来描述 \[f_Y\left(y,\ \frac{\pi}{2\omega_0}\right)=\delta(y-0)\] 狄拉克 \(\delta\) 函数定义为 \[\delta(y-c)=\begin{cases}+\infty, & y=c\\ 0, & y\neq c\end{cases} \tag{1.7.7}\] 且 \[\int_{-\infty}^{\infty}\delta(y-c)\,\mathrm{d}y=1 \tag{1.7.8}\] 它表示 \(Y\) 除了 \(c\) 以外的取值可能性为零，而且在整个定义域上的积分为 \(1\)，如图 1.7 所示。狄拉克函数 \(\delta(\cdot)\) 通常在物理学中表示质点、点电荷、瞬时力等不是连续分布于空间或时间中，而是集中在空间的某一点或时间的某一瞬时物理量。严格来说，\(\delta(\cdot)\) 不能算是一个函数，因为满足以上条件的函数是不存在的。在数学上，人们为这类函数引入了广义函数的概念。在广义函数的理论中，没有给出函数与自变量之间的对应关系。在实际应用中，\(\delta(\cdot)\) 函数总是伴随着积分一起出现，也就是只有在积分运算中才有意义。

通过对随机振幅信号的分析可以看出，对于不同的时间 \(t\)，\(Y(t)\) 的分布是不同的。下面给出当时间 \(t\) 为任意时刻的 \(Y(t)\) 的概率密度函数。

当 \(\cos\omega_0 t\neq 0\)，则 \[X=g(y,\ t)=\frac{1}{\cos\omega_0 t}Y \tag{1.7.9}\] 在 \(t\) 时刻，\(Y(t)\) 的概率密度函数为 \[f_Y(y,\ t)=f_X\left(\,g(y,\ t)\,\right)\left|\dot{g}(y,\ t)\right| \tag{1.7.10}\] 在此问题中 \[\dot{g}(y,\ t)=\frac{1}{\cos\omega_0 t} \tag{1.7.11}\] 将式 (1.7.11) 和式 (1.7.9) 代入式 (1.7.10)，得到 \[p_Y(y,\ t)=\frac{1}{\sqrt{2\pi}\left|\cos\omega_0 t\right|} \exp\left\{-\frac{1}{2}\left(\frac{y}{\cos\omega_0 t}\right)^2\right\} \tag{1.7.12}\] 如果 \(\cos\omega_0 t=0\)，即 \(t=\left(\pm k+\dfrac{1}{2}\right)\dfrac{\pi}{\omega_0}\)，则 \(Y(t)\) 的概率密度函数为 \[p_Y\left(y,\ \left(\pm k+\frac{1}{2}\right)\frac{\pi}{\omega_0}\right)=\delta(y-0)\] 从上面的例题可以看出，随机过程 \(Y(t)\) 在每一个特定时刻都为一个随机变量，这些随机变量都有自己的分布。

2. 随机过程的多维概率分布

随机过程的一维概率分布只描述了随机过程在不同时间点处的分布，没有给出不同时间点处的随机变量之间的关系，这里首先给出二维概率分布，然后将其推广到更多维的分布。

对于任意时刻 \(t_1\)、\(t_2\) 以及任意的两个实数 \(x_1\)、\(x_2\)，定义 \[F_X(x_1,\ x_2,\ t_1,\ t_2)=P\{X(t_1)\leq x_1,\ X(t_2)\leq x_2\} \tag{1.7.13}\] 式 (1.7.13) 为随机过程 \(X(t)\) 的二维概率分布。如果 \(F_X(x_1,\ x_2,\ t_1,\ t_2)\) 对 \(x_1\)、\(x_2\) 的偏导数存在，则定义 \[p_X(x_1,\ x_2,\ t_1,\ t_2)=\frac{\partial^2 F_X(x_1,\ x_2,\ t_1,\ t_2)}{\partial x_1\partial x_2} \tag{1.7.14}\] 为随机过程 \(X(t)\) 的二维概率密度函数。

同理，对于更多时刻 \(t_1,\ t_2,\ \cdots,\ t_N\)；\(X(t_1),\ X(t_2),\ \cdots,\ X(t_N)\) 是一组随机变量，这组随机变量的联合分布为随机过程 \(X(t)\) 的 \(N\) 维概率分布： \[F_X(x_1,\cdots,x_N,t_1,\cdots,t_N)=P\{X(t_1)\leq x_1,\cdots,X(t_N)\leq x_N\} \tag{1.7.15}\] \(F_X(x_1,\cdots,x_N,t_1,\cdots,t_N)\) 为随机过程 \(X(t)\) 的 \(N\) 维概率分布函数。如果对 \(x_1,\cdots,x_N\) 的 \(N\) 阶偏导数存在，那么 \[\begin{aligned} &p_X(x_1,\cdots,x_N,t_1,t_2,\cdots,t_N)\\ &\quad=\frac{\partial^N F_X(x_1,\cdots,x_N,t_1,t_2,\cdots,t_N)}{\partial x_1\partial x_2\cdots\partial x_N} \end{aligned} \tag{1.7.16}\] \(p_X(x_1,\ x_2,\ \cdots,\ x_N,\ t_1,\ t_2,\ \cdots,\ t_N)\) 为随机过程 \(X(t)\) 的 \(N\) 维概率密度函数。

对于离散时间随机信号 \(X(n)\)，它 \(N\) 维概率分布为 \[F_X(x_1,\ \cdots,\ x_N,\ n_1,\ \cdots,\ n_N)=P\{X(n_1)\leq x_1,\ \cdots,\ X(n_N)\leq x_N\} \tag{1.7.17}\] \(N\) 维概率密度定义为 \[p_X(x_1,\ x_2,\ \cdots,\ x_N,\ n_1,\ n_2,\ \cdots,\ n_N) =\frac{\partial^N F_X(x_1,\ x_2,\ \cdots,\ x_N,\ n_1,\ n_2,\ \cdots,\ n_N)}{\partial x_1\partial x_2\cdots\partial x_N} \tag{1.7.18}\]

\(N\) 维分布可以描述任意 \(N\) 个时刻状态之间的统计规律，比一维、二维含有更多的 \(X(t)\) 的统计信息，对随机过程的描述也更趋完善，一般说来，要完全描述一个过程的统计特性，应该 \(N\rightarrow\infty\)，但实际上我们无法获得随机过程的无穷维的概率分布，在工程应用上，通常只考虑它的二维概率分布就够了。

随机过程的数字特征

随机变量的数字特征有均值、方差、相关系数等，相应的随机过程的这些数字特征称为均值函数、方差函数和相关函数，它们都是从随机变量的数字特征推广而来的，所不同的是，随机过程的数字特征一般不是常数，而是时间 \(t\)（或 \(n\)）的函数。

1. 均值函数

对于任意的时刻 \(t\)，\(X(t)\) 是一个随机变量，我们把这个随机变量的均值定义为随机过程的均值，记为 \(\mu_X(t)\)。即 \[\mu_X(t)=E\{X(t)\}=\int_{-\infty}^{\infty}x\,p_X(x,\ t)\,\mathrm{d}x \tag{1.7.19}\]

对于离散随机过程，均值函数定义为 \[\mu_X(n)=E\{X(n)\}=\sum_{i=1}^{\infty}x_i(n)\,p_X(x_i,\ n) \tag{1.7.20}\]

随机过程 \(X(t)\) 的均值是时间 \(t\) 的函数，也称为均值函数。对于某个时间 \(t_i\)，\(\mu_X(t_i)\) 是随机变量 \(X(t_i)\) 的样本的概率加权平均。\(\mu_X(t)\) 反映了样本函数统计意义下的平均变化规律。图 1.8 中的两条实体曲线为两次实现的样本，中间的虚线为期望函数 \(\mu_X(t)\)。

随机过程的期望函数有如下特性：

(1) 确定的函数 \(C(t)\) 的数学期望为它本身： \[E\left(\,C(t)\,\right)=C(t) \tag{1.7.21}\]

(2) 两个随机过程的和的数学期望为两者数学期望的和： \[E\left(\,X(t)+Y(t)\,\right)=\mu_X(t)+\mu_Y(t) \tag{1.7.22}\]

(3) 随机过程与确定的函数 \(G(t)\) 之积的期望为： \[E\left(\,G(t)X(t)\,\right)=G(t)\mu_X(t) \tag{1.7.23}\]

2. 方差函数

方差函数也是随机过程重要的数字特征之一，它定义为 \[\sigma_X^2(t)=E\left\{\left[\,X(t)-\mu_X(t)\,\right]^2\right\} \tag{1.7.24}\] 它表示随机过程与其数学期望之间的离散程度。图 1.8 中两条粗的虚线为 \(\mu_X(t)-\sigma_X(t)\) 和 \(\mu_X(t)+\sigma_X(t)\)，它给出了 \(X(t)\) 的一定置信度下的置信区间。方差函数通常也记为 \(D_X(t)\)，它是时间的函数。

对于随机序列 \(X(n)\)，方差定义为： \[\sigma_X^2(n)=E\left\{\left[\,X(n)-\mu_X(n)\,\right]^2\right\} \tag{1.7.25}\]

可以证明方差函数有如下特性：

(1) 方差函数还可以表示为： \[\sigma_X^2(t)=E\{X^2(t)\}-\mu_X^2(t) \tag{1.7.26}\]

(2) 当 \(\mu_X(t)=0\) 时， \[\sigma_X^2(t)=E\{X^2(t)\} \tag{1.7.27}\] 这时随机过程的方差函数就是均方值函数。

(3) 对于确定的函数 \(C(t)\)： \[D\left(\,C(t)X(t)\,\right)=C^2(t)D\left(\,X(t)\,\right) \tag{1.7.28}\] \[D\left(\,X(t)+C(t)\,\right)=D\left(\,X(t)\,\right) \tag{1.7.29}\]

(4) 若 \(X(t)\) 与 \(Y(t)\) 相互独立： \[D\left[\,X(t)+Y(t)\,\right]=D\left[\,X(t)\,\right]+D\left[\,Y(t)\,\right] \tag{1.7.30}\] 同样，离散随机序列的方差也有如式 (1.7.26)～(1.7.30) 的特性。

3. 相关函数和协方差函数

均值函数和方差函数只描述了随机过程在某个特定时刻的统计特性，并不能反映随机过程在两个不同时刻状态之间的联系，如随机变量 \(X(t_i)\) 与 \(X(t_j)\) 有何关系。为此，我们引入一个能反映两个不同时刻状态之间相关程度的数字特征——相关函数。

设任意两个时刻 \(t_i\)，\(t_j\)，定义 \[R_X(t_i,\ t_j)=E\{X(t_i)X(t_j)\}=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x_i x_j\,p(x_i,\ x_j,\ t_i,\ t_j)\,\mathrm{d}x_i\mathrm{d}x_j \tag{1.7.31}\] 为随机过程 \(X(t)\) 的自相关函数，通常简称为相关函数。相关函数是随机过程 \(X(t)\) 在两个时间变量 \(t_i\) 和 \(t_j\) 上的函数，它表示在两个时间截面 \(t_i\) 和 \(t_j\) 上，随机变量 \(\{X(t_i)X(t_j)\}\) 的互相关程度。相关性的描述除了用相关函数外，有时也用协方差函数。我们定义 \[\begin{aligned} \mathrm{Cov}_X(t_i,\ t_j)&=E\left\{\left[\,X(t_i)-\mu_X(t_i)\,\right]\left[\,X(t_j)-\mu_X(t_j)\,\right]\right\}\\ &=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}\left[\,x(t_i)-\mu_X(t_i)\,\right]\left[\,x(t_j)-\mu_X(t_j)\,\right]p(x_i,\ x_j,\ t_i,\ t_j)\,\mathrm{d}x_i\mathrm{d}x_j \end{aligned} \tag{1.7.32}\] 为随机过程的协方差函数。推导式 (1.7.32) 可得到 \[\mathrm{Cov}_X(t_i,\ t_j)=E\{X(t_i)X(t_j)\}-\mu_X(t_i)\mu_X(t_j)=R_X(t_i,\ t_j)-\mu_X(t_i)\mu_X(t_j) \tag{1.7.33}\]

从协方差函数与相关函数的定义看出，协方差函数描述随机变量 \(X(t_i)\) 和 \(X(t_j)\) 相对各自数学期望差异的相关程度。

由协方差函数可求得 \(X(t_i)\) 和 \(X(t_j)\) 的相关系数 \[\rho(t_i,\ t_j)=\frac{\mathrm{Cov}_X(t_i,\ t_j)}{\sigma_X(t_i)\sigma_X(t_j)} \tag{1.7.34}\] 它的取值在 \(\left[\begin{array}{ll}-1 & 1\end{array}\right]\)，其绝对值越大，表示相关性越强。若 \(t_i=t_j\)，那么 \(\mathrm{Cov}_X(t,\ t)=\sigma_X^2(t)\)，相关系数为 \(1\)。一般说来，如果 \(X(t)\) 中不含有周期分量，\(t_i\) 与 \(t_j\) 相隔越远，相关性越弱。若 \(\mathrm{Cov}_X(t_i,\ t_j)=0\)，那么相关系数为 \(0\)，这就意味着随机过程 \(X(t)\) 在 \(t_i\) 和 \(t_j\) 处不相关。若 \(R_X(t_i,\ t_j)=0\)，则称 \(X(t_i)\) 与 \(X(t_j)\) 正交。

与随机变量一样，随机过程的相关性和随机独立性是两个不同的概念。如果 \[p_X(x_i,\ x_j,\ t_i,\ t_j)=p_X(x_i,\ t_i)p_X(x_j,\ t_j) \tag{1.7.35}\] 那么随机过程在 \(t_i\) 和 \(t_j\) 时刻的状态是随机独立的。当状态 \(X(t_i)\) 和 \(X(t_j)\) 随机独立时，\(X(t_i)\) 与 \(X(t_j)\) 一定互不相关，但是反之不一定成立。

相关性是描述其随机特征的重要方面，这里给出相关函数和协方差函数的性质：

(1) 相关函数、协方差函数和相关系数是偶函数，即 \[R_X(t_i,\ t_j)=R_X(t_j,\ t_i) \tag{1.7.36}\] \[\mathrm{Cov}_X(t_i,\ t_j)=\mathrm{Cov}_X(t_j,\ t_i) \tag{1.7.37}\] \[\rho(t_i,\ t_j)=\rho(t_j,\ t_i) \tag{1.7.38}\]

(2) \(R_X(t_i,\ t_j)\) 和 \(\mathrm{Cov}_X(t_i,\ t_j)\) 在 \(\Delta t=t_j-t_i=0\) 时有最大值，即 \[R_X(0)\geq\left|R_X(t_i,\ t_j)\right| \tag{1.7.39}\] \[\mathrm{Cov}_X(0)\geq\left|\mathrm{Cov}_X(t_i,\ t_j)\right| \tag{1.7.40}\] \[\rho(0)=1 \tag{1.7.41}\] 且 \[R_X(0)=E\{X^2(t)\} \tag{1.7.42}\]

(3) 若 \(\mu_X(t)=0\)，那么 \[\mathrm{Cov}_X(t_i,\ t_j)=R_X(t_i,\ t_j) \tag{1.7.43}\] 相关函数与协方差函数完全相等。显然，相关函数与协方差函数只差一个统计平均值，在实际应用中，我们通常假设随机过程的期望为零，所以二者可以不加区别地使用。更进一步，若 \(t_i=t_j\)，那么 \[\mathrm{Cov}_X(t,\ t)=R_X(t,\ t)=E\{X^2(t)\} \tag{1.7.44}\] 即 \[\sigma_X^2(t)=R_X(0)=E\{X^2(t)\} \tag{1.7.45}\]

例 1.4有余弦随机相位信号 \(X(t,\ \Phi)=A\cos(\omega_0 t+\Phi)\)，其中 \(A\) 和 \(\omega_0\) 为常数，\(\Phi\) 为 \((-\pi,\ \pi)\) 上均匀分布的随机变量。求该随机相位信号的均值、方差和自相关函数。

解：根据题意知，\(\Phi\) 的概率密度函数为 \[p(\Phi)=\begin{cases}\dfrac{1}{2\pi}, & -\pi<\Phi<\pi\\[4pt] 0, & \text{其他}\end{cases}\] 随机相位信号的均值函数为 \[\mu_X(t)=E\{X(t)\}=E\{A\cos(\omega_0 t+\Phi)\} =A\int_{-\pi}^{\pi}\cos(\omega_0 t+\varphi)\frac{1}{2\pi}\,\mathrm{d}\varphi=0\] 相关函数为 \[\begin{aligned} R_X(t_1,\ t_2)&=E\{X(t_1)X(t_2)\}=E\{A\cos(\omega_0 t_1+\Phi)A\cos(\omega_0 t_2+\Phi)\}\\ &=\frac{1}{2}A^2E\left\{\cos\omega_0(t_1-t_2)+\cos\left[\,\omega_0(t_1+t_2)+2\Phi\,\right]\right\}\\ &=\frac{1}{2}A^2\cos\omega_0(t_1-t_2)+\frac{1}{2}A^2\int_{-\pi}^{\pi}\frac{1}{2\pi}\cos\omega_0\left[\,(t_1+t_2)+2\varphi\,\right]\mathrm{d}\varphi\\ &=\frac{1}{2}A^2\cos\omega_0(t_1-t_2) \end{aligned}\] 方差函数为 \[\sigma_X^2(t)=R_X(t,\ t)-\mu_X^2(t)=\frac{1}{2}A^2\] 该余弦信号的期望和方差不随着时间变化，自相关函数也只与时间差有关系，与时间的起点没有关系。

4. 互协方差函数和互相关函数

自相关函数表达了一个随机过程在不同时间截面上取值的相关性，这一概念也可以推广到两个不同的随机过程，以表示两个随机过程在不同时间截面上取值的相关性，即互协方差函数 \[\mathrm{Cov}_{XY}(t_1,\ t_2)=E\left\{\left[\,X(t_1)-\mu_X(t_1)\,\right]\left[\,Y(t_2)-\mu_Y(t_2)\,\right]\right\} \tag{1.7.46}\] 如果对于任意的 \(t_i\) 和 \(t_j\)，有 \(\mathrm{Cov}_{XY}(t_i,\ t_j)=0\)，则称随机过程 \(X(t)\) 与随机过程 \(Y(t)\) 是不相关的。

随机过程 \(X(t)\) 与随机过程 \(Y(t)\) 的互相关函数为 \[R_{XY}(t_1,\ t_2)=E\{X(t_1)Y(t_2)\} =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}xy\,p_{XY}(x,\ y,\ t_1,\ t_2)\,\mathrm{d}x\mathrm{d}y \tag{1.7.47}\] 如果 \(R_{XY}(t_1,\ t_2)=0\)，则称 \(X(t)\) 与 \(Y(t)\) 是相互正交的。

平稳随机过程

随机过程可以分为平稳和非平稳两大类。严格地说，所有过程都是非平稳的。但是，对平稳过程的分析要容易得多，所以，在统计推断和时间序列分析中，假设过程的统计规律不随时间变化，即数据是平稳的。在实际工程领域中，许多随机过程都被视为平稳或者近似平稳。

严格平稳随机过程

如果随机过程 \(X(t)\) 的任意 \(N\) 维分布在时间平移 \(\tau\) 后，\(N\) 维概率密度不变，则称 \(X(t)\) 是严格平稳的随机过程或称为狭义平稳随机过程。

在二维情况下，有 \[p_X(x_i,\ x_j,\ t_i,\ t_j)=p_X(x_i,\ x_j,\ t_i+\tau,\ t_j+\tau) \tag{1.8.1}\] 严格平稳随机过程与时间点 \(t_i\) 与 \(t_j\) 无关，只与 \(\Delta t=t_j-t_i\) 有关。任意 \(N\) 维概率密度应满足 \[p_X(x_1,\ \cdots,\ x_N,\ t_1\cdots,\ t_N)=p_X(x_1,\ \cdots,\ x_N,\ t_1+\tau,\ \cdots,\ t_N+\tau) \tag{1.8.2}\] 这说明，当取样点在时间轴上任意平移时，随机过程的所有有限维分布函数是不变的。而特别的，具体到它的一维分布 \[p_X(x,\ t)=p_X(x,\ t+\tau) \tag{1.8.3}\] 即严格平稳随机过程的一维分布不随时间变化，任何时间点上的 \(X(t)\) 都属于同一分布，那么它的期望和方差也不随着时间变化，所以严格平稳随机过程在一维情况下的数学期望函数为 \[\mu_X(t)=E\{X(t)\}=\int_{-\infty}^{\infty}x\,p_X(x)\,\mathrm{d}x=\mu_X \tag{1.8.4}\] 方差函数为 \[\sigma_X^2(t)=\int_{-\infty}^{\infty}(x-\mu_X)^2p_X(x)\,\mathrm{d}x=\sigma_X^2 \tag{1.8.5}\] 随机过程的相关函数为 \[R_X(t_i,\ t_j)=E\{X(t_i)X(t_j)\} =\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}x_i x_j\,p(x_i,\ x_j,\ t_i,\ t_j)\,\mathrm{d}x_i\mathrm{d}x_j \tag{1.8.6}\] 由于 \(f(x_i,\ x_j,\ t_i,\ t_j)\) 与时间的起点 \(t_i\) 和 \(t_j\) 无关，只与 \(\Delta t=t_j-t_i\) 有关，所以上式可以表示为 \[R_X(t_i,\ t_j)=R_X(\Delta t) \tag{1.8.7}\] 协方差函数为 \[\mathrm{Cov}_X(t_i,\ t_j)=R_X(\Delta t)-\mu_X^2 \tag{1.8.8}\] 令 \[\mathrm{Cov}_X(\Delta t)=\mathrm{Cov}_X(t_i,\ t_j) \tag{1.8.9}\] 有 \[\mathrm{Cov}_X(\Delta t)=R_X(\Delta t)-\mu_X^2 \tag{1.8.10}\] 以上表明严格平稳随机过程的相关函数和协方差函数都只与时间间隔 \(\Delta t\)（或时间延迟）有关，与时间起点没有关系。严格平稳随机过程的相关函数 \(R_X(\Delta t)\) 和协方差函数 \(\mathrm{Cov}_X(\Delta t)\) 也称为延迟 \(\Delta t\) 的相关函数和协方差函数。

由此可见，对于严格平稳的随机过程，它的均值和方差是与时间无关的常数，而自相关函数和协方差只与时间间隔（延迟）有关，但这些并不是严格平稳随机过程的充分条件，只有当随机过程满足式 (1.8.2) 时，它才是严格平稳随机过程。同样，对于离散随机序列 \(X(n)\)，其严格平稳的定义是相同的。

由于严格平稳过程的定义过于严格，一般的随机过程很难满足，而且在实际问题中，利用随机过程的概率密度函数判断严格平稳过程是很困难的。在一般情况下，如果产生随机过程的物理条件不随时间的推移而变化，那么这个随机过程基本上被认为是平稳的。如接收机的噪声电压信号，开机经过一段时间后，温度变化趋于稳定，这时的噪声电压信号可以认为是平稳的，这就是较宽意义上的平稳过程，即广义平稳随机过程（宽平稳过程）。

广义平稳随机过程

如果随机过程 \(X(t)\) 满足 \[R_X(t_i,\ t_j)=R_X(\Delta t) \tag{1.8.11}\] 并且 \[E\left[\,X(t)\,\right]=\mu_X \tag{1.8.12}\] 则称随机过程 \(X(t)\) 是广义平稳的，也称为宽平稳。宽平稳过程并没有对随机分布有任何要求，它只要求均值函数和自相关函数不随着时间起点而变化，所以一个严平稳过程只要二阶矩存在，则一定是宽平稳过程。根据协方差函数与自协方差函数有 \[\mathrm{Cov}_X(\Delta t)=R_X(\Delta t)-\mu_X^2 \tag{1.8.13}\] 显然，协方差函数也不随着时间起点的变化而变化，它只与时间间隔 \(\Delta t=t_j-t_i\) 有关。另外，平稳随机过程的自相关系数也只与时间间隔有关 \[\rho(t_i,\ t_j)=\frac{\mathrm{Cov}_X(t_i,\ t_j)}{\sigma_X(t_i)\sigma_X(t_j)} =\frac{\mathrm{Cov}_X(\Delta t)}{\sigma_X^2}=\rho(\Delta t) \tag{1.8.14}\] 与严格平稳过程相比，广义平稳过程只要求随机过程的特征值不随时间起点变化，对其概率密度没有要求。需要指出的是，任何平稳随机过程的协方差矩阵和相关系数矩阵都是正定的。

对于广义平稳随机序列 \(X(n)\)，其特征值与连续的随机过程有同样的定义。在后面的学习中，如果没有特别说明，平稳随机过程指的是广义平稳随机过程。

由于平稳随机过程的数字特征不随着时间起点的变化而变化，因此我们可以根据离散的观测值来求其数字特征。设有限的时间序列为 \(x_1,\ x_2,\ \cdots,\ x_N\)，那么由离散的观测值可以得到过程均值 \(\mu_X\) 和协方差 \(\mathrm{Cov}_X(x_i,\ x_{i+k})\) 等特征值的估计。平稳随机过程的期望 \(\mu_X\) 的估计为 \[\overline{X}=\sum_{i=1}^{N}\frac{1}{N}x_i \tag{1.8.15}\] 方差的估计为 \[\sigma_X^2=\frac{1}{N-1}\sum_{i=1}^{N}\left(x_i-\overline{X}\right)^2 \tag{1.8.16}\] 时间间隔为 \(\Delta t=\Delta n\times T\)（\(T\) 为采样间隔）的协方差函数的估计为 \[\mathrm{Cov}(\Delta n)=\frac{1}{N-\Delta n}\sum_{i=1}^{N-\Delta n}\left(x_i-\overline{X}\right)\left(x_{i+\Delta n}-\overline{X}\right),\quad \Delta n=0,\ 1,\ 2,\ \cdots,\ N-1 \tag{1.8.17}\] 相关系数的样本估计为 \[\rho(\Delta n)=\frac{\dfrac{1}{N-\Delta n}\displaystyle\sum_{i=1}^{N-\Delta n}\left(x_i-\overline{X}\right)\left(x_{i+\Delta n}-\overline{X}\right)} {\dfrac{1}{N}\displaystyle\sum_{i=1}^{N}\left(x_i-\overline{X}\right)^2} \tag{1.8.18}\]

例 1.5余弦型随机相位信号 \(X(t,\ \Phi)=A\cos(\omega_0 t+\Phi)\)，其中 \(A\) 和 \(\omega_0\) 为常数，\(\Phi\) 为 \((-\pi,\ \pi)\) 上均匀分布的随机变量，起始相位 \(\Phi\) 是一个在 \((-\pi,\ \pi)\) 内连续取值的均匀分布随机变量。判断 \(X(t,\ \Phi)\) 是否为平稳随机过程。

解：根据例 1.4 得知其期望和方差不随时间变化，相关函数为 \[R_X(t_1,\ t_2)=\frac{1}{2}A^2\cos\omega_0(t_1-t_2)\] 相关函数是时间间隔 \((t_1-t_2)\) 的函数，所以随机过程 \(A\cos(\omega_0 t+\Phi)\) 是平稳随机过程。

例 1.6设随机过程 \(X(t)=tX\)，其中 \(X\) 服从均值为零，方差为 \(1\) 的标准正态分布，试判断它的平稳性。

解： \[E\{X(t)\}=E\{tX\}=tE\{X\}=0\] \[R_X(t_1,\ t_2)=E\{X(t_1)X(t_2)\}=t_1t_2E\{X^2\}=t_1t_2\] 由于相关函数与 \(t_1\) 和 \(t_2\) 的取值有关，所以 \(X(t)\) 不是平稳的。

例 1.7有平稳离散随机序列 \(Z(n)\) 如图 1.9 所示。图 1.10 给出了 \(Z(n)\) 与 \(Z(n-1)\)、\(Z(n)\) 与 \(Z(n-2)\) 和 \(Z(n)\) 与 \(Z(n-3)\) 的散点图。从图中可以看出 \(Z(n)\) 与其时间延迟为 \(\Delta n=1\) 的随机变量 \(Z(n-1)\) 有明显的相关性；\(Z(n)\) 与时间延迟为 \(\Delta n=2\) 和 \(\Delta n=3\) 的随机变量也有明显的相关性，但是相关性逐渐减弱。为了详细了解此随机过程的相关特性，根据式 (1.8.18) 计算了 \(\Delta n=1,\ \cdots,\ 24\) 的相关系数，相关系数的变化如图 1.11 所示。

现将严格平稳随机过程与广义平稳随机过程的关系总结如下：

(1) 一个宽平稳过程不一定是严平稳过程，一个严平稳过程也不一定宽平稳过程。如：\(X(n)=\sin(nw)\)，\(n=0,\ 1,\ 2,\ \cdots\)，其中 \(w\) 为 \((0,\ 2\pi)\) 上均匀分布的随机变量。\(X(n)\) 是宽平稳过程，但不是严平稳过程。又如：服从柯西分布的随机过程，它的二阶矩不存在，所以，虽然柯西过程是严平稳随机过程，但不是宽平稳随机过程。

(2) 宽平稳随机过程只涉及与一维、二维分布有关的数字特征，所以一个严平稳过程只要二阶矩存在，则必定是宽平稳过程。但反过来，一般是不成立的。

(3) 正态随机过程是一个重要特例，一个宽平稳的正态随机过程必定是严平稳的。这是因为：正态随机过程的概率密度是由均值函数和相关函数确定的，只要均值函数和自相关函数不随时间的起点而变化，则概率密度函数也不随时间的起点发生变化。

平均功率与功率谱密度

平稳随机过程的平均功率为 \[\Psi=\lim_{T\rightarrow\infty}E\left[\frac{1}{2T}\int_{-T}^{T}X^2(t)\,\mathrm{d}t\right] \tag{1.8.19}\] 容易得到 \[\Psi=E\left[\,X^2(t)\,\right]=R_X(0) \tag{1.8.20}\] 所以，平稳随机过程的平均功率等于过程的均方值，它描述了随机过程的强度。

功率谱密度描述信号或者时间序列的功率如何随频率 \(\omega\) 变化。信号的功率谱密度当且仅当信号是广义平稳过程的时候才存在，在相关函数绝对可积的条件下，功率谱密度就是自相关函数的傅里叶变换： \[S_X(\omega)=\int_{-\infty}^{+\infty}R_X(\tau)e^{-\mathrm{i}\omega\tau}\mathrm{d}\tau \tag{1.8.21}\] \(S_X(\omega)\) 为功率谱密度矩阵，功率谱密度的单位通常用每赫兹的瓦特数（W/Hz）表示。功率谱密度与相关函数有逆变换 \[R_X(\tau)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}S_X(\omega)e^{\mathrm{i}\omega\tau}\mathrm{d}\omega \tag{1.8.22}\] 上式也是维纳-辛钦公式，它揭示了从时间角度描述平稳过程的统计规律和从频率角度描述的统计规律之间的联系。此外，还存在有 \[E\left[\,X^2(t)\,\right]=R_X(0)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}S_X(\omega)\,\mathrm{d}\omega \tag{1.8.23}\] 上式从频域表明平稳过程的平均功率等于该过程的均方值或 \(R(0)\)。

随机过程的各态历经性

对于平稳随机过程，它的均值、方差都是常数，相关函数只与 \(\Delta t=t_2-t_1\) 有关，这些数字特征都是集合平均的概念，也就是说，如果我们要得到这些数字特征的准确值，需要观测到所有样本函数，这在现实中是很难做到的。在现实中，我们往往只是获得一条样本曲线，由于平稳过程的统计特性不随时间推移而变化，所以我们希望一个长时间观察到的样本曲线，可以体现出整个随机过程的数值特征。

辛钦证明：在具备一定的条件下，对平稳过程的一个样本函数取时间平均，当观测的时间足够长时，它在概率意义上趋近统计平均。设有平稳随机过程 \(X(t)\)，它的时间平均定义为 \[\overline{\mu}_X=\lim_{T\rightarrow\infty}\frac{1}{T}\int_{-T/2}^{T/2}X(t)\,\mathrm{d}t \tag{1.9.1}\] \[\overline{R}_X(\Delta t)=\lim_{T\rightarrow\infty}\frac{1}{T}\int_{-T/2}^{T/2}X(t+\Delta t)X(t)\,\mathrm{d}t \tag{1.9.2}\] 式 (1.9.1) 为平稳随机过程的时间平均，式 (1.9.2) 为平稳随机过程的时间平均相关函数。对于随机序列 \(X(n)\)，相应的形式为 \[\overline{\mu}_X=\lim_{N\rightarrow\infty}\frac{1}{N}\sum_{n=0}^{N}X(n) \tag{1.9.3}\] \[\overline{R}_X(m)=\lim_{N\rightarrow\infty}\frac{1}{N}\sum_{n=0}^{N}X(n+m)X(n) \tag{1.9.4}\] 若随机过程的平均以概率 \(1\) 趋近全集期望 \(E\left(\,X(t)\,\right)\)，则称这样的平稳过程为均值历经过程。如果时间平均的相关函数式 (1.9.2) 以概率 \(1\) 趋近全集相关函数，称这样的平稳随机过程为相关函数历经性。如果平稳随机过程 \(X(t)\) 的均值和相关函数都具有历经性，则称 \(X(t)\) 具有各态历经过程。

对于离散随机序列，均值历经性和相关函数历经性也有同样的定义。离散随机序列的时间平均为式 (1.9.3)；时间平均的相关函数为式 (1.9.4)。

各态历经可以理解为随机过程的任何一条样本函数都经历了随机过程的各种可能状态，即随机过程的任何一个样本的特性都充分地代表了随机过程的特性。因此，对于具有各态历经性的随机过程，对它的任意一个样本函数的时间平均和相关函数的研究都可以代替对整个过程的研究，这给随机过程的分析带来便利。图 1.12(a) 所示的连续相位信号 \(X(t)=A\cos(\omega_0t+\Phi)\) 具有各态历经性，因为它的每一个样本都经历了过程中各种可能的状态，而图 1.12(b) 所示的随机信号就不是各态历经过程。

在实际应用中，要根据式 (1.9.1) 式 (1.9.4) 来判断随机过程是否具有各态历经性是很困难的。由于现实中的大多数的平稳随机过程都是具有各态历经性的，如通信系统中遇到的随机信号和噪声，一般都能满足各态历经性，所以分析一个平稳随机信号的时候，我们都按各态历经随机过程处理，这使实际测量和计算大大简化。

平稳随机过程是一般随机过程的特殊情况，它的时间平移不影响其统计特性，平稳随机过程的随机特性由它的一阶和二阶矩函数决定。平稳随机过程可能具有各态历经性，也可能不具有各态历经性，但有各态历经性的随机过程一定是平稳随机过程。随机过程、平稳随机过程和各态历经的随机过程的关系如图 1.13 所示。

典型的随机过程

本节将介绍几种常见的随机过程和它们的特性。首先介绍白噪声过程、高斯过程和高斯白噪声，在此基础上介绍几种有色噪声：随机常数、高斯-马尔可夫过程、随机游走过程和随机斜坡过程。本节介绍的有色噪声过程在现实有广泛的应用，如 GNSS 相位观测值中的整周数可用随机常数来表示；对卫星轨道的分析中，卫星运动中未模型化的加速度部分可以视为高斯-马尔可夫过程；在惯性导航系统中，陀螺和加速度计的零偏和比例因子也存在着高斯-马尔可夫过程；GNSS 接收机钟的钟差和钟漂可以用随机游走来表示。

白噪声过程

若随机过程 \(e(t)\) 的相关函数满足 \[R_e(t,\ \tau)=E\left[\,e(t)e(\tau)\,\right]=\sigma^2\times\delta(t-\tau) \tag{1.10.1}\] 则称 \(e(t)\) 为白噪声过程。在上式中，\(\sigma^2\) 为 \(e(t)\) 的均方值；\(\delta(t-\tau)\) 为狄拉克函数，狄拉克 \(\delta\) 函数的定义见 1.7.1 节。它表明只要 \(t\neq\tau\) \[R_e(t,\ \tau)=0\ ,\quad (t\neq\tau) \tag{1.10.2}\] 上式表明白噪声的自相关函数（\(t\neq\tau\)）总为零，白噪声在任意两个不同时间点处都不相关。从白噪声的变化来看，如图 1.14 所示，白噪声随时间的起伏变化极快。

式 (1.10.1) 也可以表达为 \[R_e(t,\ \tau)=R_e(\Delta t)=\sigma^2\times\delta(\Delta t) \tag{1.10.3}\] 因此，\(e(t)\) 的功率谱为 \[S_e(\omega)=\int_{-\infty}^{\infty}R_e(\Delta t)e^{-\mathrm{i}\omega\Delta t}\,\mathrm{d}\Delta t=\sigma^2 \tag{1.10.4}\] 这说明白噪声的功率谱密度函数 \(S_e(\omega)\) 在整个频域上是均匀的。这与白色光的频谱是类似的：白光的频谱包含了所有的可见光，在各个频段的光谱有相同的强度，功率谱密度在整个频域内均匀分布，因此把具有这样特性的信号称为“白色的”。

白噪声是一种理想化的数学模型，是为了数学上处理方便而提出的。在现实中，如果噪声的功率谱密度在所关心的频带内是均匀的或变化较小，就可以把它近似地看作白噪声来处理，这样可以使问题处理得到简化。在电子设备中，器件的热噪声与散弹噪声起伏都非常快，具有极宽的功率谱，可以认为是白噪声。在测量中，通常假设观测值的随机误差也是白噪声。凡是不满足白噪声条件的噪声都是有色噪声，也就是说，有色噪声过程的随机变量在时间上是相关的。

白噪声的期望一定为零 \[E\left(\,e(t)\,\right)=0 \tag{1.10.5}\] 容易得到白噪声的协方差函数与相关函数相等，都为零 \[\mathrm{Cov}_e(t,\ \tau)=R_e(t,\ \tau)=0\quad (t\neq\tau) \tag{1.10.6}\] 这也说明白噪声是稳定的随机过程。

白噪声是从功率谱的角度定义的，并未涉及概率分布，因此可以有各种不同分布的白噪声，如果白噪声过程服从高斯分布，则为高斯白噪声。类似的还有泊松白噪声、柯西白噪声等。根据中心极限定理，现实世界中的许多过程都可以近似地视为高斯白噪声。

高斯过程

如果一个随机过程 \(x(t)\) 的任意 \(N\) 维分布都服从正态分布，则称该随机过程为高斯过程（正态随机过程）。高斯过程对于任意时刻的 \(x(t)\) 都是一个正态随机变量，它的概率密度函数为 \[p_X(x,\ t)=\frac{1}{\sqrt{2\pi}\sigma(t)}\exp\left[-\frac{(x-\mu(t))^2}{2\sigma^2(t)}\right] \tag{1.10.7}\] 式中，\(\mu(t)\) 和 \(\sigma^2(t)\) 分别为 \(x(t)\) 的均值和方差。

\(x(t)\) 的 \(N\)（\(N\geq 2\)）维概率密度函数为 \[p_X(\bm{x},\ t)=\frac{1}{(2\pi)^{N/2}\left|\bm{D}(t)\right|^{1/2}} \exp\left[-\frac{1}{2}(\bm{x}(t)-\bm{\mu}(t))^{\mathrm{T}}\bm{D}(t)^{-1}(\bm{x}(t)-\bm{\mu}(t))\right] \tag{1.10.8}\] 式中， \[\bm{x}(t)=\left[\begin{array}{llll}x(t_1) & x(t_2) & \cdots & x(t_N)\end{array}\right]^{\mathrm{T}},\quad \bm{\mu}(t)=\left[\begin{array}{llll}\mu(t_1) & \mu(t_2) & \cdots & \mu(t_N)\end{array}\right]^{\mathrm{T}} \tag{1.10.9}\] \[\bm{D}(t)=\begin{bmatrix} \mathrm{Cov}_X\left[\,x(t_1),\ x(t_1)\,\right] & \cdots & \mathrm{Cov}_X\left[\,x(t_1),\ x(t_N)\,\right]\\ \vdots & \ddots & \vdots\\ \mathrm{Cov}_X\left[\,x(t_N),\ X(t_1)\,\right] & \cdots & \mathrm{Cov}_X\left[\,x(t_N),\ x(t_N)\,\right] \end{bmatrix} \tag{1.10.10}\]

如果 \(x(t)\) 不仅服从高斯分布，而且是广义平稳随机过程，那么 \(x(t)\) 的均值和方差就为常数，协方差和相关函数与时间的起点无关，有： \[\mu_X(t)=\mu_X \tag{1.10.11}\] \[\sigma_X^2(t)=\sigma_X^2 \tag{1.10.12}\] 协方差只与时间间隔 \(t_j-t_i\) 有关 \[\mathrm{Cov}_X(t_i,\ t_j)=\mathrm{Cov}_X(t_j-t_i) \tag{1.10.13}\] 这时式 (1.10.10) 可以写成 \[\bm{D}(t)=\begin{bmatrix} \sigma^2 & \cdots & \mathrm{Cov}_X(t_1-t_N)\\ \vdots & \ddots & \vdots\\ \mathrm{Cov}_X(t_N-t_1) & \cdots & \sigma^2 \end{bmatrix} \tag{1.10.14}\]

由于正态随机过程的 \(N\) 维概率密度完全由 \(\bm{\mu}\) 和 \(\bm{D}\) 确定，\(x(t)\) 的期望、方差和协方差都不随时间的平移而变化，所以 \(x(t)\) 的任意维的概率密度函数都不随时间起点的不同而变化，故 \(x(t)\) 也是严格平稳的。因此，对于正态随机过程而言，广义平稳和严格平稳是等价的。

例 1.8设平稳正态随机过程 \(x(t)\) 的均值为 \(0\)，方差为 \(1\)；自相关函数为 \[R_X(\Delta t)=\frac{\sin(\pi\Delta t)}{\pi\Delta t}\] 求 \(t_1=0\)、\(t_2=\dfrac{1}{2}\)、\(t_3=1\) 时的三维概率密度。

解：由于其均值为零，所以 \(R_X(t_i,\ t_j)=\mathrm{Cov}_X(t_i,\ t_j)\)，因此 \(x(t)\) 的协方差矩阵为 \[\begin{aligned} \bm{D}&=\begin{bmatrix} \sigma^2 & \mathrm{Cov}(t_1-t_2) & \mathrm{Cov}(t_1-t_3)\\ \mathrm{Cov}(t_2-t_1) & \sigma^2 & \mathrm{Cov}(t_2-t_3)\\ \mathrm{Cov}(t_3-t_1) & \mathrm{Cov}(t_3-t_2) & \sigma^2 \end{bmatrix}\\[4pt] &=\begin{bmatrix} 1 & \dfrac{\sin(\pi/2)}{\pi/2} & \dfrac{\sin\pi}{\pi}\\[8pt] \dfrac{\sin(\pi/2)}{\pi/2} & 1 & \dfrac{\sin(\pi/2)}{\pi/2}\\[8pt] \dfrac{\sin\pi}{\pi} & \dfrac{\sin(\pi/2)}{\pi/2} & 1 \end{bmatrix} \end{aligned} \tag{1.10.15}\] 即 \[\bm{D}=\begin{bmatrix}1 & 2/\pi & 0\\ 2/\pi & 1 & 2/\pi\\ 0 & 2/\pi & 1\end{bmatrix}\] 所以 \[\left|\bm{D}\right|=1-\frac{8}{\pi^2}\] \[\bm{D}^{-1}=\frac{1}{\pi^2-8}\begin{bmatrix}\pi^2-4 & -2\pi & 4\\ -2\pi & \pi^2 & -2\pi\\ 4 & -2\pi & \pi^2-4\end{bmatrix}\] 根据式 (1.10.8)，\(\bm{x}\) 的三维概率密度为 \[\begin{aligned} p_X(\bm{x})&=\frac{1}{(2\pi)^{3/2}\left|\bm{D}\right|^{1/2}}\exp\left[-\frac{1}{2}\bm{x}^{\mathrm{T}}\bm{D}^{-1}\bm{x}\right]\\ &=\frac{1}{2\sqrt{2\pi(\pi^2-8)}}\exp\left\{-\frac{1}{2(\pi^2-8)}\left[\,(\pi^2-4)(x_1^2+x_3^2)\right.\right.\\ &\qquad\left.\left.{}+\pi^2x_2^2-4\pi(x_1x_2+x_2x_3)+8x_1x_3\,\right]\right\} \end{aligned}\]

高斯白噪声

假定 \(x(t)\) 是零均值，均方值为 \(\sigma^2\) 的白噪声，且服从高斯分布，这样的噪声即为高斯白噪声。根据白噪声的特性，对于两个不同时刻 \(t_i\) 和 \(t_k\)，\(x(t_i)\) 与 \(x(t_k)\) 是不相关的，对于高斯随机变量而言，不相关即等于独立，而且式 (1.10.14) 中非对角线中的元素都为零，所以，\(x(t)\) 的 \(N\) 维概率密度为 \[p_X(x_1,\ x_2,\ \cdots,\ x_N,\ t_1,\ t_2,\ \cdots,\ t_N) =\prod_{i=1}^{N}p_X(x_i,\ t_i) =\prod_{i=1}^{N}\frac{1}{(2\pi\sigma^2)^{\frac{1}{2}}}\exp\left[-\frac{x_i^2}{2\sigma^2}\right] \tag{1.10.16}\] 高斯白噪声是高斯过程的一种特例，当高斯过程的频谱不是一个常数的时候，即为高斯有色噪声。

随机常数

随机常数是指随机变量不随时间变化，设 \(x(t)\) 为随机常数过程，其微分方程为 \[\dot{x}(t)=0 \tag{1.10.17}\]

若已知 \(x(t_0)\)，式 (1.10.17) 的解为 \[x(t)=x(t_0) \tag{1.10.18}\] 如果 \(E\left[\,x^2(t_0)\,\right]=\sigma^2\)，容易得到 \[E\left[\,x^2(t)\,\right]=\sigma^2\] \(x(t)\) 的自相关函数为 \[R_x(t,\ \tau)=\sigma^2 \tag{1.10.19}\] 上式表明随机常数为有色噪声。

随机常数的功率谱为 \[S_x(\omega)=2\pi\sigma^2\delta(\omega)\]

随机游走过程

随机游走过程 \(x(t)\) 为 \[\dot{x}(t)=e(t) \tag{1.10.20}\] 其中 \(e(t)\) 为白噪声，并且 \[E\left[\,e(t)e(\tau)\,\right]=q^2\cdot\delta(t-\tau) \tag{1.10.21}\] \(x(t)\) 的均值为 \[E\left[\,x(t)\,\right]=E\left[\int_{t_0}^{t}e(\tau)\,\mathrm{d}\tau\right]=\int_{t_0}^{t}E\left[\,e(\tau)\,\right]\mathrm{d}\tau=0 \tag{1.10.22}\] \(x(t)\) 的均方值为 \[E\left[\,x^2(t)\,\right]=E\left[\int_{t_0}^{t}e(\tau)\,\mathrm{d}\tau\int_{t_0}^{t}e(s)\,\mathrm{d}s\right] =\int_{t_0}^{t}\int_{t_0}^{t}E\left[\,e(\tau)e(s)\,\right]\mathrm{d}\tau\mathrm{d}s \tag{1.10.23}\] 式 (1.10.23) 中的 \(E\left[\,e(\tau)e(s)\,\right]\) 表示白噪声的相关函数，即 \(\delta(\tau-s)\)，那么上式为 \[E\left[\,x^2(t)\,\right]=\int_{t_0}^{t}\int_{t_0}^{t}q^2\delta(\tau-s)\,\mathrm{d}\tau\mathrm{d}s =\int_{t_0}^{t}q^2\,\mathrm{d}s=q^2(t-t_0) \tag{1.10.24}\] \(x(t)\) 的相关函数为 \[R_x(t_1,\ t_2)=E\left[\,x(t_1)x(t_2)\,\right] =\int_{t_0}^{t_2}\int_{t_0}^{t_1}E\left[\,e(\tau)e(s)\,\right]\mathrm{d}\tau\mathrm{d}s =\int_{t_0}^{t_2}\int_{t_0}^{t_1}q^2\delta(\tau-s)\,\mathrm{d}\tau\mathrm{d}s \tag{1.10.25}\] 对上式进行双重积分 \[R_x(t_1,\ t_2)=\begin{cases}q^2\times(t_2-t_0), & t_2\geq t_1\\ q^2\times(t_1-t_0), & t_2<t_1\end{cases} \tag{1.10.26}\] 上式表明随机游走过程不仅是有色噪声，而且是非平稳过程，它与时间 \(t_1\) 和 \(t_2\) 有关。

高斯-马尔可夫过程

如果 \(X(t)\) 对于时间 \[t_1<t_2<\cdots<t_k \tag{1.10.27}\] 总是有 \[P\left[\,x(t_k)\mid x(t_{k-1}),\ \cdots,\ x(t_1)\,\right]=P\left[\,x(t_k)\mid x(t_{k-1})\,\right] \tag{1.10.28}\] 它表明 \(X(t_k)\) 的条件分布只与上一个时间的 \(X(t_{k-1})\) 有关，这也称为马尔可夫性或无后效性。如果有 \[\dot{x}(t)+\beta x(t)=e(t) \tag{1.10.29}\] 其中，\(e(t)\) 为噪声过程；\(\beta\) 为 \(\tau\)（相关时间或时间常数）的倒数 \[\beta=\frac{1}{\tau} \tag{1.10.30}\] 称 \(x(t)\) 为一阶马尔可夫过程。如果 \(e(t)\) 为高斯白噪声，有 \[E\left[\,e(t_1)e(t_2)\,\right]=q^2\times\delta(t_1-t_2) \tag{1.10.31}\] 称 \(x(t)\) 为一阶高斯-马尔可夫过程。高斯-马尔可夫过程既具有马尔可夫性，又服从高斯分布。由于一阶高斯-马尔可夫过程适用性强，且数学模型简单，所以许多物理过程都用一阶高斯-马尔可夫过程来描述。

下面不加推导地给出一阶高斯-马尔可夫过程的功率谱密度、均方值和自相关函数。

一阶高斯-马尔可夫过程的功率谱的密度为 \[S_x(\omega)=\frac{q^2}{\omega^2+\beta^2} \tag{1.10.32}\] 均方值为 \[E\left[\,x^2(t)\,\right]=\frac{q^2}{2\beta} \tag{1.10.33}\] 自相关函数为 \[R_x(t_1,\ t_2)=\frac{q^2}{2\beta}e^{-\beta\left|t_1-t_2\right|} \tag{1.10.34}\] 上式表明一阶高斯-马尔可夫过程的相关性随着时间以指数函数递减。

若已知初始 \(x(t_0)\)，通过“常数变异法”可以求得微分方程 (1.10.29) 的解为 \[x(t)=x(t_0)e^{-\beta(t-t_0)}+\int_{t_0}^{t}e^{-\beta(t-s)}e(s)\,\mathrm{d}s \tag{1.10.35}\] 若设 \[w(t_0)=\int_{t_0}^{t}e^{-\beta(t-s)}e(s)\,\mathrm{d}s \tag{1.10.36}\] 那么式 (1.10.35) 为 \[x(t)=e^{-\beta(t-t_0)}x(t_0)+w(t_0) \tag{1.10.37}\] \(w(t_0)\) 为白噪声序列，并且与 \(x(t_0)\) 无关。

例 1.9随机序列 \(x(k)\) 为一阶高斯-马尔可夫过程，其自相关函数为 \[R_x(i,\ j)=\sigma^2e^{-\left|i-j\right|/\tau} \tag{1.10.38}\] 其中 \(e^{-\left|i-j\right|/\tau}\) 为指数函数，\(\tau\) 为相关时间。上式表明 \(x(k)\) 是有色噪声，其相关性按指数衰减。\(x(k)\) 可以由高斯白噪声 \(w(k)\) 驱动得到 \[x(k)=\Phi x(k-1)+\Gamma w(k-1) \tag{1.10.39}\] 其中 \(w(k)\) 的均方值为 \(1\) 的白噪声序列。求此成型滤波器中的 \(\Phi\) 和 \(\Gamma\)。

解：将方程 (1.10.39) 的两边同时乘以 \(x(k-1)\) 并求期望 \[E\left[\,x(k)x(k-1)\,\right]=\Phi E\left[\,x(k-1)x(k-1)\,\right]+\Gamma E\left[\,w(k-1)x(k-1)\,\right] \tag{1.10.40}\] 由于 \(x(k-1)\) 与 \(w(k-1)\) 无关，并考虑式 (1.10.38)，上式为 \[\sigma^2e^{-1/\tau}=\Phi\sigma^2 \tag{1.10.41}\] 所以 \[\Phi=e^{-1/\tau} \tag{1.10.42}\] 将方程 (1.10.39) 的两边同时平方并求期望，考虑 \(x(k-1)\) 与 \(w(k-1)\) 无关，有 \[E\left[\,x^2(k)\,\right]=\Phi^2E\left[\,x^2(k-1)\,\right]+\Gamma^2E\left[\,w^2(k-1)\,\right] \tag{1.10.43}\] 将已知条件代入，得到 \[\sigma^2=\Phi^2\sigma^2+\Gamma^2 \tag{1.10.44}\] 所以 \[\Gamma=\sigma\sqrt{1-e^{-2/\tau}} \tag{1.10.45}\] 最后式 (1.10.39) 的线性模型为 \[x(k)=e^{-1/\tau}x(k-1)+\sigma\sqrt{1-e^{-2/\tau}}\,w(k-1) \tag{1.10.46}\] 上式中的 \(w(k-1)\) 是均方值为 \(1\) 的高斯白噪声，也可以将 \(\sigma\sqrt{1-e^{-2/\tau}}\,w(k-1)\) 记为 \(w'(k-1)\)，式 (1.10.46) 为 \[x(k)=e^{-1/\tau}x(k-1)+w'(k-1) \tag{1.10.47}\] \(w'(k-1)\) 仍然为白噪声，其协方差为 \[\mathrm{Cov}\left[\,w'(i),\ w'(j)\,\right]=\sigma_{w'}^2(k)\,\delta(i-j) \tag{1.10.48}\] 其中 \[\sigma_{w'}^2(k)=\sigma^2\left(1-e^{-2/\tau}\right) \tag{1.10.49}\] 从此例题可以看出，只要得到有色噪声的相关函数，就可以得到如式 (1.10.47) 的递推表达式。

随机斜坡过程

随机斜坡过程经常用来表示随机误差随着时间线性递增，表示为 \[\left.\begin{aligned} \dot{x}_1(t)&=x_2(t)\\ \dot{x}_2(t)&=0 \end{aligned}\right\} \tag{1.10.50}\] 其中 \(x_1(t)\) 表示这个随机斜坡过程；\(x_2(t)\) 表示这个斜坡过程的斜率，并且斜率不随时间变化，即 \(x_2(t)\) 为一随机常数，如在 1.10.4 节中介绍的，随机常数的均方值为初始均方值 \(E\left[\,x_2^2(t_0)\,\right]\)。

这里直接给出随机斜坡过程 \(x_1(t)\) 的均方值为 \[E\left[\,x_1^2(t)\,\right]=E\left[\,x_2^2(t_0)\,\right]t^2 \tag{1.10.51}\] \(x_1(t)\) 的自相关函数为 \[R_{x_1}(t,\ \tau)=E\left[\,x_2^2(t_0)\,\right] \tag{1.10.52}\] 若已知初始值 \(x_1(t_0)\) 和 \(x_2(t_0)\)，微分方程 (1.10.50) 的解为 \[\left.\begin{aligned} x_1(t)&=x_1(t_0)+x_2(t_0)(t-t_0)\\ x_2(t)&=x_2(t_0) \end{aligned}\right\} \tag{1.10.53}\]