佚名

噪声和随机过程

随机过程

  • 噪声是一种随机信号，随机信号可以表示为随机过程X(t)
  • 对于随机过程，我们可以取某些量的数学期望，然后进行分析
    • 均值、方差

          \[ \mu(t) = \mathbb{E}[X(t)],\; \sigma^2(t) = \mathbb{E}[|X(t)|^2] - \mu(t)^2. \]

    • 协方差、自相关函数

          \begin{equation*}\begin{split} Cov(t_1, t_2) &= \mathbb{E}[X(t_1)X(t_2)] - \mu(t_1)\mu(t_2), \\ R(t_1, t_2) &= \mathbb{E}[X(t_1)X(t_2)]. \end{split}\end{equation*}

  • 由定义可知，从均值、自相关函数可以得到方差、协方差。如果X(t)的均值、自相关函数在时间平移下不变，即

        \[ \mu(t) = \mu(0) = const,\; R(t, t + \tau) = R(0, \tau) = R(\tau), \]

    那么，X(t)称为平稳过程。此时
    • R(\tau)为偶函数

          \[ R(-\tau) = \mathbb{E}[X(t)X(t - \tau)] = \mathbb{E}[X(t + \tau)X(t)] = R(\tau). \]

    • |R(\tau)|在\tau = 0处达到最大值

          \[ |R(\tau)| \leq \frac 12\bigg\{\mathbb{E}[|X(t)|^2] + \mathbb{E}[|X(t + \tau)|^2]\bigg\} = R(0). \]

    • X(t)在时间[0, T]上的平均功率为

          \[ P = \mathbb{E}\bigg[\frac 1T\int_0^T |X(t)|^2dt\bigg] = \frac 1T\int_0^T \mathbb{E}[|X(t)|^2]dt = R(0). \]

  • P也可以在频域上计算，我们使用频率响应和采样率中的Fourier变换。令X_T(t) = X(t)1_{[0, T]}(t)，由Plancherel定理，考虑如下的数学期望

        \[ \mathbb{E}\bigg[\frac 1T\frac{1}{2\pi}\int_{-\infty}^{+\infty} |\widehat{X_T}(\omega)|^2d\omega\bigg] = \frac{1}{2\pi}\int_{-\infty}^{+\infty} \mathbb{E}\bigg[\frac 1T|\widehat{X_T}(\omega)|^2\bigg]d\omega, \]

    其中，

        \begin{equation*}\begin{split} \mathbb{E}\bigg[\frac 1T|\widehat{X_T}(\omega)|^2\bigg] &= \mathbb{E}\bigg[\frac 1T\int_0^TX(t)e^{-j\omega t}dt\int_0^TX(s)e^{j\omega s}ds\bigg] \\ &= \frac 1T\int_0^T\int_0^T \mathbb{E}[X(t)X(s)]e^{-j\omega(t - s)}dtds. \end{split}\end{equation*}

    如果X(t)为平稳过程，那么\mathbb{E}[X(t)X(s)] = R(t - s)
  • 接下来计算积分。令\tau = t - s，由Fubini定理，

        \begin{equation*}\begin{split} &\mathrel{\phantom{=}} \frac 1T\int_0^T\int_{-s}^{T - s} R(\tau)e^{-j\omega\tau}d\tau ds \\ &= \frac 1T\int_{-T}^0\int_{-\tau}^T R(\tau)e^{-j\omega\tau}dsd\tau + \frac 1T\int_0^T\int_0^{T - \tau} R(\tau)e^{-j\omega\tau}dsd\tau \\ &= \frac 1T\int_{-T}^0 (T + \tau)R(\tau)e^{-j\omega\tau}d\tau + \frac 1T\int_0^T (T - \tau)R(\tau)e^{-j\omega\tau}d\tau \\ &= \int_{-T}^T \bigg(1 - \frac{|\tau|}{T}\bigg)R(\tau)e^{-j\omega\tau}d\tau. \end{split}\end{equation*}

    由Lebesgue控制收敛定理，

        \[ \lim_{T \to +\infty} \int_{-\infty}^{+\infty} \bigg(1 - \frac{|\tau|}{T}\bigg)1_{[-T, T]}R(\tau)e^{-j\omega\tau}d\tau = \int_{-\infty}^{+\infty} R(\tau)e^{-j\omega\tau}d\tau. \]

  • 因此，我们有如下的Wiener–Khinchin定理

        \begin{equation*}\begin{split} S(\omega) &= \int_{-\infty}^{+\infty} R(\tau)e^{-j\omega\tau}d\tau, \\ R(\tau) &= \frac{1}{2\pi}\int_{-\infty}^{+\infty} S(\omega)e^{j\omega\tau}d\omega. \end{split}\end{equation*}

    同时，X(t)在时间[0, +\infty)上的平均功率可以同时在时域和频域上计算，

        \begin{equation*}\begin{split} P &= \lim_{T \to +\infty}\int_{-\infty}^{+\infty} \mathbb{E}\bigg[\frac 1T|X_T(t)|^2\bigg]dt = R(0), \\ P &= \lim_{T \to +\infty}\frac{1}{2\pi}\int_{-\infty}^{+\infty} \mathbb{E}\bigg[\frac 1T|\widehat{X_T}(\omega)|^2\bigg]d\omega = \frac{1}{2\pi}\int_{-\infty}^{+\infty} S(\omega)d\omega. \end{split}\end{equation*}

    因为S(\omega)对应于平均功率P在频域\omega上的密度函数，所以它称为功率谱密度（Power Spectral Density，PSD）

Gauss变量、Gauss向量和Gauss过程

  • Gauss变量X
    • 概率密度函数为

          \[ p_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x - \mu)^2}{2\sigma^2}}. \]

    • 均值、方差分别为

          \[ \mathbb{E}[X] = \int_{-\infty}^{+\infty} (x - \mu)p_X(x)dx + \int_{-\infty}^{+\infty} \mu p_X(x)dx = 0 + \mu = \mu, \]

          \[ Var(X) = \int_{-\infty}^{+\infty} (x - \mu)^2p_X(x)dx = \frac{2\sigma^2}{\sqrt{\pi}}\Gamma\bigg(\frac 32\bigg) = \sigma^2. \]

      也就是说，Gauss变量可以由均值、方差完全确定。此时，我们也称X满足正态分布\mathcal{N}(\mu, \sigma^2)，记为X \sim \mathcal{N}(\mu, \sigma^2)
    • 类似于Fourier变换和中心极限定理，计算

          \begin{equation*}\begin{split} \widehat{p}_X(\xi) &= \bigg(\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x - \mu)^2}{2\sigma^2}}\bigg)^\wedge(\xi) \\ &= e^{-2\pi i\mu\xi}\bigg(\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{x^2}{2\sigma^2}}\bigg)^\wedge(\xi) \\ &= e^{-2\pi i\mu\xi}(e^{-\pi x^2})^\wedge(\sqrt{2\pi\sigma^2}\xi) \\ &= e^{-2\pi i\mu\xi}e^{-2\pi^2\sigma^2\xi^2}. \end{split}\end{equation*}

      因此，对任意X_1 \sim \mathcal{N}(\mu_1, \sigma_1^2), X_2 \sim \mathcal{N}(\mu_2, \sigma_2^2)，我们有

          \[ \widehat{p}_{X_1 + X_2}(\xi) = \widehat{p}_{X_1}(\xi)\widehat{p}_{X_2}(\xi) = e^{-2\pi i(\mu_1 + \mu_2)\xi}e^{-2\pi^2(\sigma_1^2 + \sigma_2^2)\xi^2}. \]

      从而，X_1 + X_2 \sim \mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)。一般地，Gauss变量的线性组合仍然是Gauss变量
  • Gauss向量(X_1, \ldots, X_n)，其中X_i \sim \mathcal{N}(\mu_i, \sigma_i^2)
    • 首先考虑最简单的情形，即X_i相互独立。此时，p_{X_1 \cdots X_n}(x_1, \ldots, x_n)为p_{X_i}(x_i)的乘积，

          \[ \frac{1}{(2\pi)^{\frac n2}\prod_{i = 1}^n \sigma_i}\exp\bigg[-\frac 12\sum_{i = 1}^n \frac{(x_i - \mu_i)^2}{\sigma_i^2}\bigg]. \]

      令

          \[ \mu = \begin{bmatrix}\mu_1 \\ \vdots \\ \mu_n\end{bmatrix},\; \Sigma = \begin{bmatrix}\sigma_1^2 & & \\ & \ddots & \\ & & \sigma_n^2\end{bmatrix}. \]

      那么，p_{X_1 \cdots X_n}(x_1, \ldots, x_n)等于

          \[ \frac{1}{(2\pi)^{\frac n2}(\det\Sigma)^{\frac 12}}\exp\bigg[-\frac 12(x - \mu)^T\Sigma^{-1}(x - \mu)\bigg]. \]

    • 其次考虑一般情形，即\Sigma为实对称的、正定的矩阵。由数值线性代数可知，存在A \in O(n, \mathbb{R})，使得

          \[ A^{-1}\Sigma A = A^T\Sigma A = \begin{bmatrix}\sigma_1^2 & & \\ & \ddots & \\ & & \sigma_n^2\end{bmatrix}. \]

      我们也有

          \[ A^{-1}\Sigma^{-1}A = A^T\Sigma^{-1}A = \begin{bmatrix}\sigma_1^{-2} & & \\ & \ddots & \\ & & \sigma_n^{-2}\end{bmatrix}. \]

    • 令X - \mu = AY。那么，p_{Y_1 \cdots Y_n}(y_1, \ldots, y_n)等于

          \[ \frac{1}{(2\pi)^{\frac n2}\prod_{i = 1}^n \sigma_i}\exp\bigg(-\frac 12\sum_{i = 1}^n \frac{y_i^2}{\sigma_i^2}\bigg). \]

      由此可知，Y_i相互独立，并且Y_i \sim \mathcal{N}(0, \sigma_i^2)。从而，

          \begin{equation*}\begin{split} \mathbb{E}[X] &= \mu + A\mathbb{E}[Y] = \mu, \\ Cov(X_i, X_j) &= \mathbb{E}\bigg[\bigg(\sum_{p = 1}^n A_{ip}Y_p\bigg) \cdot \bigg(\sum_{q = 1}^n A_{jq}Y_q\bigg)\bigg] \\ &= \sum_{p, q = 1}^n A_{ip}A_{jq}\mathbb{E}[Y_pY_q] \\ &= \sum_{p = 1}^n A_{ip}A_{jp}\sigma_p^2 = \Sigma_{ij}. \end{split}\end{equation*}

      因此，如果X_i、X_j不相关（Cov(X_i, X_j) = 0），那么二者独立（\Sigma_{ij} = 0）
  • Gauss过程X(t)
    • 如果任意时间序列(X(t_1), \ldots, X(t_n))为Gauss向量，那么X(t)称为Gauss过程
    • 由上面的笔记可知，任意时间序列的联合概率密度函数可以由均值\mu(t)、协方差Cov(t_1, t_2)完全确定。我们通常考虑均值为0的、平稳的Gauss过程，所以我们只需确定自相关函数R(\tau)即可

噪声的类型

  • 白噪声（White Noise，WN）
    • 我们有

          \[ S_{wn}(\omega) = A,\; R_{wn}(\tau) = A\delta(\tau). \]

      白噪声的平均功率为+\infty，所以它是一个理想模型，实际上无法实现
  • 带宽有限的白噪声（Band-limited White Noise，BWN）
    • 我们有

          \[ S_{bwn}(\omega) = A1_{[-2\pi W, 2\pi W]},\; R_{bwn}(\tau) = 2WA\frac{\sin(2\pi W\tau)}{2\pi W\tau}. \]

      带宽有限的白噪声的平均功率为2WA，所以它可以实现
    • 根据频率响应和采样率，如果我们用Nyquist采样率2W来采样，那么时间间隔\tau = \frac{1}{2W}，噪声恰好是不相关的
  • Gauss白噪声（White Gaussian Noise，WGN）
    • 在Gauss过程中，取

          \[ R_{wgn}(\tau) = A\delta(\tau). \]

      Gauss白噪声是一种白噪声，实际上无法实现；事实上，它无法用概率密度函数来描述。不过，Gauss白噪声可以用于构造Brown运动
    • 在实际的通信中，我们考虑加性Gauss白噪声（Additive White Gaussian Noise，AWGN），取

          \[ R_{awgn}(\tau) = 0,\; \tau \neq 0;\; R_{awgn}(0) = \sigma^2. \]

      加性Gauss白噪声的平均功率为\sigma^2。同时，我们有X(t) \sim \mathcal{N}(0, \sigma^2)，并且不同时刻的X(t_1)、X(t_2)是独立的