佚名

信息理论视角下的热动力学

最大化Shannon熵

  • Lagrange乘子法和最优化问题
    • （信息理论）在信噪比和位深中，Lagrange乘子法 –> 最大化微分熵 –> 信道容量
    • （量子统计力学）在半导体的电子和空穴中，Lagrange乘子法 –> 最大化将电子分配到状态中的方法数 –> Fermi分布
    • （统计热动力学）在这里，Lagrange乘子法 –> 最大化Shannon熵 –> Gibbs分布
  • 由Hamilton方程可知，Hamiltonian为相空间中某一状态的能量
    • 如果状态x_i的概率为p_i，那么

          \[ \sum_i p_i = 1. \]

    • 如果状态x_i的Hamiltonian为\mathcal{H}_i，那么内能为Hamiltonian的数学期望

          \[ \sum_i \mathcal{H}_ip_i = U. \]

  • 为了最大化Shannon熵，我们使用Lagrange乘子法。令

        \[ L = -\sum_i p_i\ln p_i - \alpha\varphi_1 - \beta\varphi_2, \]

    其中，

        \[ \varphi_1 = \sum_i p_i - 1,\; \varphi_2 = \sum_i \mathcal{H}_ip_i - U. \]

    • 由\frac{\partial L}{\partial p_i} = 0，可得

          \[ p_i = e^{-1 - \alpha - \beta\mathcal{H}_i}. \]

    • 由\frac{\partial L}{\partial\alpha} = \varphi_1 = 0，可得Gibbs分布

          \[ \mathbb{P}(X_\beta = x_i) = \frac{e^{-\beta\mathcal{H}(x_i)}}{\sum_i e^{-\beta\mathcal{H}(x_i)}}. \]

      也就是说，X_\beta \sim Softmax(-\beta\mathcal{H})
  • 对于Gibbs分布，我们可以计算更多的信息理论中的量。首先，

        \[ \ln\mathbb{P}(X_\beta = x_i) = -\beta\mathcal{H}(x_i) - \ln Z, \]

    其中，Z = \sum_i e^{-\beta\mathcal{H}(x_i)}称为配分函数，它不依赖于概率分布
    • （Shannon熵）我们有

          \begin{equation*}\begin{split} H(X_\beta) &= -\sum_i \mathbb{P}(X_\beta = x_i)\ln\mathbb{P}(X_\beta = x_i) \\ &= \sum_i \mathbb{P}(X_\beta = x_i) \cdot \beta\mathcal{H}(x_i) + \sum_i \mathbb{P}(X_\beta = x_i) \cdot \ln Z \\ &= \beta U(X_\beta) + \ln Z. \end{split}\end{equation*}

      因此，我们可以得到如下的能量-熵关系（Energy-Entropy Relation）；由于Shannon熵可以视为信息量，故它也是能量-信息关系（Energy-Information Relation）

          \[ U(X_\beta) - \frac 1\beta H(X_\beta) = -\frac 1\beta\ln Z. \]

    • （交叉熵）我们有

          \begin{equation*}\begin{split} CE(X, X_\beta) &= -\sum_i \mathbb{P}(X = x_i)\ln\mathbb{P}(X_\beta = x_i) \\ &= \sum_i \mathbb{P}(X = x_i) \cdot \beta\mathcal{H}(x_i) + \sum_i \mathbb{P}(X = x_i) \cdot \ln Z \\ &= \beta U(X) + \ln Z. \end{split}\end{equation*}

      因此，我们可以得到如下的能量-交叉熵关系（Energy-CrossEntropy Relation）

          \[ U(X) - \frac 1\beta CE(X, X_\beta) = -\frac 1\beta\ln Z. \]

    • （KL散度）由能量-交叉熵关系，

          \begin{equation*}\begin{split} D_{KL}(X || X_\beta) &= -H(X) + CE(X, X_\beta) \\ &= -H(X) + \beta U(X) + \ln Z. \end{split}\end{equation*}

      由能量-熵关系，

          \begin{equation*}\begin{split} D_{KL}(X || X_\beta) &= -H(X) + \beta U(X) + H(X_\beta) - \beta U(X_\beta) \\ &= \beta\bigg[U(X) - \frac 1\beta H(X)\bigg] - \beta\bigg[U(X_\beta) - \frac 1\beta H(X_\beta)\bigg]. \end{split}\end{equation*}

  • 如果我们定义自由能为

        \[ F = U - \frac 1\beta H, \]

    那么，当\beta > 0时，

        \[ F(X) - F(X_\beta) = \frac 1\beta D_{KL}(X || X_\beta) \geq 0. \]

    Gibbs分布既可以最大化Shannon熵，也可以最小化自由能。此时，我们称系统位于热动力学平衡态（Thermodynamic Equilibrium）
    • 在内能不变的约束下，Gibbs分布可以最大化Shannon熵
    • 在无约束下，Gibbs分布可以最小化自由能
    • 我们通常用自由能是否最小，来判断系统是否位于热动力学平衡态，并且KL散度可以用于衡量系统状态、热动力学平衡态之间的接近程度
    • 最后，Gibbs分布的内能、Shannon熵、自由能可以由配分函数得到

电路中的噪声