从热动力学到深度学习 现代深度学习 关于信息理论和热动力学，可参见信息理论视角下的热动力学 现代深度学习，源于Hinton等人提出的基于热动力学的模型 在热动力学中，Hamiltonian的常数倍 –> Softmax –> 概率。在深度学习中，神经网络的输出 –> Softmax –> 概率 深度学习用随机梯度下降法来求解最优化问题，所以我们需要计算Softmax的梯度 计算梯度需要利用链式法则，所以我们需要将梯度向量视为Jacobi矩阵 深度学习将向量、矩阵的运算统一为张量的运算，包括广播运算、数量运算等