最优化方法 深度学习和最优化问题 深度学习是一个典型的最优化问题，其目标为最小化损失函数 通常，模型、数据集是固定的，参数是可学习的。学习的过程即寻找最优参数的过程，它可以使用梯度下降法， 寻找参数的过程即反向过程，称为训练（Training） 使用参数的过程即正向过程，称为推理（Inference）
![\[ loss(model(params), dataset). \]](https://yiming-2023.com/wp-content/ql-cache/quicklatex.com-40b5dcc3d78755292c0904b4542ffb30_l3.png "Rendered by QuickLaTeX.com")
、数据集
是固定的，参数
是可学习的。学习的过程即寻找最优参数的过程，它可以使用梯度下降法，![\[ params \leftarrow params - learning\_rate \times \frac{\partial loss}{\partial params}. \]](https://yiming-2023.com/wp-content/ql-cache/quicklatex.com-0a00ff6e4c8cf5303777cc2140965362_l3.png "Rendered by QuickLaTeX.com")
![\[ model,\; dataset \mapsto params. \]](https://yiming-2023.com/wp-content/ql-cache/quicklatex.com-12fa3c4175f08c13c580fc0883c6748d_l3.png "Rendered by QuickLaTeX.com")
![\[ model,\; params \mapsto output. \]](https://yiming-2023.com/wp-content/ql-cache/quicklatex.com-ccfc6ad733a44a2947f3216f5482f869_l3.png "Rendered by QuickLaTeX.com")
、数据集是固定的，参数是可学习的。学习的过程即寻找最优参数的过程，它可以使用梯度下降法，