从梯度下降理解优化

问题

研究正定二次函数 $f(x)=\frac12 x^T A x-b^T x$。梯度下降的每一步是

方法与计划

固定一个对称正定矩阵，分别尝试较小、适中与过大的步长。将目标函数值和到最优点的距离随迭代次数画出来。

当 $0<\eta<2/\lambda_{\max}(A)$ 时，对应迭代矩阵的谱半径小于 $1$。这给实验提供了可以检验的理论预测。

待记录的结果

本项目是计划示例，没有报告已完成的实验结果。之后可在这里补充参数、图像、个人贡献，以及哪些现象仍需要解释。

这是一篇用于展示网站功能的示例，可替换为自己的学习笔记或真实项目记录。