基本原理
对于线性方程组 Ax = b，其中A是一个n × n的矩阵，x是未知向量，b是已知向量。GMRES方法从一个初始猜测解x₀开始，在Krylov子空间Km(A, r₀)中构造近似解xm。Krylov子空间定义为：
Km(A, r₀) = span{r₀, Ar₀, A²r₀, …, Am-1r₀}
其中r₀ = b – Ax₀ 是初始残量。GMRES方法通过在Krylov子空间中寻找残量 ||b – Axm|| 的极小值来确定xm。这个过程涉及构建一个正交基，通常使用Arnoldi迭代过程。
算法步骤
GMRES算法可以总结为以下几个步骤：
- 选择一个初始猜测解 x₀，计算初始残量 r₀ = b – Ax₀。
- 使用Arnoldi迭代过程生成Krylov子空间Km(A, r₀) 的正交基。
- 在Krylov子空间中寻找解 xm，使得 ||b – Axm|| 最小。
- 更新解 xm，并检查收敛准则。如果满足收敛条件，则停止迭代；否则，重复步骤。
Arnoldi迭代过程通过Gram-Schmidt正交化方法构建一个正交矩阵Qm和上Hessenberg矩阵Hm。这些矩阵被用于计算近似解。
优势与局限性
GMRES方法相对于其他迭代方法具有以下优势：
- 鲁棒性：对于非对称矩阵，GMRES通常比其他迭代方法（如共轭梯度法）更稳定。
- 快速收敛：在某些情况下，GMRES可以实现快速收敛，特别是在矩阵具有“良好”性质的情况下。
- 通用性：GMRES可以应用于广泛的线性方程组问题。
然而，GMRES也存在一些局限性：
- 存储需求：由于需要存储正交基，GMRES的内存需求会随着迭代次数的增加而增加。
- 计算成本：每次迭代的计算成本相对较高，因为需要进行矩阵向量乘法和正交化。
- 重启：为了控制内存需求，通常使用重启技术，但重启可能会减慢收敛速度。
应用领域
GMRES方法广泛应用于以下领域：
- 偏微分方程求解：用于求解由有限元、有限差分等方法离散的偏微分方程。
- 图像处理：在图像重建和去噪等问题中使用。
- 控制系统：用于求解控制系统的线性方程组。
- 物理模拟：用于模拟流体动力学、电磁学等问题。
GMRES在这些领域中，为解决大规模问题提供了有效的工具。
结论
广义极小残量方法 (GMRES) 是一种强大的迭代方法，用于求解大型非对称线性方程组。它基于Krylov子空间，通过最小化残量来逼近解。尽管GMRES存在存储和计算成本的挑战，但其鲁棒性和通用性使其成为科学与工程计算中的重要工具，在多个领域都有着广泛的应用。