Sous-espace de Krylov

En algèbre linéaire, le sous-espace de Krylov d'ordre r associé à une matrice ${\displaystyle A}$ de taille ${\displaystyle n}$ et un vecteur b de dimension n est le sous-espace vectoriel linéaire engendré par les vecteurs images de b par les r premières puissances de A (à partir de ${\displaystyle A^{0}=I}$)^[1], c'est-à-dire

${\displaystyle {\mathcal {K}}_{r}(A,b)=\operatorname {span} \,\{b,Ab,A^{2}b,\ldots ,A^{r-1}b\}.}$

Le concept porte le nom du mathématicien appliqué et ingénieur naval russe Alexei Krylov, qui a publié un article à ce sujet en 1931^[2].

Les sous-espaces de Krylov ont de nombreuses propriétés utilisées en algèbre linéaire. Soit ${\displaystyle r\in \mathbb {N} }$. En considérant ${\displaystyle A}$ une matrice de taille ${\displaystyle n\times n}$ et le vecteur colonne ${\displaystyle b\in \mathbb {R} ^{n}}$, on a les propriétés suivantes^[3] :

• ${\displaystyle {\mathcal {K}}_{r}(A,b)\subset {\mathcal {K}}_{r+1}(A,b)}$,
• ${\displaystyle A{\mathcal {K}}_{r}(A,b)\subset {\mathcal {K}}_{r+1}(A,b)}$.

Comme ${\displaystyle {\mathcal {K}}_{r}(A,b)\subset \mathbb {R} ^{n}}$ on a ${\displaystyle \dim({\mathcal {K}}_{r}(A,b))\leq n}$ et il existe un entier ${\displaystyle r_{0}\leq n}$ dépendant de ${\displaystyle A}$ et ${\displaystyle b}$ tel que les vecteurs ${\displaystyle \{b,Ab,A^{2}b,\ldots ,A^{r-1}b\}}$ sont linéairement indépendants tant que ${\displaystyle r<r_{0}}$. De plus, on sait que ${\displaystyle {\mathcal {K}}_{r}(A,b)\subset {\mathcal {K}}_{r_{0}}(A,b)}$ d'après la première relation d'imbrication ci-dessus. La valeur ${\displaystyle r_{0}}$ désigne la dimension maximale des sous-espaces de Krylov associés à ${\displaystyle A}$ et ${\displaystyle b}$.

On a les relations d'imbrication suivantes :

${\displaystyle {\mathcal {K}}_{1}(A,b)\subset \cdots \subset {\mathcal {K}}_{r}(A,b)\subset {\mathcal {K}}_{r+1}(A,b)\subset \cdots \subset {\mathcal {K}}_{r_{0}}(A,b)={\mathcal {K}}_{r_{0}+1}(A,b)\cdots }$

On rappelle que pour tout ${\displaystyle r}$ on a ${\displaystyle {\mathcal {K}}_{r}(A,b)\subset \mathbb {R} ^{n}}$. On en déduit que ${\displaystyle r_{0}\leq n+1}$. De plus, on a ${\displaystyle r_{0}\leq 1+\operatorname {rank} A}$. Plus précisément, ${\displaystyle r_{0}}$ est inférieur au degré du polynôme minimal de ${\displaystyle A}$. En effet, si ${\displaystyle p(x)\in \mathbb {R} _{m}[x]}$ est le polynôme minimal de ${\displaystyle A}$ alors il existe une famille de réels ${\displaystyle (a_{i})_{0\leq i\leq m}}$ tels que ${\displaystyle p(A)=\displaystyle \sum _{i=0}^{m}a_{i}A^{i}}$ est la matrice nulle. En particulier ${\displaystyle p(A)b}$ est le vecteur nul donc les vecteurs ${\displaystyle \lbrace b,Ab,\cdots ,A^{m}b\rbrace }$ sont liés. Plus exactement, ${\displaystyle r_{0}\leq \deg(p)}$, où ${\displaystyle p(A)}$ est le polynôme minimal de ${\displaystyle A}$.

Les propriétés qui suivent sont aussi vérifiées par les sous-espaces de Krylov:

• ${\displaystyle {\mathcal {K}}_{r}(A,b)}$ est un sous-module cyclique généré par ${\displaystyle b}$ de la torsion ${\displaystyle k[x]}$ -module ${\displaystyle (k^{n})^{A}}$, où ${\displaystyle k^{n}}$ est l'espace linéaire sur ${\displaystyle k}$ .
• ${\displaystyle k^{n}}$ peut être décomposé comme la somme directe des sous-espaces de Krylov.

Les sous-espaces de Krylov sont utilisés dans de nombreux algorithmes numériques en algèbre linéaire. Par exemple, on mentionne les utilisations suivantes :

• le calcul de ${\displaystyle f(A)b}$ où ${\displaystyle f:x\mapsto f(x)}$ est une fonction analytique. Comme ${\displaystyle f}$ est analytique, il existe des réels ${\displaystyle (a_{i})_{i\in \mathbb {N} }}$ tels que ${\displaystyle f(x)=\displaystyle \sum _{i\in \mathbb {N} }a_{i}x^{i}}$. Comme ${\displaystyle f(A)b\in \mathbb {R} ^{n}}$ et par construction des sous-espaces de Krylov, pour ${\displaystyle r}$ suffisamment grand, on a ${\displaystyle f(A)b\in {\mathcal {K}}_{r}(A,b)}$. Le calcul peut être effectué en se ramenant à l'espace de Krylov ${\displaystyle {\mathcal {K}}_{r}(A,b)}$. Cette approche est parfois utilisée pour calculer ${\displaystyle \exp(A)b}$^[4] pour la résolution de systèmes d'équation différentielle linéaires.
• la résolution du système linéaire ${\displaystyle AX=b}$ où ${\displaystyle A}$ est une matrice inversible. D'après le théorème de Cayley-Hamilton, on a ${\displaystyle A^{-1}b\in {\mathcal {K}}_{n-1}(A,b)}$ donc la résolution du système peut se faire dans des sous-espaces de Krylov. Les algorithmes GMRES et FOM^[5],[6] sont des algorithmes itératifs pour la résolution de système linéaires basés sur les sous-espaces de Krylov.
• la recherche de valeurs propres. Pour trouver des solutions approchées à des problèmes de vecteurs propres avec des matrices de grande dimension, les méthodes itératives modernes, telles que l'algorithme d'Arnoldi, peuvent être utilisées pour trouver une (ou plusieurs) valeurs propres de grandes matrices creuses. La méthode de la puissance itérée et l'algorithme de Lanczos reposent sur des sous-espaces de Krylov.
• la résolution de système mal posés de la forme ${\displaystyle Ax=b}$ (où ${\displaystyle A}$ peut-être une matrice rectangulaire et/ou une matrice non-inversible). On peut par exemple citer les méthodes de type RRGMRES^[7] qui reposent sur des sous-espaces de Krylov de la forme ${\displaystyle {\mathcal {K}}_{n}(A,Ab)}$. La solution d'un tel système est généralement considérée au sens des moindres carrés et n'est pas toujours unique.

Dans les algorithmes itératifs basés sur les sous-espaces de Krylov, on cherche à éviter les opérations matrice-matrice, coûteuses en calculs, au profit de produits matrice-vecteur. Étant donné le vecteur ${\displaystyle b}$, on calcule ${\displaystyle Ab}$, puis on multiplie ce vecteur par ${\displaystyle A}$ pour trouver ${\displaystyle A^{2}b}$ etc. De plus, au lieu de stocker des matrices complètes de taille ${\displaystyle n\times n}$ (${\displaystyle f(A)}$ ou ${\displaystyle A^{-1}}$ par exemple), on ne stocke qu'un vecteur de taille ${\displaystyle n}$. Grâce à ces propriétés, les sous-espaces de Krylov sont particulièrement utiles pour les grandes valeurs de ${\displaystyle n}$.

Tous les algorithmes qui fonctionnent de cette manière sont appelés méthodes de sous-espace de Krylov, ou plus simplement méthodes de Krylov. Ils font actuellement parti des méthodes les plus efficaces disponibles en algèbre linéaire numérique.

Étant donné que les vecteurs deviennent généralement rapidement presque linéairement dépendants en raison des propriétés de la méthode de la puissance itérée, les méthodes reposant sur le sous-espace de Krylov impliquent fréquemment un schéma d'orthonormalisation, comme l'algorithme de Lanczos pour les matrices hermitiennes ou l'algorithme d'Arnoldi pour les matrices plus générales.

Les méthodes de sous-espace de Krylov les plus connues sont Arnoldi, Lanczos, Conjugate gradient, IDR(s) (Induced dimension reduction), GMRES (généralisation de la méthode de minimisation du résidu), BiCGSTAB (méthode du gradient biconjugué stabilisé), QMR (quasi minimal résiduel), TFQMR (QMR sans transposition) et les méthodes de résidus minimaux.

• Olavi Nevanlinna, Convergence of iterations for linear equations, Basel, Birkhäuser Verlag, coll. « Lectures in Mathematics ETH Zürich », 1993, viii+177 pp. (ISBN 3-7643-2865-7, MR 1217705) lien Math Reviews
• Yousef Saad, Iterative methods for sparse linear systems, SIAM, 2003 (ISBN 0-89871-534-2, OCLC 51266114, lire en ligne) (OCLC 51266114)
• Gerard Meurant et Jurjen Duintjer Tebbens : "Méthodes de Krylov pour les systèmes linéaires non symétriques - De la théorie aux calculs", Springer Series in Computational Mathematics, vol.57, (oct. 2020). (ISBN 978-3-030-55250-3), url= https://doi.org/10.1007/978-3-030-55251-0 .
• Iman Farahbakhsh : "Méthodes du sous-espace de Krylov avec application dans les solveurs d'écoulement de fluide incompressible", Wiley, (ISBN 978-1119618683) (septembre 2020).

• Portail de l’algèbre