La Décomposition en Valeurs Singulières et le Théorème Spectral : Une Approche Matricielle

La décomposition d'une matrice en valeurs singulières (SVD) est un outil fondamental en analyse matricielle, permettant de représenter une matrice de manière simplifiée et d'analyser ses propriétés spectrales. Cela est particulièrement utile dans des contextes où les matrices sont complexes ou difficiles à manipuler directement. Examinons le processus, notamment en ce qui concerne les matrices symétriques et les matrices normales, et comment le théorème spectral facilite cette décomposition.

Considérons d'abord une matrice normale $A$ qui possède des valeurs propres multiples et des vecteurs propres correspondants non orthogonaux. Dans ce cas, nous procédons à un ajustement de ces vecteurs pour les rendre orthogonaux entre eux. Soit $\lambda$ une valeur propre de multiplicité $m$. Les valeurs propres et leurs vecteurs associés peuvent être ordonnés comme suit : $\lambda, \lambda, \ldots, \lambda, \lambda_{m+1}, \ldots, \lambda_n$ et $v_1, v_2, \ldots, v_m, v_{m+1}, \ldots, v_n$. Les vecteurs $v_{m+1}, \ldots, v_n$ sont orthogonaux entre eux et au reste des vecteurs. Il s'agit alors de trouver un nouvel ensemble de vecteurs orthogonaux $v'_1, v'_2, \ldots, v'_m$, chacun étant orthogonal à $v_{m+1}, \ldots, v_n$, et chaque $v'_i$ étant un vecteur propre correspondant à $A$.

Pour ce faire, on applique l'algorithme de Gram-Schmidt. Par exemple, on choisit $v'_1 = v_1$, puis $v'_2 = v_2 + \alpha v_1$, où $\alpha$ est déterminé de manière à rendre $v'_2$ orthogonal à $v'_1$. De même, $v'_3$ est calculé en ajoutant des multiples de $v_1$ et $v_2$, puis orthogonalise ce vecteur aux précédents. Ce processus peut être répété jusqu'à obtenir tous les vecteurs $v'_m$ orthogonaux. Le résultat est une base orthogonale de vecteurs propres pour $A$, permettant de diagonaliser la matrice.

Prenons un exemple simple avec la matrice symétrique suivante sur $\mathbb{R}$:

$$A = \begin{pmatrix}$$

5 & -2 & -4 \\ -2 & 2 & 2 \\ -4 & 2 & 5 \end{pmatrix}

Ensuite, à l'aide de l'algorithme de Gram-Schmidt, on génère des vecteurs propres orthogonaux $v'_1, v'_2, v'_3$, permettant de réécrire la matrice sous sa forme spectrale :

A = \lambda_1 v'_1 v'_1^* + \lambda_2 v'_2 v'_2^* + \lambda_3 v'_3 v'_3^*

En ce qui concerne la décomposition en valeurs singulières (SVD), elle s'applique aux matrices rectangulaires, qu'elles soient carrées ou non. Pour une matrice $A$ de dimensions $m \times n$, la SVD décompose $A$ en trois matrices : $A = U \Sigma V^*$, où $U$ est une matrice unitaire de dimension $m \times m$, $\Sigma$ est une matrice diagonale de valeurs singulières, et $V^*$ est une matrice unitaire de dimension $n \times n$. Les valeurs singulières $\sigma_i$ sont les racines carrées des valeurs propres non nulles de $A^* A$ et $AA^*$, et elles sont toujours réelles et non négatives.

Il est important de noter que, pour une matrice $A$, la SVD peut être utilisée pour trouver sa pseudo-inverse de Moore-Penrose, une généralisation de l'inverse classique. La pseudo-inverse est particulièrement utile lorsque la matrice n'est pas carrée ou est singulière. La pseudo-inverse $A^+$ peut être calculée à partir de la SVD en utilisant la relation $A^+ = V \Sigma^+ U^*$, où $\Sigma^+$ est la pseudo-inverse de $\Sigma$, obtenue en inversant les valeurs singulières non nulles.

La pseudo-inverse est utilisée dans de nombreux problèmes d'optimisation et de régression, notamment dans les moindres carrés, et elle joue un rôle crucial dans le calcul des solutions approchées aux systèmes d'équations linéaires.

Qu'est-ce qu'une pseudo-inverse de Moore-Penrose et pourquoi est-elle essentielle?

La pseudo-inverse de Moore-Penrose est alors donnée par $A^- = V \Sigma^- U^*$, où $\Sigma^-$ s'obtient en inversant les valeurs singulières non nulles de $\Sigma$, les autres éléments restant nuls. Ce mécanisme permet de reconstruire une matrice même lorsqu’elle n’est pas de rang plein, ni carrée, ni inversible au sens strict.

En pratique, ces propriétés rendent la pseudo-inverse extrêmement utile pour résoudre des systèmes d’équations linéaires sur- ou sous-déterminés, en particulier via la solution dite « au sens des moindres carrés » $x = A^- b$, minimisant $\|Ax - b\|$. Elle fournit alors la solution de norme minimale.

Un exemple illustratif est donné par la matrice non normale

0 & 0 \\ 1 & 0 \end{pmatrix},

Dès lors, la pseudo-inverse devient non seulement un outil algébrique, mais également une fenêtre sur la géométrie des espaces vectoriels. En ce sens, elle est étroitement liée à la structure spectrale de la matrice via ses valeurs singulières, bien plus stables numériquement que les valeurs propres.

L’opérateur vec permet notamment de reformuler des identités matricielles complexes sous une forme vectorisée. Par exemple, l’identité $\mathrm{tr}(AB) = \text{vec}(A^T)^T \text{vec}(B)$ fournit une reformulation précieuse du produit trace. De même, l’existence d’une matrice de permutation $P$ telle que $\text{vec}(A) = P \text{vec}(A^T)$ souligne la structure interne des espaces vectoriels associés aux matrices.

La norme matricielle, en particulier celle dite subordonnée, est définie comme $\|A\| = \sup_{\|x\| = 1} \|Ax\|$, c’est-à-dire comme le maximum d’amplification d’un vecteur unitaire par l’action de la matrice. Cette norme satisfait l’inégalité fondamentale $\|A x\| \leq \|A\| \cdot \|x\|$. Des cas particuliers sont données par les normes subordonnées aux normes vectorielles classiques : norme de la plus grande somme de colonnes ($\ell^1$), de la plus grande somme de lignes ($\ell^\infty$), ou encore norme spectrale, équivalente à la racine carrée du plus grand autovaluer de $A^* A$.

Il est essentiel que le lecteur saisisse que la pseudo-inverse ne dépend pas du choix d’une base. Elle est une entité canonique, intimement liée à la structure géométrique de l’espace image et du noyau de la matrice. Comprendre sa construction revient à comprendre la structure interne des transformations linéaires — leurs directions d’expansion, leurs directions nulles, et comment projeter de manière minimale dans l’espace original. Elle est omniprésente dans les domaines du traitement du signal, de la statistique multivariée, de la mécanique quantique, et au-delà.