Voir la source de Décomposition en valeurs singulières

{{En-tête label|BA}}
En [[mathématiques]], le procédé d'[[algèbre linéaire]] de '''décomposition en [[#Valeurs singulières et vecteurs singuliers|valeurs singulières]]''' (ou '''SVD''', de l'[[anglais]] ''{{Langue|en|singular value decomposition}}'') d'une [[matrice (mathématiques)|matrice]] est un outil important de factorisation des matrices rectangulaires réelles ou complexes. Ses applications s'étendent du [[traitement du signal]] aux [[statistique]]s, en passant par la [[météorologie]].

Le [[théorème spectral]] énonce qu'une [[matrice normale]] peut être [[réduction d'endomorphisme|diagonalisée]] par une base orthonormée de [[vecteur propre|vecteurs propres]]. On peut voir la décomposition en valeurs singulières comme une généralisation du théorème spectral à des matrices arbitraires, qui ne sont pas nécessairement carrées.

== Contexte mathématique ==
=== Énoncé du théorème ===
Soit {{mvar|M}} une matrice ''m''×''n'' dont les coefficients appartiennent au [[Corps commutatif|corps]] ''K'', où ''K'' = [[nombre réel|ℝ]] ou ''K'' = [[nombre complexe|ℂ]]. Alors il existe une [[factorisation]] de la forme :
:<math>M = U\Sigma V^*\,\!</math>,
avec {{mvar|U}} une [[matrice unitaire]] ''m''×''m'' sur ''K'', {{math|Σ}} une matrice ''m''×''n'' dont les coefficients diagonaux sont des réels positifs ou nuls et tous les autres sont nuls, et {{math|''V''<sup>*</sup>}} est la [[matrice adjointe]] à {{mvar|V}}, [[matrice unitaire]] ''n''×''n'' sur ''K''. On appelle cette factorisation la ''décomposition en valeurs singulières'' de {{mvar|M}}.[[Fichier:Singular-Value-Decomposition.svg|thumb|right | 280px | Décomposition en valeurs singulières dans le cas d'une matrice réelle à 2 dimensions {{mvar|M}}. Cette transformation déforme, par exemple, un cercle unitaire bleu ci-dessus à gauche en une ellipse dans le coin supérieur droit de l'image. La transformation {{mvar|M}} peut alors être décomposée en une rotation ''V''<sup>*</sup> suivie d'une compression ou étirement {{math|Σ}} le long des axes de coordonnées suivie en fin d'une nouvelle rotation {{mvar|U}}. Les valeurs singulières ''σ''<sub>1</sub> et ''σ''<sub>2</sub> correspondent aux longueurs des grand et petit axes de l'ellipse.]]

* La matrice {{mvar|V}} contient un ensemble de vecteurs de base [[Base orthonormale|orthonormés]] de ''K''<sup>''n''</sup>, dits « d'entrée » ou « d'analyse » ;
* La matrice {{mvar|U}} contient un ensemble de vecteurs de base orthonormés de ''K''<sup>''m''</sup>, dits « de sortie » ;
* La matrice {{math|Σ}} contient dans ses coefficients diagonaux les [[#Valeurs_singulières_et_vecteurs_singuliers|valeurs singulières]] de la matrice {{mvar|M}}.

Une convention courante est de ranger les valeurs {{math|Σ<sub>''i'',''i''</sub>}} par ordre décroissant. Alors, la matrice {{math|Σ}} est déterminée de façon unique par {{mvar|M}} (mais {{mvar|U}} et {{mvar|V}} ne le sont pas).

=== Existence ===

Une [[valeur propre]] ''λ'' d'une matrice est caractérisée par la relation ''M u'' = ''λ u''. Quand {{mvar|M}} est [[hermitien]]ne, une autre caractérisation différente est envisageable. Soit {{mvar|M}} une matrice ''n'' × ''n'' [[matrice symétrique|symétrique]] réelle. On pose ''f'': '''R'''<sup>''n''</sup> → '''R''' telle que ''f''(''x'') = ''x<sup>T</sup> M x''. Cette fonction est [[Continuité (mathématiques)|continue]] et atteint son maximum en un certain [[vecteur]] ''u'' quand elle est restreinte à la boule unité fermée { ||''x''|| ≤ 1}. D'après le [[Multiplicateur de Lagrange|théorème des multiplicateurs de Lagrange]], ''u'' vérifie :

:<math>\nabla f = \nabla \; x^T M x = \lambda \cdot \nabla \; x^T x.</math>

On montre facilement que la relation ci-dessus donne {{math|''M u'' {{=}} ''λ u''}}. Ainsi, {{mvar|λ}} est la plus grande valeur propre de {{mvar|M}}. Les mêmes opérations sur le [[complément orthogonal]] de ''u'' donnent la seconde plus grande valeur, et ainsi de suite. Le cas d'une matrice complexe hermitienne est similaire, avec ''f''(''x'') = ''x''* ''M x'', [[fonction (mathématiques)|fonction]] de 2''n'' variables à valeurs réelles.

Les valeurs singulières sont similaires, en tant qu'elles peuvent être décrites de façon algébrique ou à partir de principes variationnels. En revanche, au contraire du cas des valeurs propres, l'[[matrice hermitienne|hermiticité]] et la symétrie de {{mvar|M}} ne sont plus nécessaires.

==== Preuve utilisant l'algèbre ====

Soit {{mvar|M}} une matrice complexe ''m''×''n''. Alors ''M*M'' est positive semi-définie, donc hermitienne. D'après le [[théorème spectral]], il existe une matrice unitaire carrée de côté ''n'', notée ''V'', telle que :
:<math>V^* M^* M V = \begin{pmatrix} D & 0 \\ 0 & 0\end{pmatrix}</math>,
où ''D'' est diagonale, [[Matrice définie positive|définie positive]] et de même [[Rang (mathématiques)|rang]] ''r'' que {{mvar|M}}. En écrivant ''V'' de façon appropriée :
:<math>\begin{pmatrix} V_1 ^* \\ V_2 ^*\end{pmatrix} M^* M \begin{pmatrix} V_1 & V_2 \end{pmatrix}
= \begin{pmatrix} V_1 ^* M^* M V_1 & V_1 ^* M^* M V_2 \\ V_2 ^* M^* M V_1 & V_2 ^* M^* M V_2  \end{pmatrix}
= \begin{pmatrix} D & 0 \\ 0 & 0\end{pmatrix}.
</math>
avec ''V''<sub>1</sub> matrice ''n''×''r'' de rang ''r'' et ''V''<sub>2</sub> matrice ''n''×''(n-r)''.

Ainsi, ''V*''<sub>1</sub>''M*MV''<sub>1</sub> = ''D'', et ''MV''<sub>2</sub> = 0. On pose :
:<math>U_1 = D^{-1/2} V_1^* M^*.</math>

Alors on a :
:<math>U_1 M V_1 = D^{1/2}. \,</math>

On constate que c'est presque le résultat attendu, à ceci près que {{math|''U''<sub>1</sub>}} est une matrice ''r''×''m'' d'une [[isométrie partielle]] ({{math|''U''<sub>1</sub>''U''*<sub>1</sub> {{=}} ''I''}}). Pour achever la démonstration, on complète {{math|''U''<sub>1</sub>}} pour la rendre unitaire. On choisit {{math|''U''<sub>2</sub>}} tel que <math>\begin{pmatrix} U_1 \\ U_2 \end{pmatrix}</math> soit unitaire. Un calcul montre que :
:<math>
\begin{pmatrix} U_1 \\ U_2 \end{pmatrix} M \begin{pmatrix} V_1 & V_2 \end{pmatrix} 
= \begin{pmatrix} D^{1/2} & 0 \\ 0 & 0\end{pmatrix} ,
</math>

ce qui correspond au résultat attendu, en prenant pour U la matrice adjointe de <math>\begin{pmatrix} U_1 \\ U_2 \end{pmatrix}</math>.

On aurait également pu commencer la démonstration en [[réduction d'endomorphisme|diagonalisant]] {{math|''MM''*}} au lieu de {{math|''M''*''M''}}, on aurait alors montré directement que {{math|''MM''*}} et {{math|''M''*''M''}} ont les mêmes valeurs propres non nulles.

==== Autre caractérisation ====

Les valeurs singulières peuvent également être caractérisées comme [[maximum|maxima]] de ''u''<sup>T</sup>''Mv'', considérée comme une fonction de ''u'' et ''v'', sur des sous-espaces particuliers. Les vecteurs singuliers sont les valeurs de ''u'' et ''v'' pour lesquelles ces maxima sont atteints.

Soit ''M'' une matrice réelle ''m'' × ''n''. Soit ''S''{{exp|''m''–1}} et ''S''{{exp|''n''–1}} l'ensemble des vecteurs unitaires (selon la norme 2) de '''R'''<sup>''m''</sup> et '''R'''<sup>''n''</sup> respectivement. On pose la fonction :
:<math>\sigma(u,v) = u^{T} M v \,</math>,
pour les vecteurs ''u'' ∈ ''S''{{exp|''m''–1}} et ''v'' ∈ ''S''{{exp|''n''–1}}.

On considère la fonction ''σ'' restreinte à ''S''{{exp|''m''–1}} × ''S''{{exp|''n''–1}}. Puisqu'à la fois ''S''{{exp|''m''–1}} et ''S''{{exp|''n''–1}} sont des [[Compacité (mathématiques)|ensembles compacts]], leur produit est également compact. En outre, puisque ''σ'' est continue, elle atteint son maximum pour au moins une paire de vecteurs ''u'' ∈ ''S''{{exp|''m''–1}} et ''v'' ∈ ''S''{{exp|''n''–1}}. Ce maximum est noté ''σ''<sub>1</sub>, et les vecteurs correspondants sont notés ''u''<sub>1</sub> et ''v''<sub>1</sub>. Puisque ''σ''{{ind|1}} est la plus grande valeur de ''σ''(''u'',''v''), elle est positive : si elle était négative, en changeant le signe de ''u''<sub>1</sub> ou de ''v''<sub>1</sub>, on la rendrait positive - et donc plus grande.

{{théorème|Lemme|''u''<sub>1</sub> et ''v''<sub>1</sub> sont respectivement vecteurs singuliers à gauche et à droite pour {{mvar|M}} associés à ''σ''<sub>1</sub>.}}
{{Démonstration|déroulante=non|De même que pour le cas des valeurs propres, en supposant que les deux vecteurs vérifient l'[[Multiplicateur de Lagrange|équation de Lagrange]] :
:<math>\nabla \sigma = \nabla \; u^T M v = \lambda_1 \cdot \nabla \; u^T u = \lambda_2 \cdot \nabla \; v^T v</math>.
On montre que cela donne :
:<math> M v_{1} = 2 \lambda_{1} u_{1} + 0</math>, et 
:<math> M^{T} u_{1} = 0 + 2 \lambda_{2} v_{1}</math>.
En multipliant la première équation à gauche par ''u''{{indexp|1|''T''}}, et la seconde à gauche par ''v''{{indexp|1|''T''}}, en prenant <math> \left| \left| u_{1} \right| \right|_2 = \left| \left| v_{1} \right| \right|_2 = 1</math>, on a :
:<math> u_{1}^{T} M v_{1} = \sigma_{1} = 2 \lambda_{1}</math>, 
:<math> v_{1}^{T} M^{T} u_{1} = \sigma_{1} = 2 \lambda_{2}</math>.

Ainsi, ''σ''<sub>1</sub> {{=}} 2 ''λ''<sub>1</sub> {{=}} 2 ''λ''<sub>2</sub>. On a donc :

:<math> M v_{1} = \sigma_{1} u_{1} \,</math>, et de même, <math> M^{T} u_{1} = \sigma_{1} v_{1} \,</math>.}}

D'autres vecteurs singuliers et valeurs singulières peuvent être obtenus en maximisant ''σ''(''u'', ''v'') sur ''u'', ''v'', qui sont orthogonaux à ''u''<sub>1</sub> et ''v''<sub>1</sub>, respectivement.

On peut de même traiter le cas de matrices complexes.

=== Valeurs singulières et vecteurs singuliers ===
On appelle '''valeur singulière''' de {{mvar|M}} toute racine carrée d'une valeur propre de {{math|''M''{{exp|*}}''M''}}, autrement dit tout réel positif σ tel qu'il existe un vecteur unitaire ''u'' dans ''K''<sup>''m''</sup> et un vecteur unitaire ''v'' dans ''K''<sup>''n''</sup> vérifiant :
:<math> M^{*} u = \sigma v \quad \textrm{   et   }\quad M v = \sigma u \,\!</math>

Les vecteurs ''u'' et ''v'' sont appelés '''vecteur singulier à gauche''' et '''vecteur singulier à droite''' pour σ, respectivement.

Dans toute décomposition en valeurs singulières, 
:<math>M = U\Sigma V^{*} \,\!</math>,
les coefficients diagonaux de Σ sont égaux aux valeurs singulières de {{mvar|M}}. Les colonnes de {{mvar|U}} et de ''V'' sont, respectivement, vecteur singulier à gauche et à droite pour les valeurs singulières correspondantes.

Par conséquent, le théorème ci-dessus énonce que :

* Une matrice {{mvar|M}} de  type ''m'' × ''n'' possède au moins une et au plus ''p''&nbsp;= min(''m'',''n'') valeurs singulières distinctes ;
* Il est toujours possible de trouver une [[Base (algèbre linéaire)|base]] unitaire pour ''K''<sup>''m''</sup> constituée des vecteurs singuliers à gauche de {{mvar|M}} ;
* Il est toujours possible de trouver une base unitaire pour ''K''<sup>''n''</sup> constituée des vecteurs singuliers à droite de {{mvar|M}} ;

Une valeur singulière pour laquelle on peut trouver deux vecteurs singuliers à gauche (respectivement, à droite) qui sont linéairements indépendants est dite ''dégénérée''.

Les valeurs singulières non dégénérées ont toujours un unique vecteur singulier à gauche et à droite, à un déphasage près, c’est-à-dire à une multiplication par un facteur de la forme ''e''<sup>'''i'''φ</sup> près (pour des réels, à un signe près). Par conséquent, si toutes les valeurs singulières de {{mvar|M}} sont non dégénérées et non nulles, alors sa décomposition en valeurs singulières est unique, à une multiplication d'une colonne de {{mvar|U}} et de la colonne de {{mvar|V}} correspondante par un même déphasage.

Les valeurs singulières dégénérées, par définition, possèdent plusieurs vecteurs singuliers. De plus, si ''u''<sub>1</sub> et ''u''<sub>2</sub> sont deux vecteurs singuliers à gauche qui correspondent à une même valeur singulière σ, alors tout vecteur unitaire obtenu par combinaison linéaire de ces deux vecteurs est également un vecteur singulier à gauche pour σ. Il en est de même pour les vecteurs singuliers à droites. Ainsi, si {{mvar|M}} possède des valeurs singulières dégénérées, alors sa décomposition en valeurs singulières n'est pas unique.

=== Exemple ===
Soit la matrice :

:<math>M = \begin{pmatrix}
1 & 0 & 0 & 0 & 2\\
0 & 0 & 3 & 0 & 0\\
0 & 0 & 0 & 0 & 0\\
0 & 4 & 0 & 0 & 0\end{pmatrix} 
</math>

La décomposition en valeurs singulières de {{mvar|M}} est alors :

:<math>
U = \begin{pmatrix}
0 & 0 & 1 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & -1\\
1 & 0 & 0 & 0\end{pmatrix} , \quad

\Sigma = \begin{pmatrix}
4 & 0 & 0 & 0 & 0\\
0 & 3 & 0 & 0 & 0\\
0 & 0 & 2{{,}}236 & 0 & 0\\
0 & 0 & 0 & 0 & 0\end{pmatrix} , \quad

V^{\ast} = \begin{pmatrix}
0 & 1 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0\\
0{{,}}447 & 0 & 0 & 0 & 0{{,}}894\\
0 & 0 & 0 & 1 & 0\\
-0{{,}}894 & 0 & 0 & 0 & 0{{,}}447\end{pmatrix}
</math>
(les valeurs non entières sont en fait des approximations à 10<sup>−3</sup> près : <math>2{{,}}236\simeq\sqrt5{{,}}\ 0{{,}}447 \simeq\sqrt5/5</math> et <math>\ 0{{,}}894 \simeq2\sqrt5/5</math>)<br/>
Ainsi, on a :

:<math>\begin{pmatrix}
1 & 0 & 0 & 0 & 2\\
0 & 0 & 3 & 0 & 0\\
0 & 0 & 0 & 0 & 0\\
0 & 4 & 0 & 0 & 0\end{pmatrix}

=

\begin{pmatrix}
0 & 0 & 1 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & -1\\
1 & 0 & 0 & 0\end{pmatrix}

\cdot

\begin{pmatrix}
4 & 0 & 0 & 0 & 0\\
0 & 3 & 0 & 0 & 0\\
0 & 0 & 2{{,}}236 & 0 & 0\\
0 & 0 & 0 & 0 & 0\end{pmatrix}

\cdot

\begin{pmatrix}
0 & 1 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0\\
0{{,}}447 & 0 & 0 & 0 & 0{{,}}894\\
0 & 0 & 0 & 1 & 0\\
-0{{,}}894 & 0 & 0 & 0 & 0{{,}}447\end{pmatrix}
</math>

On vérifie que {{math|Σ}} ne possède des valeurs non nulles que sur sa diagonale. De plus, comme montré ci-dessous, en multipliant les matrices {{mvar|U}} et {{math|''V''{{exp|*}}}} par leurs [[Matrice transposée|transposées]], on obtient la matrice identité :

:<math>
\begin{pmatrix}
0 & 0 & 1 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 0 & -1\\
1 & 0 & 0 & 0\end{pmatrix}

\cdot

\begin{pmatrix}
0 & 0 & 0 & 1\\
0 & 1 & 0 & 0\\
1 & 0 & 0 & 0\\
0 & 0 & -1 & 0\end{pmatrix}

=

\begin{pmatrix}
1 & 0 & 0 & 0\\
0 & 1 & 0 & 0\\
0 & 0 & 1 & 0\\
0 & 0 & 0 & 1\end{pmatrix}
</math>

Et de même :

:<math>
\begin{pmatrix}
0 & 0 & 0{{,}}447 & 0 & -0{{,}}894\\
1 & 0 & 0 & 0 & 0\\
0 & 1 & 0 & 0 & 0\\
0 & 0 & 0 & 1 & 0\\
0 & 0 & 0{{,}}894 & 0 & 0{{,}}447
\end{pmatrix}
\cdot
\begin{pmatrix}
0 & 1 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0\\
0{{,}}447 & 0 & 0 & 0 & 0{{,}}894\\
0 & 0 & 0 & 1 & 0\\
-0{{,}}894 & 0 & 0 & 0 & 0{{,}}447\end{pmatrix}
=
\begin{pmatrix}
1 & 0 & 0 & 0 & 0\\
0 & 1 & 0 & 0 & 0\\
0 & 0 & 1 & 0 & 0\\
0 & 0 & 0 & 1 & 0\\
0 & 0 & 0 & 0 & 1\end{pmatrix}
</math>

=== Lien avec la décomposition en valeurs propres ===

La décomposition en valeurs singulières est très générale, dans le sens où elle s'applique à toute matrice rectangulaire ''m'' × ''n''. La [[réduction d'endomorphisme|décomposition en valeurs propres]], en revanche, ne fonctionne que pour certaines [[matrice carrée|matrices carrées]]. Néanmoins, quand elles sont toutes les deux définies, elles sont liées.

Dans le cas d'une matrice {{mvar|M}} [[matrice hermitienne|hermitienne]] semi-définie positive, c'est-à-dire dont toutes les valeurs propres sont des réels positifs, alors les valeurs singulières et vecteurs singuliers correspondent aux valeurs propres et vecteurs propres de {{mvar|M}} :
:<math>M = U \Sigma V^{*}\,</math>

Plus généralement, étant donnée une décomposition en valeurs singulières de {{mvar|M}}, alors on a :

:<math>M^{*} M = V \Sigma^{*} U^{*}\, U \Sigma V^{*} = V (\Sigma^{*} \Sigma) V^{*}\,</math> et <math>M M^{*} = U \Sigma V^{*} \, V \Sigma^{*} U^{*} = U (\Sigma \Sigma^{*}) U^{*}\,</math>

Le côté droit de ces relations décrit la décomposition en valeurs propres du côté gauche. Ainsi, le carré du module de chaque valeur singulière non nulle de {{mvar|M}} est égal au module de la valeur propre non nulle correspondante de {{math|''M''*''M''}} et de {{math|''MM''*}}. En outre, les colonnes de {{mvar|U}} (vecteurs singuliers à gauche) sont vecteurs propres pour <math>MM^{*}</math>, et les colonnes de ''V'' (vecteurs singuliers à droite) sont vecteurs propres de {{math|''M''*''M''}}.

=== Interprétation géométrique ===
Puisque {{mvar|U}} et ''V'' sont unitaires, on sait que les colonnes ''u''<sub>1</sub>,...,''u<sub>m</sub>'' de {{mvar|U}} forment une base orthonormée de ''K''<sup>''m''</sup> et que les colonnes ''v''<sub>1</sub>,...,''v<sub>n</sub>'' de ''V'' forment une base orthonormée de ''K''<sup>''n''</sup> (par rapport au produit scalaire sur ces espaces).

La transformation linéaire ''T'': ''K''<sup>''n''</sup> → ''K''<sup>''m''</sup>, qui à chaque vecteur ''x'' associe ''Mx'', a une expression relativement simple dans ces bases orthonormées : ''T''(''v<sub>i</sub>'') = ''σ<sub>i</sub> u<sub>i</sub>'', pour ''i'' = 1,...,min(''m'',''n''), où ''σ<sub>i</sub>'' est le ''i''-ème coefficient diagonal de Σ, et ''T''(''v''<sub>''i''</sub>) = 0 pour ''i'' > min(''m'',''n'').

Le contenu géométrique du théorème de décomposition en valeurs singulières peut être résumé ainsi : pour toute [[application linéaire]] ''T'' : ''K''<sup>''n''</sup> → ''K''<sup>''m''</sup>, on peut trouver une base orthonormale pour ''K''<sup>''n''</sup> et une base orthonormale pour ''K''<sup>''m''</sup> telles que ''T'' associe au ''i''-ème [[vecteur de base]] de ''K''<sup>''n''</sup> un multiple positif du ''i''-ème vecteur de base de ''K''<sup>''m''</sup>, les vecteurs restants ayant pour image 0. Dans ces bases, l'application ''T'' est ainsi représentée par une [[matrice diagonale]] dont les coefficients sont des réels positifs.

=== Interprétation statistique ===
[[Image:SVD Energy.svg|thumb|upright=1.5|right|Les valeurs de la diagonale de la matrice {{math|Σ}}, rapidement décroissantes, peuvent être comprises comme des coefficients d'énergie. En sélectionnant uniquement les premières, on peut construire un modèle simplifié, empirique, décrivant les données.]]
On peut également interpréter cette décomposition dans l'esprit de l'étude [[statistique]] d'un ensemble de données. Alors, les principales colonnes de {{mvar|U}} représentent les tendances de l'ensemble d'étude (les vecteurs de {{mvar|U}} représentent les « directions de plus grande variation » de l'ensemble). Les valeurs diagonales de Σ sont alors analogues à l'« [[énergie]] » ou la « représentativité » qui va pondérer ces comportements ; elles décroissent d'autant plus vite que l'ensemble statistique est ordonné.

On peut considérer, par exemple dans l'optique du ''[[exploration de données|data mining]]'', que les informations « importantes » de l'ensemble sont celles qui présentent une structure plus marquée. Alors, en annulant la diagonale de {{math|Σ}} au-delà d'un certain indice, puis en reconstituant la matrice de départ, on obtient des données filtrées, représentant l'information dominante de l'ensemble de départ. De façon équivalente, on peut considérer nulles des données d'énergie inférieure à un certain seuil.

[[Image:SVD Graphic Example.svg|thumb|upright=1.5|left|Effet de la décomposition SVD sur un ensemble de données, ici la largeur (W) et la hauteur (L) de [[visage]]s humains. Les vecteurs U<sub>1</sub> et U<sub>2</sub> sont les deux premiers de la matrice {{mvar|U}}.]]
Ainsi, la SVD permet de construire un [[modèle]] empirique, sans [[théorie]] sous-jacente, d'autant plus précis qu'on y injecte de termes.

Il est par ailleurs possible de reconstruire, en utilisant une base de vecteurs singuliers d'un premier jeu de données, un autre jeu de données avec plus ou moins de précision, afin de déterminer la similarité entre les deux. Selon ce principe, des systèmes de décomposition, de [[reconnaissance faciale|reconnaissance]] et de reconstruction faciale ont été développés<ref name="MMH">{{en}} Muller, Magaia, Herbst : ''« [http://epubs.siam.org/doi/pdf/10.1137/S0036144501387517 Singular Value Decomposition, Eigenfaces, and 3D reconstructions], » 2004.''</ref>.

L'efficacité de la méthode dépend en particulier de la manière dont on lui présente les informations. Dans l'exemple d'un [[visage]], si on utilise naïvement la [[luminosité]] des différents [[pixel]]s d'une [[photographie]] pour construire une base de vecteurs singuliers, alors il sera difficile de reconstruire le même visage dans une pose légèrement différente (ou si l'éclairement du visage a varié) : les pixels ont changé - parfois beaucoup -  mais pas l'information implicite (à savoir le visage). On préfère, dans ces domaines d'application, traiter les données dans l'espace, d'où l'ajout d'un système de reconnaissance en 3D, qui permet d'« expliquer » les variations observées en reliant celles-ci, et de les relier aux données connues<ref name="MMH"/>.

== Histoire ==

La décomposition en valeurs singulières fut développée à l'origine par les mathématiciens étudiant la [[géométrie différentielle]], qui désiraient déterminer si une [[forme bilinéaire]] réelle pouvait en égaler une autre par des transformations orthogonales indépendantes des deux espaces concernés.

[[Eugenio Beltrami]] et [[Marie Ennemond Camille Jordan|Camille Jordan]] ont découvert indépendamment, en [[1873]] et [[1874]] respectivement<ref name="stewart">{{en}} G.W. Stewart : [http://citeseer.ist.psu.edu/cache/papers/cs/1389/ftp:zSzzSzftp.cs.umd.eduzSzpubzSzpaperszSzpaperszSzncstrl.umcpzSzCS-TR-2855zSzCS-TR-2855.pdf/stewart92early.pdf « Histoire des débuts de la décomposition en valeurs singulières »], Université du Maryland, 1992.</ref>, que les valeurs singulières des formes bilinéaires, représentées sous forme matricielle, constituaient un ensemble complet d'[[invariant]]s pour les formes bilinéaires subissant des substitutions orthogonales.

[[James Joseph Sylvester]] s'intéressa également à la décomposition en valeurs singulières en [[1889]]<ref name="stewart"/> pour les matrices réelles carrées, apparemment indépendamment des travaux de Beltrami et Jordan. Sylvester donna aux valeurs singulières le nom de « multiplicateurs canoniques » d'une matrice ''A''.

Le quatrième mathématicien à l'origine de la découverte de cette décomposition est Autonne<ref>L. Autonne, « Sur les matrices hypohermitiennes et sur les matrices unitaires », 1915.</ref>, en [[1915]]. Il aboutit à ce résultat au travers de la décomposition polaire.

La première preuve de la décomposition en valeurs singulières pour les matrices rectangulaires et complexes est attribuée à Eckart et à Young, en 1936.

En 1907, [[Erhard Schmidt]] définit l'analogue des valeurs singulières pour les [[opérateur intégral|opérateurs intégraux]]<ref name="stewart"/> (qui, à certaines conditions près, sont [[opérateur compact|compacts]]) ; il semble qu'il ne connaissait pas les travaux parallèles sur les valeurs singulières des matrices de [[dimension]] finie. Cette théorie fut développée encore par le mathématicien français [[Émile Picard]] en 1910, qui est à l'origine du terme moderne de « valeurs singulières » qu'il notait <math>\sigma_k</math><ref name="stewart"/>{{,}}<ref>E. Schmidt, « ''Zur Theorie der linearen und nichtlinearen Integralgleichungen'' », 1907.</ref>.

Avant 1965, aucune méthode efficace de calcul de cette décomposition n'était connue. {{Lien|fr=Gene H. Golub|lang=de}} et [[William Kahan]] proposèrent un premier algorithme cette année-là<ref>G.H. Golub, W. Kahan, « ''Calculating the Singular Values and Peusoinverse of  a Matrix'' », 1965.</ref>, puis, en 1970, Golub et [[Christian Reinsch]] publièrent une variante de l'algorithme Golub-Kahan qui demeure aujourd'hui le plus utilisé<ref>G.H. Golub, C.Reinsch : « ''Singular value decomposition and least squares solution'' », 1970.</ref>.

La généralisation de cette décomposition à deux, trois ou ''N'' dimensions est encore un sujet de recherche active, puisqu'elle se révèle d'un intérêt majeur dans de nombreux domaines.

== Variantes ==
=== SVD/ICA ===
Il est courant d'associer les résultats de la décomposition en valeurs singulières à ceux de l'[[analyse en composantes indépendantes]] (ou ICA)<ref>Il n'est également pas rare de les opposer, puisqu'elles peuvent donner des résultats contradictoires. On peut lire à ce sujet, au sujet des [[Électro-encéphalographie|EEG]], en anglais : Drozd, Husar, Nowakowski, Henning : « ''Detecting evoked potentials with SVD- and ICA-based statistical models'', Engineering in Medicine and Biology Magazine, IEEE, 2005.</ref>. Les [[Algorithmique|algorithmes]] qui exploitent une combinaison des deux sont couramment appelés '''SVD/ICA'''. En effet, l'analyse en composantes indépendantes tient compte des termes d'ordre supérieurs ou égaux à 2 négligés par la décomposition en valeurs singulières.

=== Décomposition généralisée ===
Le procédé de '''décomposition en valeurs singulières généralisée''', ou '''GSVD''', étend le concept de la décomposition en valeurs singulières en utilisant des [[semi-norme]]s quadratiques et s'applique aux [[système linéaire|systèmes linéaires]].

Une matrice ''A'' de taille ''m'' × ''n'' et une matrice ''B'' de taille ''p'' × ''n'' réelles ou complexes étant données, leur décomposition généralisée est :
:<math>A=U\Sigma_1 [ 0, R] Q^{*}</math>
et
:<math>B=V\Sigma_2 [ 0, R] Q^{*}</math>

avec {{mvar|U}}, {{mvar|V}} et {{mvar|Q}} des [[matrice unitaire|matrices unitaires]] et {{mvar|R}} une matrice triangulaire supérieure, non singulière, carrée ''r'' × ''r'', en notant {{math|''r'' ≤ ''n''}} le [[rang (mathématiques)|rang]] de {{math|[''A''{{exp|*}},''B''{{exp|*}}]}}.

Par ailleurs, {{math|Σ{{ind|1}}}} et {{math|Σ{{ind|2}}}} sont des matrices ''m'' × ''r'' et ''p'' × ''r'' respectivement, nulles partout sauf sur leur diagonale principale, qui contient les réels {{mvar|α{{ind|i}}}} et {{mvar|β{{ind|i}}}} respectivement, tels que :

:<math> 0 \le \alpha_i,\beta_i\le 1 \quad \textrm{    et    }\quad \alpha_i^2 + \beta_i^2 =1</math>.

Les rapports <math>\sigma_i=\alpha_i/\beta_i</math> sont analogues aux valeurs singulières. Dans le cas particulier, mais important, où {{mvar|B}} est carrée et inversible, elles ''sont'' les valeurs singulières, {{mvar|U}} et {{mvar|V}} sont alors les vecteurs singuliers de la matrice {{math|''AB''{{-1}}}}.

=== Décomposition 2D ===
[[Image:SVD Singular values plot.png|thumb|right|On peut généraliser la décomposition en valeurs singulières à plusieurs dimensions, en particulier pour traiter les images. Ici, une image puis ses valeurs singulières (3DSVD). Ici encore, elles décroissent rapidement.]]
Il est possible d'étendre le concept de décomposition en valeurs singulières à des matrices complexes, ou, de manière équivalente à des matrices constituées de vecteurs 2D. Le calcul est proche de celui de la décomposition en valeurs singulières simple. On parle de '''décomposition en valeurs singulières 2D''', ou '''2DSVD'''.

De même que pour le cas simple, il existe des algorithmes spécialisés qui donnent une approximation d'un ensemble de matrices de rang faible, par exemple des images ou des cartes météorologiques.

Soit {{math|''X''{{=}}(''x''{{ind|1}},...,''x{{ind|n}}'')}} un ensemble de réels (c'est-à-dire de vecteurs 1D). Pour la décomposition en valeurs singulières, on construit la [[Matrice de variance-covariance|matrice de covariance]] et la matrice de Gram :
:<math> F=X X^T \ , \ G=X^T X </math>.

On calcule ensuite leurs vecteurs propres {{math|''U''{{=}}(''u''{{ind|1}},...,''u{{ind|n}}'')}} et {{math|''V''{{=}}(''v''{{ind|1}},...,''v{{ind|n}}'')}}. 
Puisque <math> VV^T=I, UU^T=I </math>, on a :
:<math> X = UU^T X VV^T = U (U^T XV) V^T = U \Sigma V^T </math>.

En ne gardant que les ''K'' vecteurs propres principaux de {{mvar|U}} et {{mvar|V}}, on obtient ainsi une approximation de rang faible de la matrice {{mvar|X}}. Pour les algorithmes de 2DSVD, on travaille avec des matrices 2D, c'est-à-dire un ensemble de matrices {{math|(''X''{{ind|1}},...,''X{{ind|n}}'')}}.
On construit les [[Matrice de variance-covariance|matrices de covariance]] ligne-ligne et colonne-colonne :
:<math> F=\sum_i X_i X_i^T \ , \ G=\sum_i X_i^T X_i </math>.
Pour ce faire, on agit de la même façon que pour la décomposition classique, et on calcule leurs vecteurs propres {{mvar|U}} et {{mvar|V}}. On approche les {{mvar|X{{ind|i}}}} :
:<math> X_i = U U^T X_i  V V^T = U (U^T X_i V) V^T = U M_i V^T </math>
par une méthode identique à celle de la décomposition en valeurs singulières.

On obtient ainsi une approximation de {{math|(''X''{{ind|1}},...,''X{{ind|n}}'')}} par la [[fonction (mathématiques)|fonction]] :
:<math>J =  \sum_i \left| X_i - L M_i R^T \right| ^2 </math>

Les algorithmes de 2DSVD sont principalement utilisés en [[Compression d'image|compression]] et représentation d'images. L'utilisation de la SVD pour la compression d'images a toutefois été montrée comme étant sous-optimale par rapport à une [[Transformée en cosinus discrète|DCT]], notamment à cause de l'obligation de transmettre la transformée elle-même, en plus des données image<ref>{{article|auteur1=Sven Ole Aase|auteur2=John Håkon Husøy|auteur3=P. Waldemar|titre=A critique of SVD-based image coding systems|périodique=IEEE International Symposium on Circuits and Systems|année=1999}}</ref>. Son rôle dans le domaine de la compression est de fait marginal.

=== Décomposition 3D ===
En considérant l'utilisation de matrices dépliées, on peut étendre la décomposition en valeurs singulières aux cas tridimensionnels, ou '''3DSVD'''. De tels algorithmes sont utilisés en [[sismologie]], en [[météorologie]] et en [[acoustique]], où l'analyse de données 3D (ou 2D dépendant du temps) est souvent nécessaire.

=== Décompositions réduites ===
Dans les utilisations, il est assez rare de devoir utiliser la forme complète de la décomposition en valeurs singulières, y compris la décomposition complète du noyau sous forme unitaire. Il est en effet courant, plus rapide, et moins coûteux en termes de mémoire, d'utiliser des versions réduites de la SVD. Les décompositions suivantes sont valables pour les matrices ''m'' × ''n'' de rang ''r''.

==== SVD « fine » ====

:<math>M = U_n \Sigma_n V^{*} \,</math>

Seuls les ''n'' vecteurs colonnes de {{mvar|U}} correspondant aux vecteurs lignes de ''V''* sont calculés. Les vecteurs colonnes restant de {{mvar|U}} ne sont pas calculés, ce qui économise une quantité importante de calculs si <math>m \gg n</math>. La matrice ''U''<sub>n</sub> est ainsi ''m'' × ''n'', Σ<sub>n</sub> est [[matrice diagonale|diagonale]] ''n'' × ''n'' et ''V'' est ''n'' × ''n''.

La première étape du calcul d'une SVD « fine » est la décomposition QR de ''M'', qui peut être [[Optimisation de code|optimisée]] pour <math>m \gg n</math>.

==== SVD « compacte » ====

:<math>M = U_r \Sigma_r V_r^*</math>

Seuls les ''r'' vecteurs colonnes de {{mvar|U}} et les ''r'' vecteurs lignes de ''V''* correspondants aux valeurs singulières non nulles Σ<sub>r</sub> sont calculés. On obtient un résultat plus rapidement qu'avec la SVD « fine » si <math>n \gg r</math>. La matrice ''U''<sub>r</sub> est ainsi ''m'' × ''r'', Σ<sub>r</sub> est diagonale ''r'' × ''r'' et ''V''<sub>r</sub>* est ''r'' × ''n''.

==== SVD « tronquée » ====

:<math>\tilde{M} = U_t \Sigma_t V_t^*</math>

Seuls les ''t'' vecteurs colonnes de {{mvar|U}} et les ''t'' vecteurs lignes de ''V''* correspondants aux ''t'' plus grandes valeurs singulières Σ<sub>r</sub> sont calculées. C'est un calcul encore plus rapide que la SVD « compacte » si <math>r \gg t</math>. La matrice ''U''<sub>t</sub> est ainsi ''m''×''t'', Σ<sub>t</sub> est diagonale ''t'' × ''t'' et ''V''<sub>t</sub>* est ''t'' × ''n''.

Cependant, cette décomposition « tronquée » n'est plus une décomposition exacte de la matrice d'origine ''M'', mais la matrice obtenue, <math>\tilde{M}</math>, est la meilleure approximation de ''M'' obtenue par une matrice de rang ''t'', pour la [[norme d'opérateur]] subordonnée aux normes euclidiennes de '''R'''<sup>''n''</sup> et '''R'''<sup>''m''</sup>.

== Normes ==
=== Normes de Ky Fan ===
La somme des ''k'' plus grandes valeurs singulières de ''M'' est une [[Norme (mathématiques)|norme]] sur l'espace vectoriel des matrices, appelée '''norme de [[Ky Fan]]''' ou '''norme k''' de ''M''.

La première des normes de Ky Fan, la norme 1 de Ky Fan, est la même que la [[norme d'opérateur]] de ''M'' en tant qu'opérateur linéaire, selon les normes euclidiennes de ''K''<sup>''m''</sup> et ''K''<sup>''n''</sup>. En d'autres termes, la norme 1 de Ky Fan est la norme d'opérateur induite par le produit intérieur euclidien standard ''l''<sup>2</sup>. Pour cette raison, on l'appelle également norme 2 d'opérateur. On peut facilement vérifier la relation entre la norme 1 de Ky Fan et les valeurs singulières. C'est vrai en général, pour un opérateur borné ''M'' sur un espace de Hilbert (potentiellement infini) :

:<math>\| M \| = \| M^*M \|^{\frac{1}{2}}.</math>

Cependant, dans le cas des matrices, ''M*M''<sup>½</sup> est une [[matrice normale]], donc ||''M*M''||<sup>½</sup> est la plus grande valeur propre de ''M*M''<sup>½</sup>, donc la plus grande valeur singulière de ''M''.

La dernière norme de Ky Fan, qui est égale à la somme de toutes les valeurs singulières, est la norme de trace définie par ||''M''|| = Tr (''M*M'')<sup>½</sup>.

On considère la forme linéaire définie dans l'algèbre des matrices d'ordre ''n'' par:

:<math>u_X :  Y \to {\rm Tr}(^t Y X) </math>

On considère la norme spectrale <math>\|\ \|_2 </math> des matrices et l'on définit la norme duale de <math> u_X </math> par:

:<math>\|u_X\| = \sup_{\|Y\|_2=1} |{\rm Tr}(^t Y X)| </math>

On vérifie alors aisément que cette norme duale est en fait la norme trace de ''X'' définie ci-dessus. De plus, cette norme est une norme d'algèbre.

=== Norme de Hilbert-Schmidt ===
 
Les valeurs singulières sont liées à une autre norme sur l'espace des opérateurs. On considère le produit scalaire de [[David Hilbert|Hilbert]]-[[Erhard Schmidt|Schmidt]] sur les matrices ''n'' × ''n'', défini par <''M'', ''N''> = Tr ''N*M''. Alors la norme induite est ||''M''|| = <''M, M''><sup>½</sup> = (Tr ''M*M'')<sup>½</sup>. La trace étant un invariant de similitude, cela implique que :

:<math>\| M \| = \left(\sum s_i ^2\right)^{\frac{1}{2}}</math>,

où les ''s<sub>i</sub>'' sont les valeurs singulières de ''M''. On l'appelle '''norme de Frobenius''', '''norme 2 de Schatten''' ou '''norme de Hilbert-Schmidt''' de ''M''. On montre également que si :

:<math>\, M = (m_{ij})</math>,

alors cette norme coïncide avec :

:<math>\biggl( \sum_{ij} | m_{ij} | ^2\biggr)^{\frac{1}{2}}</math>.

== Opérateurs bornés sur les espaces de Hilbert ==

La factorisation {{math|''M {{=}} U''Σ''V''*}} peut être étendue comme [[opérateur borné]] ''M'' sur un espace de Hilbert ''H''. D'une façon générale, pour tout opérateur borné ''M'', il existe une isométrie partielle {{mvar|U}}, un vecteur unitaire ''V'', un espace de mesure ''(X, μ)'' et ''f'' mesurable positive telle que :
:<math>\; M = U T_f V^*, </math>
où <math>T_f</math> est la multiplication par ''f'' sur ''L''<sup>2</sup>(''X'', ''μ'').

On peut le montrer en travaillant l'argument d'[[algèbre linéaire]] utilisé pour le cas matriciel. ''VT<sub>f</sub> V*'' est l'unique racine positive de ''M*M'', donnée par l'[[Analyse fonctionnelle (mathématiques)|analyse fonctionnelle]] de [[Émile Borel|Borel]], pour les opérateurs auto-adjoints. La raison pour laquelle {{mvar|U}} n'a pas besoin d'être unitaire est liée au fait que, contrairement au cas de dimension finie, étant donnée une isométrie ''U''<sub>1</sub> avec un noyau non trivial, une [[isométrie]] ''U''<sub>2</sub> existe telle que :
:<math>\begin{pmatrix} U_1 \\ U_2 \end{pmatrix}</math>
est un opérateur unitaire.

Puisque, pour les matrices, la décomposition en valeurs singulières est équivalente à la décomposition polaire pour les opérateurs, on peut réécrire cela sous la forme :
:<math>M = U V^* \cdot V T_f V^*</math> 
et remarquer que ''U V*'' est encore une isométrie partielle tant que ''VT<sub>f</sub> V*'' est positif.

=== Valeurs singulières et opérateurs compacts ===

Pour étendre la notion de valeur singulière et de vecteurs singuliers au cas des [[Opérateur (mathématiques)|opérateurs]], on doit se restreindre aux [[opérateur compact|opérateurs compacts]] sur les [[espace de Hilbert|espaces de Hilbert]]. On rappelle certaines propriétés utiles :

* Les opérateurs compacts sur les [[espace de Banach|espaces de Banach]], donc de [[espace de Hilbert|Hilbert]], possèdent un [[Spectre d'un opérateur linéaire|spectre]] discret ;
* Si ''T'' est compact, tout ''λ'' de son spectre, non nul, est une valeur propre ;
* Un opérateur compact auto-adjoint peut être diagonalisé par ses vecteurs propres ;
* Si ''M'' est compact, alors ''M*M'' l'est également.

En utilisant la diagonalisation, l'image unitaire de la racine carrée positive de ''M'', notée ''T<sub>f</sub>'', possède une famille orthonormale de vecteurs propres {''e<sub>i</sub>''}, correspondants aux valeurs propres strictement positives {''σ<sub>i</sub>''}. Pour tout ''ψ'' ∈ ''H'',

:<math>
\; M \psi = U T_f V^* \psi = \sum_i  \langle U T_f V^* \psi, U e_i \rangle U e_i 
= \sum_i \sigma_i \langle \psi, V e_i \rangle U e_i,
</math>

quand la [[série (mathématiques)|série]] [[convergence normale|converge normalement]] dans ''H''. On remarque que cette expression est proche de celle dans le cas de dimension finie.

Les ''σ<sub>i</sub>'' sont appelées valeurs singulières de ''M''. {''U e<sub>i</sub>''} et {''V e<sub>i</sub>''} sont analogues aux vecteurs singuliers à gauche et à droite respectivement pour ''M''.

== Utilisations ==
=== Calcul du pseudo-inverse ===

La décomposition en valeurs singulières permet de calculer le [[pseudo-inverse]] d'une matrice. En effet, le pseudo-inverse d'une matrice ''M'' connaissant sa décomposition en valeurs singulières {{math|''M {{=}} U''Σ''V''*}}, est donné par :
:<math> M^+ = V \Sigma^+ U^*, \,</math>
avec Σ<sup>+</sup> le pseudo-inverse de Σ où tout coefficient non nul est remplacé par son inverse. Le pseudo-inverse lui-même permet de résoudre la [[méthode des moindres carrés]].

=== Image, rang et noyau ===

Une autre utilisation de la décomposition en valeurs singulières est la représentation explicite de l'[[image (mathématiques)|image]] et du [[noyau (algèbre)|noyau]] d'une matrice ''M''. Les vecteurs singuliers à droite correspondant aux valeurs singulières nulles de ''M'' engendrent le noyau de ''M''. Les vecteurs singuliers à gauche correspondant aux valeurs singulières non nulles de ''M'' engendrent son image.

Par conséquent, le [[rang (mathématiques)|rang]] de ''M'' est égal au nombre de valeurs singulières non nulles de ''M''. De plus, les rangs de ''M'', de {{math|''M''*''M''}} et de {{math|''MM''*}} sont égaux. {{math|''M''*''M''}} et  {{math|''MM''*}} ont les mêmes valeurs propres non nulles.

En algèbre linéaire, on peut prévoir numériquement le rang effectif d'une matrice, puisque les erreurs d'arrondi pourraient autrement engendrer des valeurs petites mais non nulles, faussant le calcul du rang de la matrice.

=== Approximations de matrices, le théorème d'Eckart Young ===
[[Image:Antinous SVD approximation.png|thumb|center|upright=3.2|Approximations successives d'une image, avec 1, 2, 4, 8, 16, 32, 64, 128 puis toutes les valeurs singulières (image originale à gauche).]]

Certaines applications pratiques ont besoin de résoudre un problème d'approximation de matrices {{mvar|M}} à partir d'une matrice <math>\tilde{M}</math> ayant un [[rang (mathématiques)|rang]] donné, égal à ''r''. Dans le cas où on tente de minimiser la distance au sens de la norme spectrale (ou aussi de Frœbenius) entre {{mvar|M}} et <math>\tilde{M}</math>, en gardant <math>\mbox{rg}(\tilde{M}) = r</math>, on constate que la solution est la décomposition en valeurs singulières de {{mvar|M}}, c'est-à-dire :

:<math>\tilde{M} = U \tilde{\Sigma} V^*</math>

avec <math>\tilde{\Sigma}</math> égale à {{math|Σ}}, si ce n'est qu'elle ne contient que les <math>r</math> plus grandes valeurs singulières, les autres étant remplacées par 0. Voici une démonstration :

{{démonstration|déroulante=oui|

On se limite aux matrices carrées par souci de simplification. On utilise le symbole norme triple pour représenter la norme spectrale.
On prouve le théorème d'Eckart Young tout d'abord pour la norme spectrale. Sans perte de généralité, on peut supposer que ''A'' est une matrice diagonale et donc que {{mvar|U}} et ''V'' sont la matrice identité. On pose donc {{math|''A'' {{=}} Σ}}. Les termes diagonaux de ''A'' sont notés {{mvar|σ{{ind|i}}}}. Ils sont triés par ordre décroissant. On a donc

:<math> \sigma_1 \ge \sigma_2 \ge \ldots \ge \sigma_n </math>

On considère une matrice ''B'' quelconque de rang ''r''. On considère le sous-espace vectoriel ''E'' de <math> \mathbb{R}^n</math> engendrés par les vecteurs {{math|(''e''{{ind|1}}, ..., ''e''{{ind|''r''+1}})}} où chacun des {{mvar|e{{ind|i}}}} est le vecteur {{math|(0, ..., 0,1,0,...,0)}}  non nul au rang ''i''. Ce sous-espace vectoriel est de dimension ''r''+1. Comme la matrice ''B'' est de rang ''r'', le noyau de B est de rang ''n''-''r''. Par un argument simple aux dimensions, l'intersection de ''E'' et du noyau de ''B'' n'est pas nulle. On considère un vecteur normalisé ''x'' appartenant à cette intersection. On définit <math>x = \sum_{i=1}^{r+1} x_i e_i </math>
On a alors

:<math>(A - B) x = A x - 0 = \Sigma x = \sum_{i=1}^{r+1} \sigma_i x_i e_i . </math>

Comme les vecteurs {{mvar|e{{ind|i}}}} sont orthogonaux et normés, on obtient:

:<math> \|(A - B) x\|^2 = \sum_{i=1}^{r+1} \sigma_i^2 x_i^2 \ge \sigma_{r+1}^2 \times 1 . </math>

Par définition de la norme spectrale, on déduit donc que quelle que soit la matrice ''B'', on a

:<math> |\|A-B\|| \ge \sigma_{r+1} </math>

On conclut la preuve en choisissant <math> B = \Sigma' = {\rm diag}(\sigma_1,\ldots,\sigma_{r},0,\ldots,0)</math>.
n constate alors aisément que <math>|\|A-B\|| = \sigma_{r+1}</math>.

Donc {{math|''B'' {{=}} Σ''{{'}}''}} est la matrice de rang r qui minimise la norme spectrale de ''A'' - ''B''.

En ce qui concerne la preuve pour la norme de Frœbenius, on garde les mêmes notations et on remarque que

:<math>|\|\ \|| \le \|\ \|_F </math>

La preuve est alors similaire.
}}

Ainsi, <math>\tilde M</math>, matrice de rang ''r'', est la meilleure approximation de {{mvar|M}} au sens de la norme de Frobenius (ou spectrale) quand <math>\sigma_i = s_i \quad (i=1,\cdots,r)</math>. De plus, ses valeurs singulières sont les mêmes que celles de {{mvar|M}}.

=== Application au traitement automatique des langues ===
Une des principales utilisation de la décomposition en valeurs singulières en traitement automatique des langues est l'[[analyse sémantique latente]] (ou LSA, de l'anglais ''{{lang|en|latent semantic analysis}}''), une méthode de la [[sémantique vectorielle]]. Ce procédé a pour but l'analyse des relations entre un ensemble de documents et des termes ou expressions qu'on y trouve, en établissant des « concepts » communs à ces différents éléments.

Brevetée en [[1988]]<ref>{{en}} [http://patft.uspto.gov/netacgi/nph-Parser?patentnumber=4839853 Dépôt de brevet] par Scott Deerwester, Susan Dumais, George Furnas, Richard Harshman, Thomas Landauer, Karen Lochbaum et Lynn Streeter.</ref>, on parle également d'indexation sémantique latente (LSI). Voici une description sommaire du principe de cet algorithme.

Dans un premier temps, on construit une matrice représentant les différentes occurrences des termes (d'un dictionnaire prédéterminé, ou extraits des documents), en fonction des documents. Par exemple, prenons trois œuvres littéraires :
* Document 1 : « J'adore Wikipédia » 
* Document 2 : « J'adore le chocolat » 
* Document 3 : « Je déteste le chocolat »

Alors la matrice ''M'' associée à ces documents sera :

:{| border=1 style=style="class="wikitable"
! ||J'||Je||adore||déteste||le||Wikipédia||chocolat
|- align=center
|'''Document 1'''||1||0||1||0||0||1||0
|- align=center
|'''Document 2'''||1||0||1||0||1||0||1
|- align=center
|'''Document 3'''||0||1||0||1||1||0||1
|}

Éventuellement, on peut réduire certains mots à leur radical ou à un mot équivalent, ou même négliger certains termes trop courts pour avoir un sens ; la matrice contient alors ''Je'', ''adorer'', ''détester'', ''Wikipédia'', ''chocolat''. Les coefficients (ici 1 ou 0) sont en général non pas un décompte mais une valeur proportionnelle au nombre d'occurrences du terme dans le document, on parle de pondération tf (''{{lang|en|term frequency}}''). D'autres pondérations comme idf (''{{lang|en|inverse document frequency}}'' ou [[TF-IDF]]) peuvent être impliquées.

Alors ''M'' sera de la forme :

:<math>\begin{matrix} 
 & \textbf{terme}_j \\
 & \downarrow \\
\textbf{document}_i^T \rightarrow &
\begin{pmatrix} 
x_{1,1} & \dots & x_{1,n} \\
\vdots & \ddots & \vdots \\
x_{m,1} & \dots & x_{m,n} \\
\end{pmatrix}
\end{matrix}
</math>

On peut également travailler avec la transposée de ''M'', que l'on note ''N''. Alors les vecteurs lignes de ''N'' correspondent à un terme donné, et donnent accès à leur « relation » à chaque document :

:<math>\textbf{terme}_i^T = \begin{bmatrix} x_{i,1} & \dots & x_{i,n} \end{bmatrix}</math>

Et de même, une colonne de la matrice ''N'' représente un document donné, et donne accès à sa relation à chaque terme :

:<math>\textbf{document}_j = \begin{bmatrix} x_{1,j} \\ \vdots \\ x_{m,j} \end{bmatrix}</math>

On accède à la corrélation entre les termes de deux documents en effectuant leur [[produit scalaire]]. La matrice symétrique obtenue en calculant le produit <math>S = N N^T </math> contient tous ces produits scalaires. L'élément de ''S'' d'indice {{math|(''i'',''p'')}} contient le produit :

:<math>S_{i, p} = \textbf{terme}_i^T \textbf{terme}_p = \textbf{terme}_p^T \textbf{terme}_i</math>.

De même, la matrice symétrique <math>Z = N^T N</math> contient les produits scalaires entre tous les documents, qui donne leur corrélation selon les termes :

:<math>Z_{j, q} = \textbf{document}_j^T \textbf{document}_q = \textbf{document}_q^T \textbf{document}_j</math>.

On calcule maintenant la décomposition en valeurs singulières de la matrice {{mvar|N}}, qui donne les matrices telles que :
:<math> M = U \Sigma V^T </math>

Alors les matrices de corrélation deviennent :

:<math>
\begin{matrix}
S &=& (U \Sigma V^T) (U \Sigma V^T)^T = (U \Sigma V^T) (V^{T^T} \Sigma^T U^T) = U \Sigma V^T V \Sigma^T U^T = U \Sigma \Sigma^T U^T \\
Z &=& (U \Sigma V^T)^T (U \Sigma V^T) = (V^{T^T} \Sigma^T U^T) (U \Sigma V^T) = V \Sigma^T U^T U \Sigma V^T = V \Sigma^T \Sigma V^T
\end{matrix}
</math>

La matrice {{mvar|U}} contient les [[vecteur propre|vecteurs propres]] de ''S'', la matrice ''V'' contient ceux de ''Z''. On a alors :

:<math>
\begin{matrix} 
 & (\textbf{document}_j) & & & & & & & (\widehat{ \textbf{document}_j) } \\
 & \downarrow & & & & & & & \downarrow \\
(\textbf{terme}_i^T) \rightarrow 
&
\begin{pmatrix} 
x_{1,1} & \dots & x_{1,n} \\
\\
\vdots & \ddots & \vdots \\
\\
x_{m,1} & \dots & x_{m,n} \\
\end{pmatrix}
&
=
&
(\widehat{ \textbf{terme}_i} ^T) \rightarrow
&
\begin{pmatrix} 
\begin{bmatrix} \, \\ \, \\ \textbf{u}_1 \\ \, \\ \,\end{bmatrix} 
\dots
\begin{bmatrix} \, \\ \, \\ \textbf{u}_l \\ \, \\ \, \end{bmatrix}
\end{pmatrix}
&
\cdot
&
\begin{pmatrix} 
\sigma_1 & \dots & 0 \\
\vdots & \ddots & \vdots \\
0 & \dots & \sigma_l \\
\end{pmatrix}
&
\cdot
&
\begin{pmatrix} 
\begin{bmatrix} & & \textbf{v}_1 & & \end{bmatrix} \\
\vdots \\
\begin{bmatrix} & & \textbf{v}_l & & \end{bmatrix}
\end{pmatrix}\\
 & M & & & U & & \Sigma & & V^T
\end{matrix}
</math>

Les valeurs singulières, <math>\sigma_1, \dots, \sigma_l</math> peuvent alors être sélectionnées, pour obtenir une « approximation » de la matrice à un rang ''k'' arbitraire, qui permet une analyse plus ou moins précise des données.

=== Cinématique inverse ===
En [[robotique]], le problème de la [[cinématique inverse]], qui consiste essentiellement à savoir « comment bouger pour atteindre un point, » peut être abordé par la décomposition en valeurs singulières.

==== Énoncé du problème ====
On peut considérer — c'est un [[modèle]] très général — un [[robot]] constitué de bras articulés, indicés ''i'', formant un [[angle]] θ<sub>''i''</sub> entre eux, dans un plan. On note '''X''' le vecteur représentant la position du « bout » de cette chaine de bras, qui en pratique est une [[pince]], une [[aiguille]], un [[aimant]]… Le problème va être de déterminer le vecteur '''Θ''', contenant tous les θ<sub>''i''</sub>, de sorte que '''X''' soit égal à une valeur donnée '''X<sub>0</sub>'''.

==== Résolution ====
On définit le [[jacobien]] de '''X''' par :
:<math>J = \frac{ \partial \textbf{X}}{\partial \mathbf{\Theta}}</math>.
On a alors :
:<math>\dot \textbf{X} = J \dot \mathbf{\Theta}</math>.
Si ''J'' est [[matrice inversible|inversible]] (ce qui est, en pratique, toujours le cas), on peut alors accéder à la dérivée de '''θ''' :
:<math>\dot \mathbf{\Theta} = J^{-1} \dot \textbf{X}</math>.
Si ''J'' n'est pas inversible, on peut de toute façon utiliser la notion de [[pseudo-inverse]]. Néanmoins, son utilisation ne garantit pas que l'[[Algorithmique|algorithme]] converge, il faut donc que le jacobien soit nul en un nombre réduit de points. En notant {{math|(''U'', ''Σ'', ''V'')}} la décomposition en valeurs singulières de ''J'', l'inverse (le pseudo-inverse si ''J'' n'est pas inversible) de ''J'' est donné par :
:<math>J^{-1} = V \Sigma^{-1} U^T \,</math> (cas inversible) ;
:<math>J^{+} = V \Sigma^{+} U^T \,</math> (cas pseudo-inversible).
On a noté Σ<sup>+</sup> la matrice diagonale comportant l'inverse des valeurs singulières non nulles. Dans la suite, la notation ''J''<sup>−1</sup> renverra sans distinction à l'inverse ou au pseudo-inverse de ''J''.

Le calcul des vecteurs colonne de ''J'' peut être effectué de la manière qui suit :
* On note '''X'''<sub>''i''</sub> la position de l'articulation ''i'' ;
* On note '''e'''<sub>''z''</sub> le vecteur unitaire de même direction que l'axe de rotation de l'articulation ;
Alors <math>J_i = \textbf{e}_z \wedge \left( \textbf{X}_0 - \textbf{X} \right) </math>.

On peut alors discrétiser l'équation, en posant :
:<math>\Delta \textbf{X} = \textbf{X}_0 - \textbf{X}</math>
:<math>\Delta \mathbf{\Theta} = J^{-1} \Delta \textbf{X}</math>
Et en ajoutant Δ'''Θ''' à '''Θ''' à chaque itération, puis en recalculant Δ'''X''' et Δ'''Θ''', on atteint peu à peu la solution désirée.

==== Autre résolution ====

Il est également possible d'utiliser la décomposition en valeurs singulières de ''J'' autrement pour obtenir Δ'''Θ''' :
:<math>\Delta \mathbf{\Theta} = J^{-1} \Delta \textbf{X}</math>
En multipliant successivement à gauche par ''J'' puis par sa transposée, pour enfin utiliser la décomposition en valeurs singulières de ''J''<sup>T</sup>''J'', on a :
:<math>J \Delta \mathbf{\Theta} = \Delta \textbf{X}</math>
:<math>J^T J \Delta \mathbf{\Theta} = J^T \Delta \textbf{X}</math>
:<math>V \Sigma^2 V^T \Delta \mathbf{\Theta} = J^T \Delta \textbf{X}</math>

Soit en conclusion :
:<math>\Delta \mathbf{\Theta} = \left( V \Sigma^{-2} V^T J^T \right) \Delta \textbf{X}</math>.

=== Autres exemples ===
Une utilisation courante de la décomposition en valeurs singulières est la séparation d'un signal sur deux sous-espaces supplémentaires, par exemple un sous-espace « signal » et un sous-espace de [[bruit]]. La décomposition en valeurs singulières est beaucoup utilisée dans l'étude de l'inversion de matrices, très pratique dans les méthodes de [[Régularisation (physique)|régularisation]]. On l'emploie également massivement en [[statistique]], en [[traitement du signal]], en [[reconnaissance de formes]] et dans le traitement informatique des langues naturelles.

De grandes matrices sont décomposées au travers de cet algorithme en [[météorologie]], pour l'[[algorithme de Lanczos]] par exemple.

L'étude [[géologie|géologique]] et [[sismologie|sismique]], qui a souvent à faire avec des données bruitées, fait également usage de cette décomposition et de ses variantes multidimensionnelles pour « nettoyer » les spectres obtenus. Étant donnés un certain nombre d'échantillons connus, certains algorithmes peuvent, au moyen d'une décomposition en valeurs singulières, opérer une [[Produit de convolution|déconvolution]] sur un jeu de données.

Les valeurs singulières sont également utilisées en [[automatique]]. Elle permettent de généraliser le principe de gain d'une [[fonction de transfert]] à un système [[MIMO (automatique)|multi-entrées multi-sorties]]. Les valeurs singulières sont utilisées dans le calcul de la norme '''''H''<sub>∞</sub>''' pour l'élaboration d'une [[Hinfini|commande '''''H''<sub>∞</sub>''']].

== Calcul de la SVD ==
Le calcul explicite, analytique, de la décomposition en valeurs singulières d'une matrice est difficile dans le cas général. On utilise, en particulier dans les applications, des algorithmes spécialisés.

La procédure DGESVD<ref>[http://www.netlib.org/lapack/double/dgesvd.f Code source] (fortran 77).</ref> de la bibliothèque [[LAPACK]] propose une approche courante pour le calcul de la décomposition en valeurs singulières d'une matrice. Si la matrice possède plus de lignes que de colonnes, on effectue tout d'abord une [[décomposition QR]]. Le facteur R est ensuite réduit sous forme [[matrice bidiagonale|bidiagonale]]. Pour ceci, on peut effectuer des transformations de [[Householder]] alternativement sur les colonnes et sur les lignes de la matrice. Les valeurs singulières et vecteurs singuliers sont alors trouvés en effectuant une itération de type QR bidiagonale avec la procédure DBDSQR<ref>[http://www.netlib.org/lapack/double/dbdsqr.f Code source] (fortran 77).</ref>.

[[GNU Scientific Library]] propose trois possibilités : l'algorithme de Golub-Reinsch, l'algorithme de Golub-Reinsch modifié (plus rapide pour les matrices possédant bien plus de lignes que de colonnes) et l'orthogonalisation de Jacobi<ref>Voir le [http://www.gnu.org/software/gsl/manual/html_node/Singular-Value-Decomposition.html#Singular-Value-Decomposition manuel de la GSL concernant la SVD].</ref>.

== Voir aussi ==
===Sources===
* Eugenio Beltrami, Sulle funzioni bilineari, Giornale di matematiche, pp.&nbsp;98–106, 1873 [https://gallica.bnf.fr/ark:/12148/bpt6k99434d/f442.image]
* Camille Jordan, Mémoire sur les formes bilinéaires, Journal de mathématiques pures et appliquées, deuxième série, 19, pp.&nbsp;35–54, 1874. [https://gallica.bnf.fr/ark:/12148/bpt6k16418s/f43.item]
* Camille Jordan, Sur la réduction des formes formes bilinéaires, Comptes rendus hebdomadaires des séances de l'Académie des sciences, 78, pp.&nbsp;614–617, 1874. [https://gallica.bnf.fr/ark:/12148/bpt6k3035z/f516.item]
* Camille Jordan, Essai sur la géométrie à ''n'' dimension, Bulletin de la société mathématique, 3, pp.&nbsp;103–174, 1875. [http://www.numdam.org/item/BSMF_1875__3__103_2]
* James Joseph Sylvester, Sur la réduction biorthogonale d'une forme linéo-linéaire à sa forme canonique, Comptes rendus hebdomadaires des séances de l'Académie des sciences, 108, pp.&nbsp;651–653, 1889. [https://gallica.bnf.fr/ark:/12148/bpt6k3064g/f651.item]
* Émile Picard, Quelques remarques sur les équations intégrales de première espèce et sur certains problèmes de physique mathématique, Comptes rendus hebdomadaires des séances de l'Académie des sciences, 148, pp.&nbsp;1563–1568, 1909. [https://gallica.bnf.fr/ark:/12148/bpt6k3102f/f1563.item]
* Émile Picard, Sur un théorème général relatif aux équations intégrales de première espèce et sur quelques problèmes de physique mathématique, Rendiconti del circolo matematico de Palermo, 29(1), pp.&nbsp;79–97, 1910. [https://link.springer.com/article/10.1007/BF03014061]

=== Bibliographie ===

* {{Chapitre|langue= en |nom1= Abdi |prénom1= Hervé |titre= Singular Value Decomposition (SVD) and Generalized Singular Value Decomposition (GSVD) |titre ouvrage= Encyclopedia of Measurement and Statistics |éditeur= Sage Publications |lieu= Thousand Oaks |année= 2007 |tome= |pages totales= 907-912 |isbn= 978-1-4129-1611-0 |lire en ligne=http://www.utdallas.edu/~herve/Abdi-SVD2007-pretty.pdf |consulté le= 8 octobre 2014}}
* {{Article|langue= en |nom1= Demmel |prénom1= James |nom2= Kahan |prénom2= W. |titre= Accurate Singular Values of Bidiagonal Matrices |périodique= SIAM Journal on Scientific and Statistical Computing |volume= 11 |numéro= 5 |année= 1990 |pages= 873-912 |issn= 0196-5204 |oclc= 4633509299 |lire en ligne= http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.48.3740 |consulté le= 8 octobre 2014}}
* {{Ouvrage|langue= en |nom1= Golub |prénom1= Gene H. |nom2= Van Loan |prénom2= Charles F. |titre= Matrix computations |éditeur= Johns Hopkins University Press |collection= Johns Hopkins studies in the mathematical sciences |lieu= Baltimore |année= 1996 |numéro d'édition= 3 |pages totales= 694 |isbn= 978-0-8018-5413-2}}
* {{Article|langue= en |nom1= Eckart |prénom1= Carl |nom2= Young |prénom2= Gale |titre= The approximation of one matrix by another of lower rank |périodique= Psychometrika |volume= 1 |numéro= 3 |mois= septembre |année= 1936 |pages= 211-218 |issn= 0090-7499 |lire en ligne= https://ccrma.stanford.edu/~dattorro/eckart%26young.1936.pdf |consulté le= 8 octobre 2014}}
* {{Article|langue= en |nom1= Bjornsson |prénom1= Halldor |nom2= Venegas |prénom2= Silvia A. |titre= A manual for EOF and SVD analyses of climate data |périodique= CCGCR Report |éditeur= McGill University |lieu= Montréal |volume= 97 |numéro= 1 |mois= février |année= 1997 |lire en ligne= http://www.atmosp.physics.utoronto.ca/people/guido/PHY2502/articles/climate-variability/BjornssonSilvia1997.pdf |consulté le= 8 octobre 2014}}
* {{Article|langue= en |nom1= Hansen |prénom1= Per Christian |titre= The truncated SVD as a method for regularization |périodique= BIT |volume= 27 |année= 1987 |pages= 34–553 |issn= |lire en ligne= http://infolab.stanford.edu/pub/cstr/reports/na/m/86/36/NA-M-86-36.pdf |consulté le= 8 octobre 2014}}
* {{Chapitre|langue= en |nom1= Horn |prénom1= Roger A. |nom2= Johnson |prénom2= Charles R. |titre chapitre= The polar form and the singular value decomposition |titre ouvrage= Matrix analysis |lieu= Cambridge |éditeur= Cambridge University Press |année= 1985 |passage= 411-427 |isbn= 978-0-521-30586-0}}
* {{Chapitre|langue= en |nom1= Horn |prénom1= Roger A. |nom2= Johnson |prénom2= Charles R. |titre chapitre= Chapter 3 - Singular value inequalities |titre ouvrage= Topics in matrix analysis |lieu= Cambridge |éditeur= Cambridge University Press |année= 1994 |passage= 134-238 |isbn= 978-0-521-46713-1 |lire en ligne= http://ebooks.cambridge.org/chapter.jsf?bid=CBO9780511840371&cid=CBO9780511840371A024}}
* {{Ouvrage|langue= en |nom1= Strang |prénom1= Gilbert |titre= Introduction to linear algebra |éditeur= Wellesley-Cambridge Press |lieu= Wellesley |année= 1993 |pages totales= 472 |isbn= 978-0-9614088-5-5}}
* {{Article|langue= en |nom1= Ding |prénom1= Chris |nom2= Ye |prénom2= Jieping  |titre= Two-Dimensional Singular Value Decomposition (2DSVD) for 2D Maps and Images |périodique= Proc. SIAM Int'l Conf. Data Mining |volume= 5 |jour= 3 |mois= octobre |année= 2004 |pages= 32-43 |lire en ligne= http://ranger.uta.edu/~chqding/papers/2dsvdSDM05.pdf |consulté le= 8 octobre 2014}}
* {{Article|langue= en |nom1= Ye |prénom1= Jieping |titre= Approximations de faible rang de matrices généralisées |périodique= Machine Learning |volume= 61 |jour= 9 |mois= juin |année= 2005 |pages= 167-191 |issn= 1573-0565 |lire en ligne= https://link.springer.com/article/10.1007%2Fs10994-005-1122-7 |consulté le= 8 octobre 2014}}
* {{Ouvrage|langue= de |nom1= Gramlich |prénom1= Günter |titre= Anwendungen der linearen Algebra |sous-titre= mit MATLAB ; mit 68 Beispielen und 41 Aufgaben |éditeur= Carl-Hanser-Verl. |collection= Mathematik-Studienhilfen |lieu= Leipzig |année= 2004 |pages totales= 179 |isbn= 978-3-446-22655-5}}

=== Articles connexes ===
* [[Analyse en composantes principales]]
* [[Analyse en composantes indépendantes]]
* [[Théorème spectral]]
* [[Algèbre linéaire]]

=== Liens externes ===
==== Implémentations ====
* {{en}} [http://www.alglib.net/matrixops/general/svd.php ALGLIB] propose une adaptation de LAPACK dans différents langages ;
* {{en}} {{lien brisé|consulté le=2013-11-06|url=http://www.idiom.com/~zilla/Computer/Javanumeric/index.html|titre=: bibliothèque Java SVD}} ;
* {{en}} [http://sourceforge.net/projects/opencvlibrary/ Opencv] : bibliothèque d'analyse d'images en C/C++ ;
* {{en}} [http://eigen.tuxfamily.org/dox/classEigen_1_1JacobiSVD.html#a48d4068b97dfbb83d62599e56e26797a Eigen] : bibliothèque d'algèbre linéaire en C++ ;
* {{en}} [http://soi.stanford.edu/~rmunk/PROPACK/index.html PROPACK] : programme de calcul de la SVD ;
* {{en}} [http://users.pandora.be/paul.larmuseau/SVD.htm Script Java] calculant la SVD ;
* {{en}} [http://www.netlib.org/svdpack/ SVDPACK] : bibliothèque ANSI FORTRAN 77 qui propose 4 implémentations itératives de la SVD ;
* {{en}} [http://tedlab.mit.edu/~dr/SVDLIBC/ SVDLIBC] : adaptation de SVDPACK en C ;
* {{en}} [http://www.bluebit.gr/ BlueBit] propose une bibliothèque .NET capable de calculer la SVD.
* Calcul de SVD pour le langage [[Python (langage)|Python]] :
** {{en}} [http://www.scipy.org/doc/numpy_api_docs/numpy.linalg.linalg.html#svd NumPy] : gère les matrices réelles ou complexes
** {{en}} [http://docs.scipy.org/doc/scipy/reference/generated/scipy.linalg.svd.html SciPy] : gère les matrices réelles ou complexes
** {{en}} [http://nlp.fi.muni.cz/projekty/gensim Gensim], implémentation basée sur [[NumPy]] : permet une SVD tronquée sur des matrices creuses plus grandes que la mémoire vive
** {{en}} [http://pypi.python.org/pypi/sparsesvd sparsesvd] : wrapper autour de SVDLIBC
** {{en}} [http://stitchpanorama.sourceforge.net/Python/svd.py SVD-Python] : en Python pur, sous GNU GPL.

==== Cours et conférences ====

* [http://lpce.cnrs-orleans.fr/www_dls/thesis/pereira/chapitre2.pdf?PHPSESSID=608b41eab5ffda946d93301043b60ab6 SVD, 2DSVD, 3DSVD et applications] ;
* {{lien brisé|consulté le=2013-11-06|url=http://personnel.supaero.fr/alazard-daniel/docHTML/cours_rep/node15.html|titre=Décomposition en valeurs singulières}} ;
* {{en}} {{lien brisé|consulté le=2013-11-06|url=http://www.prip.tuwien.ac.at/~melzer/lehre/statpr/apponly.pdf|titre=La SVD et ses applications}} ;
* {{en}} [http://ocw.mit.edu/OcwWeb/Mathematics/18-06Spring-2005/VideoLectures/index.htm Conférence vidéo au MIT], par Gilbert Strang. La ''Lecture #29'' porte sur la SVD ;
* {{en}} [http://www.uwlax.edu/faculty/will/svd/ Introduction à la décomposition en valeurs singulières] par Todd Will, Université du Wisconsin-La Crosse ;
* {{de}} [http://mo.mathematik.uni-stuttgart.de/kurse/kurs10/seite112.html Preuve de l'existence].

==== Explications et applications ====
* {{en}} [http://www.imm.dtu.dk/~pch/Projekter/tsvd.html Applications de la SVD] ;
* {{en}} [http://genome-www.stanford.edu/SVD/htmls/PNAS/PNAS_2000.pdf « SVD for genome-wide expression data processing and modeling »], université Stanford : analyse des gènes avec la SVD ;
* {{en}} [http://genome-www.stanford.edu/SVD/htmls/Lancet/Lancet_2002.pdf université Stanford] : analyse de l'influence de certains gènes sur le cancer, au moyen de la SVD ;
* {{en}} [http://public.lanl.gov/mewall/kluwer2002.html Los Alamos group] : analyse de données génétiques ;
* {{en}} [http://lsa.colorado.edu/ LSA] : applications, explications et possibilité de l'utiliser ;
* {{en}} [http://www.mathworks.com/company/newsletters/news_notes/oct06/clevescorner.html Présentation et exemple d'utilisation] ;
* {{en}} [http://www.kwon3d.com/theory/jkinem/svd.html SVD], explications supplémentaires;
* {{en}} [http://www.netlib.org/lapack/lug/node53.html Manuel LAPACK] : détails sur les procédures de calculs ;
* {{en}} [http://www.nrbook.com/a/bookcpdf/c2-6.pdf Plus d'informations] sur les implémentations en C de la SVD.

== Notes et références ==
{{Références|colonnes = 2}}
{{Traduction/Référence|en|Singular value decomposition|3=115069834}}

{{Palette|Algèbre bilinéaire}}
{{Portail|algèbre}}
{{Bon article|vote=BA|oldid=16393570|date={{1er}} mai 2007 }}

{{DEFAULTSORT:Decomposition en valeurs singulieres}}
[[Catégorie:Algèbre bilinéaire]]
[[Catégorie:Matrice]]