Singulärvärdesuppdelning

Från Wikipedia
Hoppa till: navigering, sök

Inom linjär algebra är singulärvärdesuppdelning (eng. singular value decomposition, SVD), ibland kallat singulärvärdesfaktorisering eller singulärvärdesdekomposition, en sorts matrisfaktorisering. Alla reella och komplexa matriser kan singulärvärdefaktoriseras.

Definition[redigera | redigera wikitext]

För en matris A av storlek m\times n är singulärvärdesuppdelningen

A=U \Sigma V^*\,

där U är en kvadratisk unitär m \times m-matris, \Sigma en är en diagonal och icke-negativ m \times n-matris och V^* betecknar det hermiteska konjugatet till V, som är en unitär n \times n-matris. Matrisen \Sigma har singulärvärdena till A i sin diagonal, och vanlig praxis är att dessa singulärvärden ordnas i storleksordning med det största singulärvärdet först vänsterifrån i \Sigma.

Singulärvärdesuppdelning är inte entydlig. Exempelvis är U K_{(m,m)} \Sigma (V K_{(n,n)})^* också en giltig uppdelning, där K_{(m,m)} och K_{(n,n)} är diagonalmatriser med e^{i\theta} i diagonalen, för godtyckligt värde på \theta.

Singulärvärdesuppdelning på summaform[redigera | redigera wikitext]

Man kan skriva om singulärvärdesuppdelningen A = U \Sigma V^*, där matrisen A har rang r, som en summa med r stycken matriser, så att varje matris i summan får rang 1, enligt nedan.

A = \underbrace{\sum_{i=1}^r \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^*}_{\mbox{rang r}} = \underbrace{\sigma_1 \boldsymbol{u}_1 \boldsymbol{v}_1^*}_{\mbox{rang 1}} + \ldots + \underbrace{\sigma_r \boldsymbol{u}_r \boldsymbol{v}_r^*}_{\mbox{rang 1}}

Här är \sigma_i singulärvärde nummer i till A, \boldsymbol{u}_i kolonnvektor i i U och \boldsymbol{v}_i^* radvektor i i V.

Tunn singulärvärdesuppdelning[redigera | redigera wikitext]

Tunn singulärvärdesuppdelning fås genom att enbart beräkna de n vektorer i U som korresponderar med radvektorer i V^*. Övriga kolumnvektorer i U beräknas inte, och därmed går det mycket snabbare att beräkna en tunn singulärvärdesuppdelning jämfört med en vanlig singulärvärdesuppdelning.

A = U_n \Sigma_n V^* \,

Matrisen U_n blir då en m \times n-matris, \Sigma_n en n \times n-matris och V en n \times n-matris.

Tunn singulärvärdesuppdelning är i synnerhet mer beräkningseffektiv än vanlig singulärvärdesuppdelning om n<<m.

Kompakt singulärvärdesuppdelning[redigera | redigera wikitext]

Kompakt singulärvärdesuppdelning fås genom att enbart beräkna de r kolumnerna i U och de r raderna i V^* som korresponderar mot nollskilda singulärvärden. Då fås:

A=U_r \Sigma_r V^*_r

Här är U_r en m \times r-matris, \Sigma_r en diagonal r \times r-matris och V^*_r en r \times n-matris.

Kompakt singulärvärdesuppdelning är mer beräkningseffektiv än tunn singulärvärdesuppdelning om r<<n.

Beräkning[redigera | redigera wikitext]

Metod anpassad för beräkning av människor[redigera | redigera wikitext]

För en m \times n-matris A fås singulärvärdesuppdelningen i ett fåtal steg. Man börjar med att beräkna den kvadratiska matrisen A^* A. Varför man gör detta syns tydligare om man skriver om A med singulärvärdesuppdelning:

A^* A = (U \Sigma V^*)^* U \Sigma V^* = V \Sigma^* \underbrace{U^* U}_{=I} \Sigma V^* = V \Sigma^* \Sigma V^*\ = V \underbrace{\begin{pmatrix} |\sigma_1|^2 & & & \\ & |\sigma_2|^2 & & \\ & & \ddots & & \\ & & & |\sigma_k|^2 \end{pmatrix}}_{\tilde{\Sigma}} V^*,

Spektralsatsen för hermiteska matriser säger att alla hermiteska matriser M kan skrivas som M=W \Lambda W^*, där \Lambda är en diagonal matris med egenvärdena till matrisen M i diagonalen. Kolonnvektorerna till W utgörs av egenvektorerna till matrisen M , som i sin tur utgör en ortonormerad bas. Notera att eftersom M är en hermitesk matris har den enbart reella egenvärden.

Eftersom A^* A är en hermitesk matris ((A^* A)^*=A^* A^{**}=A^* A) har vi alltså likheten

V \tilde{\Sigma} V^*= W \Lambda W^* \,

Eftersom singulärvärdena till A är positiva (alltså är |\sigma_i|=\sigma_i) ser man att dessa fås genom att ta roten ur egenvärdena till A^* A, dessutom ser man att V fås genom att beräkna egenvektorer till matrisen A^* A.

Med A, V och \Sigma kända beräknas U enkelt genom att ställa upp A V=U \Sigma. Eftersom \Sigma är en diagonal matris är det enkelt att beräkna likheten. Ifall, för m \times n-matrisen A, m \ne n eller ifall matrisen A inte har full rang kommer några kolonner inte att fås i detta steg, eftersom de multipliceras med 0. Dessa kolonnvektorer väljs då med fördel så att matrisen U blir unitär.

Alternativt kan man beräkna U genom att ställa upp A A^*, då har man istället V som obekant och V kan beräknas som förklaras ovan. Man kan även beräkna U samt V separat genom att ställa upp A^* A och A A^*, denna metod innebär dock oftast mer arbete då man måste beräkna egenvektorer till två matriser.

Exempel[redigera | redigera wikitext]

A = \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix} \; , \; m=3 \; , \; n=2 \; , \; \mbox{reellt} (A^* = A^T)

Man börjar med att beräkna A^* A.

A^* A =  \begin{pmatrix} 1 & 0 & -1 \\ 0 & 1 & 2 \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix} = \begin{pmatrix} 2 & -2 \\ -2 & 5 \end{pmatrix}

Nu beräknar man egenvärden och egenvektorer till A^* A genom att ställa upp det karakteristiska polynomet, för exempel på detta se artikeln om egenvärden och egenvektorer. Vi får egenvärdena till \lambda_1 = 6 ,\, \lambda_2 = 1, och därmed blir singulärvärdena \sigma_1 = \sqrt{6} , \, \sigma_2 = 1. Vi får egenvektorerna (normerade) enligt nedan:

\boldsymbol{v}_1 = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 \\ -2 \end{pmatrix}, \boldsymbol{v}_2 = \frac{1}{\sqrt{5}}\begin{pmatrix} 2 \\ 1 \end{pmatrix} \Rightarrow V = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 & 2 \\ -2 & 1 \end{pmatrix}

Nu beräknar man U med hjälp av sambandet A V = U \Sigma

A V = \frac{1}{\sqrt{5}} \begin{pmatrix} 1 & 2 \\ -2 & 1 \\ -5 & 0 \end{pmatrix} = \begin{pmatrix} | & | & | \\ \boldsymbol{u}_1 & \boldsymbol{u}_2 & \boldsymbol{u}_3 \\ | & | & |\end{pmatrix} \begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix} = U \Sigma \,

Man ser att \boldsymbol{u}_1 kommer multipliceras med \sqrt{6}, att \boldsymbol{u}_2 kommer multipliceras med 1 och att \boldsymbol{u}_3 kommer multipliceras med 0. Nu väljer man \boldsymbol{u}_1 och \boldsymbol{u}_2 så att likheten A V = U \Sigma gäller, \boldsymbol{u}_3 väljs ortogonal mot \boldsymbol{u}_1 och \boldsymbol{u}_2.

\boldsymbol{u}_1 = \frac{1}{\sqrt{30}} \begin{pmatrix} 1 \\ -2 \\ -5 \end{pmatrix}, \boldsymbol{u}_2 = \frac{1}{\sqrt{5}} \begin{pmatrix} 2 \\ 1 \\ 0 \end{pmatrix}, \boldsymbol{u}_3 = \frac{1}{\sqrt{6}} \begin{pmatrix} 1 \\ -2 \\ 1 \end{pmatrix} \Rightarrow U = \begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{6}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{6}} \\ \frac{-5}{\sqrt{30}} & 0 & \frac{1}{\sqrt{6}} \end{pmatrix} \,

Alltså har vi vår singulärvärdesuppdelning enligt nedan.

Singulärvärdesuppdelningen på vanlig form:

\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{6}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{6}} \\ \frac{-5}{\sqrt{30}} & 0 & \frac{1}{\sqrt{6}} \end{pmatrix}}_{U} \underbrace{\begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \\ 0 & 0 \end{pmatrix}}_{\Sigma} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{V^*}

Singulärvärdesuppdelningen på summaform:

\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\sqrt{6}}_{\sigma_1} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} \\ \frac{-2}{\sqrt{30}} \\ \frac{-5}{\sqrt{30}}  \end{pmatrix}}_{\boldsymbol{u}_1} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \end{pmatrix}}_{\boldsymbol{v}_1^*} + \underbrace{1}_{\sigma_2} \underbrace{\begin{pmatrix} \frac{2}{\sqrt{5}} \\ \frac{1}{\sqrt{5}} \\ 0  \end{pmatrix}}_{\boldsymbol{u}_2} \underbrace{\begin{pmatrix} \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{\boldsymbol{v}_2^*}

Singulärvärdesuppdelningen på tunn form:

\underbrace{\begin{pmatrix} 1 & 0 \\ 0 & 1 \\ -1 & 2 \end{pmatrix}}_{A} = \underbrace{\begin{pmatrix} \frac{1}{\sqrt{30}} & \frac{2}{\sqrt{5}} \\ \frac{-2}{\sqrt{30}} & \frac{1}{\sqrt{5}} \\ \frac{-5}{\sqrt{30}} & 0  \end{pmatrix}}_{U_2} \underbrace{\begin{pmatrix} \sqrt{6} & 0 \\ 0 & 1 \end{pmatrix}}_{\Sigma_2} \underbrace{\begin{pmatrix} \frac{1}{\sqrt{5}} & \frac{-2}{\sqrt{5}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} \end{pmatrix}}_{V^*}

Numerisk beräkningsmetod[redigera | redigera wikitext]

Singulärvärdesuppdelningen till en matris A beräknas typiskt i två steg. I det första steget reduceras A till en bidiagonal matris. Detta tar  O(m n^2) flyttalsoperationer, om m \ge n.

Det andra steget går ut på att beräkna singulärvärdesuppdelningen till denna bidiagonala matris. Detta steg beräknas iterativt med en bestämd precision. Om denna precision antas konstant tar det andra steget O(n) iterationer, som var kostar O(n) flyttalsoperationer. Därmed är det första steget det dyrare, och den totala kostnaden är O(m n^2) flyttalsoperationer.

Tillämpningar[redigera | redigera wikitext]

Beräkning av pseudoinvers[redigera | redigera wikitext]

Man kan enkelt beräkna Moore-Penrose pseudoinvers, betecknat \dagger nedan, till en matris A med hjälp av singulärvärdesuppdelning. Om A har singulärvärdesuppdelning enligt A = U \Sigma V^* fås Moore-Penrose pseudoinvers till A enligt nedan.

A^\dagger = V \Sigma^\dagger U^*  \,

Här beräknar man Σ genom att först ta inversen av varje nollskillt singulärvärde i Σ, de singulärvärden som var 0 i Σ förblir 0 i Σ, och sedan transponerar man resultatet. Moore-Penrose pseudoinvers används bland annat för att lösa linjära minstakvadratproblem.

Bestämning av de fyra fundamentala underrummen samt rang[redigera | redigera wikitext]

Man kan enkelt bestämma rang samt de fyra fundamentala underrummen (värderummet och nollrummet till en given matris och matrisens hermiteska konjugat) till en matris A genom att titta på matrisens singulärvärdesuppdelning. Antag en singulärvärdesuppdelning enligt nedan, där \sigma_1 till \sigma_r är samtliga nollskillda singulärvärden.

A_{(m,n)} = \underbrace{\begin{pmatrix} | & & | & | & & | \\ u_1 & \cdots & u_r & u_{r+1} & \cdots & u_m \\ | & & | & | & & | \end{pmatrix}}_{m \times m} \underbrace{\begin{pmatrix} \sigma_1 & & & & &  \\ & \sigma_2 & & & &  \\ & & \ddots & & & \\ & & & \sigma_r & & \\  & & & & & \end{pmatrix}}_{m \times n} \underbrace{\begin{pmatrix} - & \bar{v}_1 & - \\ - & \vdots & - \\ - & \bar{v}_r & - \\ - & \bar{v}_{r+1} & - \\ & \vdots & \\ - & \bar{v}_n & - \end{pmatrix}}_{n \times n} \,

Då fås följande:

 \operatorname{rank} \, A = \dim(V(A)) = r \,
V(A)= N(A^*)^{\perp} = \left[ \begin{pmatrix} | \\ u_{1} \\ | \end{pmatrix}, \, \begin{matrix}  \\ \cdots \\  \end{matrix} \, , \begin{pmatrix} | \\ u_{r} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^m
V(A^*) = N(A)^{\perp} = \left[ \begin{pmatrix} | \\ v_{1} \\ | \end{pmatrix}, \, \begin{matrix}  \\ \cdots \\  \end{matrix} \, , \begin{pmatrix} | \\ v_{r} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^n
 N(A) = V(A^*)^{\perp} = \left[ \begin{pmatrix} | \\ v_{r+1} \\ | \end{pmatrix}, \, \begin{matrix}  \\ \cdots \\  \end{matrix} \, , \begin{pmatrix} | \\ v_{n} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^n
N(A^*) = V(A)^{\perp} = \left[ \begin{pmatrix} | \\ u_{r+1} \\ | \end{pmatrix}, \, \begin{matrix}  \\ \cdots \\  \end{matrix} \, , \begin{pmatrix} | \\ u_{m} \\ | \end{pmatrix} \right] \, \sub \, \mathbb{C}^m

Approximation med matris av lägre rang[redigera | redigera wikitext]

En vanlig tillämpning av singulärvärdesuppdelning är att approximera en given matris med en annan liknande matris av lägre rang. Om man vill approximera en matris A av rang r med en matris \tilde{A}, som har rang R, där R<r, fås \tilde{A} med hjälp av singulärvärdesuppdelningen på summaform enligt nedan:

A \approx \tilde{A} = \sum_{i=1}^R \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^*\,

I de flesta tillämpningar är felet viktigt, vi betecknar felet B enligt följande.

B = A - \tilde{A} = A - \sum_{i=1}^R \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^* \,

Genom operatornorm eller frobeniusnorm av B fås felet vid approximationen A \approx \tilde{A}, dessa normer kan enkelt beräknas med hjälp av singulärvärdena enligt vad som visas nedan. Vilken av normerna som är bäst lämpad för feluppskattningen beror på tillämpning.

||B||_{OP} = \sigma_{R+1}\,
||B||_{F} = \sqrt{\sigma_{R+1}^2 + \ldots + \sigma_{r}^2} \,

Denna metod för approximation används inom många tillämpningar, bland annat inom signalbehandlning. Om man till exempel har brus av storleksordningen \sigma_{R+1} så kan man slänga bort termer som är små jämfört med bruset så att \tilde{A} ger en förbättrad signal.

Andra vanliga användningsområden[redigera | redigera wikitext]

Se även[redigera | redigera wikitext]

Referenser[redigera | redigera wikitext]