特異値分解とくいちぶんかいsingular value decompositionSVDの入口いりぐち

Introduction to singular value decomposition特異値分解とくいちぶんかいSVD

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、特異値分解とくいちぶんかいsingular value decompositionSVDは、正方行列せいほうぎょうれつsquare matrixに限定げんていされない行列ぎょうれつmatrixを、直交変換ちょっこうへんかんと軸方向じくほうこうの伸縮しんしゅくへ分解ぶんかいする方法ほうほうであるということである。

固有値こゆうちeigenvalueと対角化たいかくかdiagonalizationは正方行列せいほうぎょうれつsquare matrixを主対象しゅたいしょうにする。一方いっぽう、実務じつむや応用おうようでは、縦横たてよこの大おおきさが異ことなる行列ぎょうれつmatrixが頻出ひんしゅつする。特異値分解とくいちぶんかいsingular value decompositionSVDは、そのような長方行列ちょうほうぎょうれつにも適用てきようできる標準的ひょうじゅんてきな分解ぶんかいである。

SVD は、一般いっぱんの行列ぎょうれつmatrixに対たいする「直交基底ちょっこうきていつきの最もっとも安定あんていした分解ぶんかい」と位置付いちづけられる。入力側にゅうりょくがわの正規直交基底せいきちょっこうきていorthonormal basis、出力側しゅつりょくがわの正規直交基底せいきちょっこうきていorthonormal basis、軸方向じくほうこうの非負ひふの伸縮率しんしゅくりつを分離ぶんりするため、階数かいすうrank、最小二乗法さいしょうにじょうほうleast squares method、擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrix、低階数近似ていかいすうきんじを同一どういつの枠組わくぐみで記述きじゅつできる。

1Introduction

The key point of this lecture is that singular value decomposition特異値分解とくいちぶんかいSVD decomposes a matrix, not necessarily square, into orthogonal changes of coordinates and stretching along coordinate axes.

eigenvalues固有値こゆうち and diagonalization mainly concern square matrices. In applications, rectangular matrices are common. SVD is the standard decomposition that works for every real or complex matrix.

SVD separates the input-side orthonormal basis基底きてい, the output-side orthonormal basis基底きてい, and the nonnegative scale factors. This lets rank階数かいすう, least squares, pseudoinverses, and low-rank階数かいすう approximation be described in one framework.

2用語ようごと定義ていぎ

特異値分解とくいちぶんかいSingular value decomposition とは、実じつrealの $$m\times n$$m\times n 行列ぎょうれつmatrix $$A$$A を

と表示ひょうじすることである。ここで $$U$$U は $$m\times m$$m\times m 直交行列ちょっこうぎょうれつorthogonal matrix、$$V$$V は $$n\times n$$n\times n 直交行列ちょっこうぎょうれつorthogonal matrix、$$\mathrm{\Sigma }$$\Sigma は対角方向たいかくほうこうに非負数ひふすうを並ならべた $$m\times n$$m\times n 行列ぎょうれつmatrixである。

$$\mathrm{\Sigma }$$\Sigma の対角成分たいかくせいぶん

を $$A$$A の特異値とくいちSingular valuesという。複素行列ふくそぎょうれつでは

と表示ひょうじする。

2Terms and definitions

For a real $m\times n$m\times n matrix $A$A, a singular value decomposition特異値分解とくいちぶんかい is

where $U$U is an $m\times m$m\times m orthogonal matrix, $V$V is an $n\times n$n\times n orthogonal matrix, and $\mathrm{\Sigma }$\Sigma is an $m\times n$m\times n matrix with nonnegative diagonal entries.

The diagonal entries

are the singular values特異値とくいち of $A$A.

For complex matrices,

with unitary $U$U and $V$V.

3方針ほうしん

方針ほうしんは、実行列じつぎょうれつでは $$A^{T}A$$A^TA、複素行列ふくそぎょうれつでは $$A^{*}A$$A^*A を解析かいせきすることである。$$A^{T}A$$A^TA は実対称じつたいしょうかつ非負定値ひふていちであり、$$A^{*}A$$A^*A はエルミート行列ぎょうれつmatrixかつ非負定値ひふていちであるため、直交ちょっこうorthogonalまたはユニタリに対角化たいかくかdiagonalizationできる。

なぜ $$A^{*}A$$A^*A を見みるかというと、任意にんいの $$x$$x に対たいして

となるからである。したがって $$A^{*}A$$A^*A はエルミート行列ぎょうれつHermitian matrixかつ非負定値ひふていちであり、固有値こゆうちeigenvalueは 0 以上いじょうの実数じっすうreal numberになる。この固有値こゆうちeigenvalueの平方根へいほうこんが特異値とくいちsingular valueである。

複素ふくそcomplexの場合ばあいは

である。この固有値こゆうちeigenvalue $${\lambda }_i$$\lambda_i は非負ひふであり、$${\sigma }_i=\sqrt{{\lambda }_i}$$\sigma_i=\sqrt{\lambda_i} が特異値とくいちsingular valueになる。

3Plan

Study $A^{T}A$A^TA in the real case and $A^{*}A$A^*A in the complex case. These matrices are symmetric or Hermitian and positive semidefinite. Therefore they can be orthogonally or unitarily diagonalized.

The reason for looking at $A^{*}A$A^*A is that, for every $x$x,

Thus $A^{*}A$A^*A is Hermitian and positive semidefinite, so its eigenvalues固有値こゆうち are nonnegative real numbers. In the real case we write

and in the complex case

The singular values特異値とくいち of $A$A are the square roots of these nonnegative eigenvalues:

4直感的ちょっかんてきな説明せつめい

特異値分解とくいちぶんかいsingular value decompositionSVDは、行列ぎょうれつmatrix $$A$$A の作用さようを

に分解ぶんかいする。直交変換ちょっこうへんかんは長ながさと角度かくどを保存ほぞんし、$$\mathrm{\Sigma }$$\Sigma だけが長ながさを変更へんこうする。したがって特異値とくいちsingular valueは、行列ぎょうれつmatrixが各主方向かくしゅほうこうをどれだけ伸縮しんしゅくするかを表あらわす。

4Intuitive explanation

SVD decomposes the action of $A$A as

Orthogonal or unitary factors preserve lengths and angles. The matrix $\mathrm{\Sigma }$\Sigma is the only part that changes lengths. Thus singular values特異値とくいち measure how much $A$A stretches each principal input direction.

5厳密げんみつな説明せつめい

5.11. $$A^{T}A$$A^TA または $$A^{*}A$$A^*A から右特異みぎとくいベクトルを得える

実行列じつぎょうれつでは $$A^{T}A$$A^TA が実対称行列じつたいしょうぎょうれつである。したがって正規直交せいきちょっこう固有ベクトルeigenvector $$v_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},v_n$$v_1,\dots,v_n を選択せんたくできる。

である。この $$v_i$$v_i が右特異みぎとくいベクトルである。複素行列ふくそぎょうれつでは $$A^{*}A$$A^*A を用もちい、

と記述きじゅつする。この変更へんこうにより、定義ていぎの $$A=U\mathrm{\Sigma }{V}^{*}$$A=U\Sigma V^* と導出どうしゅつの記法きほうが整合せいごうする。

5.22. 左特異ひだりとくいベクトルを構成こうせいする

$${\sigma }_i>0$$\sigma_i>0 のとき

と定義ていぎする。この $$u_i$$u_i は互たがいに直交ちょっこうorthogonalし、長ながさ 1 である。これを補完ほかんして $$R^m$$\mathbb R^m の正規直交基底せいきちょっこうきていorthonormal basisにすると、$$U$$U が得えられる。

左特異ひだりとくいベクトルは $$A{A}^T$$AA^T からも特徴付とくちょうづけられる。実行列じつぎょうれつでは

であり、複素ふくそcomplex行列ぎょうれつmatrixでは

である。つまり、$$A^{T}A$$A^TA または $$A^{*}A$$A^*A は入力側にゅうりょくがわの主方向しゅほうこうを与あたえ、$$A{A}^T$$AA^T または $$A{A}^{*}$$AA^* は出力側しゅつりょくがわの主方向しゅほうこうを与あたえる。

5.33. 階数かいすうrankとの関係かんけい

非零特異値ひぜろとくいちの個数こすうは $$A$$A の階数かいすうrankに等ひとしい。

小ちいさい特異値とくいちsingular valueは、行列ぎょうれつmatrixが情報じょうほうを強つよく圧縮あっしゅくする方向ほうこうを示しめす。

5.44. コンパクト SVD と基本部分空間きほんぶぶんくうかん

$$A$$A の階数かいすうrankを $$r$$r とし、正せいの特異値とくいちsingular valueだけを残のこすと

と表示ひょうじできる。これをコンパクト SVDCompact SVDという。複素ふくそcomplexの場合ばあいは $$V_{r^{*}}$$V_r^* を用もちいる。

この表示ひょうじでは、$$U_r$$U_r の列れつcolumnが $$\mathrm{Col}\left(A\right)$$\operatorname{Col}(A) の正規直交基底せいきちょっこうきていorthonormal basisを与あたえ、$$V_r$$V_r の列れつcolumnが $$\mathrm{Row}\left(A\right)$$\operatorname{Row}(A) の正規直交基底せいきちょっこうきていorthonormal basisを与あたえる。さらに、零特異値ぜろとくいちに対応たいおうする右特異みぎとくいベクトルは $$\ker \left(A\right)$$\ker(A) を、零特異値ぜろとくいちに対応たいおうする左特異ひだりとくいベクトルは $$\ker \left(A^T\right)$$\ker(A^T) または $$\ker \left(A^{*}\right)$$\ker(A^*) を記述きじゅつする。

5.55. 低階数近似ていかいすうきんじへの接続せつぞく

特異値とくいちsingular valueを大おおきい順じゅんに並ならべ、上位じょうい $$k$$k 個こだけを残のこすと

を得える。複素ふくそcomplexの場合ばあいは $$v_{i^{*}}$$v_i^* を用もちいる。Eckart-Young の定理ていりにより、$$A_k$$A_k は階数かいすうrank $$k$$k 以下いかの行列ぎょうれつmatrixの中なかで $$A$$A に最もっとも近ちかい近似きんじを与あたえる。

である。この事実じじつにより、SVD は分解ぶんかいの存在そんざいだけでなく、圧縮あっしゅくや雑音除去ざつおんじょきょの基礎きそにもなる。

5Precise explanation

5.11. Right singular vectors from $A^{T}A$A^TA or $A^{*}A$A^*A

In the real case, $A^{T}A$A^TA is symmetric. Choose an orthonormal eigenbasis $v_1,\dots ,v_n$v_1,\ldots,v_n:

These $v_i$v_i are the right singular vectors. In the complex case,

5.22. Constructing left singular vectors

For ${\sigma }_i>0$\sigma_i>0, define

Then the $u_i$u_i are orthonormal:

Using $A^{*}A{v}_i={\sigma }_{i^2}{v}_i$A^*Av_i=\sigma_i^2v_i and the orthonormality of the $v_i$v_i, this equals ${\delta }_{ij}$\delta_{ij}. Extend these $u_i$u_i to an orthonormal basis基底きてい of the output space to obtain $U$U.

The left singular vectors are also eigenvectors固有こゆうベクトル of $A{A}^T$AA^T in the real case:

and of $A{A}^{*}$AA^* in the complex case.

5.33. rank階数かいすう

The rank階数かいすう of $A$A is the number of nonzero singular values特異値とくいち:

Small singular values特異値とくいち indicate directions that are strongly compressed and often contribute to numerical instability.

5.44. Compact SVD and fundamental subspaces

If $\mathrm{rank}\left(A\right)=r$\operatorname{rank}(A)=r, keeping only positive singular values特異値とくいち gives the compact SVD

in the real case, and $A=U_r{\mathrm{\Sigma }}_r{V}_{r^{*}}$A=U_r\Sigma_rV_r^* in the complex case.

The columns of $U_r$U_r form an orthonormal basis基底きてい of $\mathrm{Col}\left(A\right)$\operatorname{Col}(A). The columns of $V_r$V_r form an orthonormal basis基底きてい of the row space行空間ぎょうくうかん. Right singular vectors for ${\sigma }_i=0$\sigma_i=0 span $\ker \left(A\right)$\ker(A), and left singular vectors for zero singular values特異値とくいち span $\ker \left(A^T\right)$\ker(A^T) or $\ker \left(A^{*}\right)$\ker(A^*).

5.55. Low-rank階数かいすう approximation

Keeping only the largest $k$k singular values特異値とくいち gives

in the real case, and $v_{i^{*}}$v_i^* in the complex case. By the Eckart-Young theorem, $A_k$A_k is the closest matrix to $A$A among matrices of rank階数かいすう at most $k$k:

This supports compression and denoising, but discarding small singular values特異値とくいち also discards information. If a small-singular-value direction contains meaningful signal, truncation must be used carefully.

6具体例ぐたいていれい

では、すでに軸方向じくほうこうの伸縮しんしゅくが分離ぶんりされている。したがって

とでき、特異値とくいちsingular valueは $$3,1$$3,1 である。

一般いっぱんの行列ぎょうれつmatrixでは、まず $$V^T$$V^T が入力空間にゅうりょくくうかんinput spaceを主方向しゅほうこうへ回転かいてんし、$$\mathrm{\Sigma }$$\Sigma が伸縮しんしゅくし、$$U$$U が出力空間しゅつりょくくうかんへ配置はいちする。

非対角ひたいかくな例れいとして、

を考かんがえる。このとき

であり、その固有値こゆうちeigenvalueは

である。したがって特異値とくいちsingular valueは

となる。$$A$$A 自身じしんの固有値こゆうちeigenvalueは $$1$$1 だけであるが、特異値とくいちsingular valueは $$A$$A が長ながさをどれだけ伸のばすかを記録きろくする。SVD は固有値こゆうちeigenvalueの代替だいたいではなく、別べつの、より幾何的きかてきで安定あんていした量りょうquantityを測はかる。

6Concrete examples

For

we may take

The singular values特異値とくいち are $3$3 and $1$1.

For a general matrix, $V^T$V^T first rotates the input space into principal directions, $\mathrm{\Sigma }$\Sigma stretches those directions, and $U$U places the result in the output space.

For a non-diagonal example,

Then

whose eigenvalues固有値こゆうち are

Therefore the singular values特異値とくいち are

Although $A$A has only the eigenvalue固有値こゆうち $1$1, its singular values特異値とくいち record how lengths are stretched by $A$A. SVD is not a replacement for eigenvalues固有値こゆうち; it measures a different and often more stable geometric quantity.

7別べつの観点かんてん

特異値分解とくいちぶんかいsingular value decompositionSVDは、最小二乗法さいしょうにじょうほうleast squares methodと擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixの基礎きそである。$$A$$A が正則せいそくでなくても、非零特異値ひぜろとくいちの方向ほうこうだけを反転はんてんすることで、最小さいしょうノルム解かいを定義ていぎできる。

8判定基準はんていきじゅん

• 特異値とくいちsingular valueは $$A^{T}A$$A^TA の固有値こゆうちeigenvalueの平方根へいほうこんである。
• 非零特異値ひぜろとくいちの個数こすうは階数かいすうrankである。
• 特異値分解とくいちぶんかいsingular value decompositionSVDは長方行列ちょうほうぎょうれつにも適用てきようできる。
• 小ちいさい特異値とくいちsingular valueは情報じょうほうの圧縮あっしゅくや数値的不安定性すうちてきふあんていせいと関係かんけいする。
• コンパクト SVD は、列空間れつくうかんcolumn space・行空間ぎょうくうかんrow space・核かくkernelを同時どうじに記述きじゅつする。

9どこまで成立せいりつするか

特異値分解とくいちぶんかいsingular value decompositionSVDは任意にんいの実行列じつぎょうれつ・複素行列ふくそぎょうれつに成立せいりつする。固有値分解こゆうちぶんかいとは異ことなり、正方行列せいほうぎょうれつsquare matrixや対角化可能性たいかくかかのうせいを前提ぜんていにしない。

10存在定理そんざいていりと証明しょうめいの骨格こっかく

任意にんいの $$m\times n$$m\times n 実行列じつぎょうれつ $$A$$A について、直交行列ちょっこうぎょうれつorthogonal matrix $$U,V$$U,V と非負ひふの対角成分たいかくせいぶんをもつ $$m\times n$$m\times n 行列ぎょうれつ $$\mathrm{\Sigma }$$\Sigma が存在そんざいして

と書かける。複素行列ふくそぎょうれつcomplex matrixでは

である。

証明しょうめいの骨格こっかくは $$A^{T}A$$A^TA または $$A^{*}A$$A^*A のスペクトル定理ていりspectral theoremである。$$A^{*}A$$A^*A はエルミート行列ぎょうれつHermitian matrixであり、

なので非負定値ひふていちである。したがって正規直交せいきちょっこう固有ベクトルeigenvector $$v_i$$v_i と非負ひふの固有値こゆうちeigenvalue $${\lambda }_i$$\lambda_i を持もつ。$${\sigma }_i=\sqrt{{\lambda }_i}$$\sigma_i=\sqrt{\lambda_i} と置おき、$${\sigma }_i>0$$\sigma_i>0 について

と定義ていぎする。すると

より $$u_i$$u_i は互たがいに直交ちょっこうorthogonalし、長ながさ 1 になる。残のこりの $$u_i$$u_i を補完ほかんすれば $$U$$U が得えられる。この構成こうせいが SVD の存在そんざいを説明せつめいする。

7Another viewpoint

Singular value decompositionSVD特異値分解とくいちぶんかい is the basis of the least squares method最小二乗法さいしょうにじょうほう and the pseudoinverse matrix擬似逆行列ぎじぎゃくぎょうれつ. Even when $A$A is not invertible, one can invert only the directions with nonzero singular values and thereby define the minimum-norm solution.

8Criteria

• Singular values特異値とくいち are the square roots of the eigenvalues固有値こゆうち of $A^{T}A$A^TA or $A^{*}A$A^*A.
• The number of nonzero singular values is the rank階数かいすう.
• SVD applies to rectangular matrices as well as square matrices.
• Small singular values特異値とくいち are related to compression and numerical instability.
• Compact SVD simultaneously describes the column space列空間れつくうかん, row space行空間ぎょうくうかん, and kernel核かく.

9Scope

SVD holds for every real or complex matrix. Unlike eigendecomposition, it does not require the matrix to be square or diagonalizable.

10Existence theorem and proof outline

For every real $m\times n$m\times n matrix $A$A, there exist orthogonal matrices直交行列ちょっこうぎょうれつ $U,V$U,V and an $m\times n$m\times n matrix $\mathrm{\Sigma }$\Sigma with nonnegative diagonal entries such that

For a complex matrix,

The proof is based on the spectral theorem for $A^{T}A$A^TA or $A^{*}A$A^*A. The matrix $A^{*}A$A^*A is Hermitianエルミート and

so it is positive semidefinite. Hence it has an orthonormal eigenbasis $v_i$v_i with nonnegative eigenvalues固有値こゆうち ${\lambda }_i$\lambda_i. Set ${\sigma }_i=\sqrt{{\lambda }_i}$\sigma_i=\sqrt{\lambda_i}, and for ${\sigma }_i>0$\sigma_i>0 define

Then

so the $u_i$u_i are mutually orthogonal直交ちょっこう and have length $1$1. Completing the remaining $u_i$u_i gives $U$U. This construction explains the existence of the SVD.

11基本部分空間きほんぶぶんくうかんの対応たいおう

SVD は、4 つの基本部分空間きほんぶぶんくうかんを同時どうじに整理せいりする。

このため SVD は、階数かいすうrankだけでなく、解かいが失うしなわれる方向ほうこう、列空間れつくうかんへの射影しゃえいprojection、最小二乗解さいしょうにじょうかいを同時どうじに記述きじゅつできる。

11Correspondence of fundamental subspaces

SVD organizes the four fundamental subspaces基本部分空間きほんぶぶんくうかん at the same time.

Therefore SVD describes not only the rank階数かいすう, but also the directions in which solutions are lost, the projection射影しゃえい onto the column space列空間れつくうかん, and least-squares solutions最小二乗解さいしょうにじょうかい.

12別べつの見方みかた

SVD は、最小二乗法さいしょうにじょうほうleast squares methodと擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixの基礎きそでもある。$$A$$A が可逆かぎゃくinvertibleでなくても、正せいの特異値とくいちsingular valueをもつ特異方向とくいほうこうsingular directionは逆向ぎゃくむきに戻もどせる一方いっぽう、$${\sigma }_i=0$$\sigma_i=0 の方向ほうこうは失うしなわれた情報じょうほうとして扱あつかう。

12Another viewpoint

SVD is the foundation of the least squares method最小二乗法さいしょうにじょうほう and the pseudoinverse matrix擬似逆行列ぎじぎゃくぎょうれつ. Even when $A$A is not invertible可逆かぎゃく, nonzero singular directions can be inverted while zero singular directions are treated as lost information.

13計算例けいさんれい：非対角ひたいかくな $$2\times 2$$2\times2 行列ぎょうれつ

を考かんがえる。このとき

であり、固有値こゆうちeigenvalueは

である。したがって特異値とくいちsingular valueは

である。ここで $$A$$A 自身じしんの固有値こゆうちeigenvalueは $$1$$1 の重複ちょうふくであるが、特異値とくいちsingular valueは $$A^{T}A$$A^TA の平方根へいほうこんとして別べつの量りょうを測はかっている。つまり SVD は「固有値こゆうちeigenvalueの代替だいたい」ではなく、入力方向にゅうりょくほうこうの長ながさがどれだけ伸のびるかを測はかる分解ぶんかいである。

13Calculation example: a non-diagonal $$2\times 2$$2\times2 matrix

Consider

Then

and the eigenvalues固有値こゆうち are

Therefore the singular values特異値とくいち are

Here the eigenvalue固有値こゆうち of $A$A itself is $1$1 with multiplicity two, but the singular values特異値とくいち measure a different quantity as square roots of the eigenvalues of $A^{T}A$A^TA. In other words, SVD is not a substitute for eigenvalues固有値こゆうち; it is a decomposition分解ぶんかい that measures how much lengths in input directions are stretched.

14判定基準はんていきじゅん

• 特異値とくいちsingular valueは $$A^{T}A$$A^TA または $$A^{*}A$$A^*A の固有値こゆうちeigenvalueの平方根へいほうこんである。
• 正せいの特異値とくいちsingular valueの個数こすうが階数かいすうrankである。
• SVD は長方行列ちょうほうぎょうれつにも適用てきようできる。
• 小ちいさい特異値とくいちsingular valueは、圧縮あっしゅくや数値的すうちてきな不安定性ふあんていせいを示しめすことがある。
• コンパクト SVD は、列空間れつくうかんcolumn space、行空間ぎょうくうかんrow space、核かくを同時どうじに記述きじゅつする。

14Criteria

• singular values特異値とくいち are square roots of eigenvalues固有値こゆうち of $A^{T}A$A^TA or $A^{*}A$A^*A.
• The number of nonzero singular values特異値とくいち is the rank階数かいすう.
• SVD applies to rectangular matrices.
• Small singular values特異値とくいち indicate compression and possible numerical instability.
• Compact SVD describes column space列空間れつくうかん, row space行空間ぎょうくうかん, and kernels simultaneously.

15低階数近似ていかいすうきんじの意味いみと注意ちゅうい

Eckart-Young の定理ていりは、上位じょうい $$k$$k 個この特異値とくいちsingular valueだけを残のこした

が、階数かいすう $$k$$k 以下いかの行列ぎょうれつmatrixの中なかで $$A$$A に最もっとも近ちかいことを主張しゅちょうする。ただし、小ちいさい特異値とくいちsingular valueを切きることは情報じょうほうを捨すてることでもある。ノイズ除去じょきょや圧縮あっしゅくでは有効ゆうこうだが、小ちいさい特異値とくいちsingular valueの方向ほうこうが意味いみのある信号しんごうを含ふくむ場合ばあいには注意ちゅういが必要ひつようである。

15Meaning and cautions of low-rank approximation

The Eckart-Young theorem定理ていり states that

obtained by keeping only the top $k$k singular values特異値とくいち is the closest matrix to $A$A among all matrices of rank階数かいすう at most $k$k. However, cutting off small singular values特異値とくいち also means throwing away information. This is useful for denoising and compression, but caution is necessary when the directions of small singular values特異値とくいち contain meaningful signal.

16適用範囲てきようはんいと限界げんかい

SVD は、実じつまたは複素ふくそのすべての行列ぎょうれつmatrixに存在そんざいする。固有値分解こゆうちぶんかいeigenvalue decompositionと違ちがい、正方せいほうであることや対角化可能たいかくかかのうdiagonalizableであることを仮定かていしない。ただし、特異値とくいちsingular valueだけでは符号ふごう、位相いそう、固有こゆうベクトルeigenvectorの振ふる舞まいは捉とらえられない。特異値とくいちsingular valueが記述きじゅつするのは長ながさの伸のびである。

16Scope and limitations

SVD exists for every real or complex matrix. Unlike eigenvalue decomposition固有値分解こゆうちぶんかい, it does not assume squareness or diagonalizability. However, the singular values特異値とくいち alone do not capture sign, phase, or eigenvector固有こゆうベクトル behavior; they describe length stretching.

17最終形さいしゅうけい

17Final forms

18一言ひとことでいうと

• 特異値分解とくいちぶんかいsingular value decompositionSVDは、任意にんいの行列ぎょうれつmatrixを直交変換ちょっこうへんかんと軸方向じくほうこうの伸縮しんしゅくへ分解ぶんかいする標準形ひょうじゅんけいである。

18In one sentence

Singular value decomposition特異値分解とくいちぶんかいSVD is the standard form that decomposes any matrix into orthogonal coordinate changes and axis-wise stretching.

19演習えんしゅうリンク

19Exercise link

20関連かんれんリンク

20Related links