SVD と擬似逆行列ぎじぎゃくぎょうれつpseudoinverse-基本演習きほんえんしゅう

date2026-05-25description特異値分解と擬似逆行列を、潰れない方向、零特異値、最小二乗解、最小ノルム解から確認する演習である。prerequisites特異値分解の入口 / 擬似逆行列の基本 / 複素内積とユニタリ行列type問題演習content_typeexercisestatusactive

mathlinear-algebraexercisesvdpseudoinverse

data/lecture/math/linear-algebra/特異値分解の入口-講義.n.md data/lecture/math/linear-algebra/擬似逆行列の基本-講義.n.md data/lecture/math/linear-algebra/複素内積とユニタリ行列-講義.n.md

演習えんしゅう方針ほうしん

特異値分解とくいちぶんかいsingular value decompositionは、行列ぎょうれつmatrixを入力側にゅうりょくがわの直交方向ちょっこうほうこう、非負ひふの伸縮率しんしゅくりつ、出力側しゅつりょくがわの直交方向ちょっこうほうこうに分解ぶんかいする。擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、0 でない特異値とくいちsingular valueだけを逆数ぎゃくすうにし、0 の特異値とくいちsingular valueは逆ぎゃくにしない。

問題もんだい 1

つぎの空欄くうらんを埋うめよ。

「特異値分解とくいちぶんかいsingular value decompositionは、長方行列ちょうほうぎょうれつを、入力側にゅうりょくがわの直交基底ちょっこうきてい、非負ひふの伸縮率しんしゅくりつ、出力側しゅつりょくがわの直交基底ちょっこうきていに分解ぶんかいする。擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、0 でない特異値とくいちsingular valueを ____ し、0 の特異値とくいちsingular valueは ____ ことで、最小二乗解さいしょうにじょうかいleast-squares solutionや最小さいしょうノルム解かいminimum-norm solutionを記述きじゅつする。」

解答例かいとうれい

○

「逆数ぎゃくすうに」し、「そのまま $0$ として扱あつかう」。

解説かいせつ

0 の特異値とくいちsingular valueを逆数ぎゃくすうにしようとすると 0 による除算じょざんdivisionになる。擬似逆行列ぎじぎゃくぎょうれつpseudoinverseでは、潰つぶれた方向ほうこうを無理むりに復元ふくげんしない。

問題もんだい 2

A = (\begin{matrix} 3 & 0 \\ 0 & 0 \\ 0 & 4 \end{matrix})

のコンパクトSVDcompact SVDを 1 つ求もとめよ。

解答例かいとうれい

○

A^{T} A = (\begin{matrix} 9 & 0 \\ 0 & 16 \end{matrix})

なので、特異値とくいちsingular valueは $4, 3$ である。右みぎ特異とくいベクトルsingular vectorを

v_{1} = (\begin{matrix} 0 \\ 1 \end{matrix}), v_{2} = (\begin{matrix} 1 \\ 0 \end{matrix})

と選えらぶと、

u_{1} = \frac{A v_{1}}{4} = (\begin{matrix} 0 \\ 0 \\ 1 \end{matrix}), u_{2} = \frac{A v_{2}}{3} = (\begin{matrix} 1 \\ 0 \\ 0 \end{matrix})

である。したがって $A = U_{r} Σ_{r} V_{r^{T}}$ 、ただし

U_{r} = (\begin{matrix} 0 & 1 \\ 0 & 0 \\ 1 & 0 \end{matrix}), Σ_{r} = (\begin{matrix} 4 & 0 \\ 0 & 3 \end{matrix}), V_{r} = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

である。

解説かいせつ

コンパクトSVDcompact SVDでは、0 でない特異値とくいちsingular valueに対応たいおうする方向ほうこうだけを残のこす。階数かいすうrankや列空間れつくうかんcolumn spaceを読よむには、この形かたちが扱あつかいやすい。

問題もんだい 3

A = (\begin{matrix} 3 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{matrix})

について、特異値とくいちsingular value、核かくkernel、像ぞうimageを求もとめ、最大さいだいの特異値とくいちsingular valueだけを残のこす階数かいすうrank 1 近似きんじが何なにを保存ほぞんし何なにを捨すてるかを説明せつめいせよ。

解答例かいとうれい

○

$A^{T} A$ は

(\begin{matrix} 9 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 0 \end{matrix})

なので、特異値とくいちsingular valueは $3, 1, 0$ である。また、

\ker A = span (e_{3}), Im A = span (e_{1}, e_{2})

である。最大さいだいの特異値とくいちsingular valueだけを残のこす階数かいすうrank 1 近似きんじは

A_{1} = (\begin{matrix} 3 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{matrix})

である。

解説かいせつ

$A_{1}$ は最もっとも強つよく残のこる $e_{1}$ 方向ほうこうを保存ほぞんし、 $e_{2}$ 方向ほうこうの弱よわい成分せいぶんcomponentと $e_{3}$ 方向ほうこうの核かくkernelを捨すてる。SVD による近似きんじは、方向ほうこうごとの重要度じゅうようどを特異値とくいちsingular valueで測はかる。

問題もんだい 4

B = (\begin{matrix} 1 & 1 \\ 2 & 2 \\ 0 & 0 \end{matrix})

について、非零ひれい特異値とくいちsingular valueを使つかって $B^{+}$ を求もとめ、 $B B^{+}$ と $B^{+} B$ が何なにへの射影しゃえいprojectionかを説明せつめいせよ。

解答例かいとうれい

○

$B = u v^{T}$ と書かける。ただし

u = (\begin{matrix} 1 \\ 2 \\ 0 \end{matrix}), v = (\begin{matrix} 1 \\ 1 \end{matrix})

である。 $∥ u ∥ = \sqrt{5}$ 、 $∥ v ∥ = \sqrt{2}$ なので、非零ひれい特異値とくいちsingular valueは $\sqrt{10}$ である。したがって

B^{+} = \frac{1}{10} v u^{T} = \frac{1}{10} (\begin{matrix} 1 & 2 & 0 \\ 1 & 2 & 0 \end{matrix})

である。 $B B^{+}$ は $span (u)$ への直交射影ちょっこうしゃえいorthogonal projectionであり、 $B^{+} B$ は $span (v)$ への直交射影ちょっこうしゃえいorthogonal projectionである。

解説かいせつ

擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、潰つぶれていない方向ほうこうだけを逆向ぎゃくむきに戻もどす。 $B B^{+}$ と $B^{+} B$ は恒等変換こうとうへんかんidentity transformationではなく、残のこっている情報じょうほうの空間くうかんへの射影しゃえいprojectionである。

問題もんだい 5

A = (\begin{matrix} 1 \\ 1 \end{matrix}), b = (\begin{matrix} 2 \\ 0 \end{matrix})

について、 $A^{+}$ を使つかって最小二乗解さいしょうにじょうかいleast-squares solutionを求もとめよ。

解答例かいとうれい

○

A^{+} = \frac{1}{2} (\begin{matrix} 1 & 1 \end{matrix})

なので、

x = A^{+} b = 1

である。近似きんじベクトルは $A x = (1, 1)^{T}$ 、残差ざんさresidualは

r = (\begin{matrix} 1 \\ - 1 \end{matrix})

である。 $A^{T} r = 0$ なので、残差ざんさresidualは列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする。

解説かいせつ

過剰決定系かじょうけっていけいoverdetermined systemでは、 $A x = b$ が厳密げんみつには解とけない場合ばあいがある。擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、列空間れつくうかんcolumn spaceへの射影しゃえいprojectionに対応たいおうする最小二乗解さいしょうにじょうかいleast-squares solutionを返かえす。

問題もんだい 6

A = (\begin{matrix} 1 & 1 \end{matrix}), b = 2

について、 $A x = b$ の解かいsolutionが無限むげんにあることを確認かくにんし、 $A^{+} b$ が最小さいしょうノルム解かいminimum-norm solutionになることを説明せつめいせよ。

解答例かいとうれい

○

A^{+} = \frac{1}{2} (\begin{matrix} 1 \\ 1 \end{matrix})

なので、

A^{+} b = (\begin{matrix} 1 \\ 1 \end{matrix})

である。 $A x = b$ は $x_{1} + x_{2} = 2$ なので、一般解いっぱんかいは

x = (\begin{matrix} 2 - t \\ t \end{matrix}) (t \in R)

である。この解かいの長ながさの二乗にじょうは

∥ x ∥^{2} = (2 - t)^{2} + t^{2} = 2 (t - 1)^{2} + 2

なので、 $t = 1$ のとき最小さいしょうになる。

解説かいせつ

劣決定系れつけっていけいunderdetermined systemでは、解かいが無限むげんに存在そんざいする場合ばあいがある。擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、その中なかから長ながさが最小さいしょうの解かいを選えらぶ。

問題もんだい 7

C = (\begin{matrix} 1 & i \\ 0 & 0 \end{matrix})

について、 $C^{*} C$ を計算けいさんし、特異値とくいちsingular valueを求もとめよ。

解答例かいとうれい

○

C^{*} = (\begin{matrix} 1 & 0 \\ - i & 0 \end{matrix})

なので

C^{*} C = (\begin{matrix} 1 & i \\ - i & 1 \end{matrix})

である。この行列ぎょうれつmatrixの固有値こゆうちeigenvalueは $2, 0$ である。したがって $C$ の特異値とくいちsingular valueは

\sqrt{2}, 0

である。

解説かいせつ

複素行列ふくそぎょうれつcomplex matrixでは $A^{T} A$ ではなく $A^{*} A$ を使つかう。共役転置きょうやくてんちconjugate transposeを使つかうことで、 $A^{*} A$ はエルミート行列ぎょうれつHermitian matrixかつ非負定値ひふていちpositive semidefiniteになる。

SVD と擬似逆行列ぎじぎゃくぎょうれつpseudoinverse-基本演習きほんえんしゅう

演習えんしゅう方針ほうしん

問題もんだい 1

解答例かいとうれい

解説かいせつ

問題もんだい 2

解答例かいとうれい

解説かいせつ

問題もんだい 3

解答例かいとうれい

解説かいせつ

問題もんだい 4

解答例かいとうれい

解説かいせつ

問題もんだい 5

解答例かいとうれい

解説かいせつ

問題もんだい 6

解答例かいとうれい

解説かいせつ

問題もんだい 7

解答例かいとうれい

解説かいせつ

関連演習かんれんえんしゅう

関連講義かんれんこうぎ