擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixの基本きほん

date2026-07-14document_iddoc_6eba467a0347e7066e9c67f646f47240description擬似逆行列を、逆行列が存在しない場合にも最小二乗解と最小ノルム解を統一的に記述するための行列として整理する講義である。prerequisites特異値分解の入口 / 最小二乗法の基本 / 逆行列の基本type講義content_typelecturestatusactive

mathlinear-algebraundergraduatelecture

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、逆行列ぎゃくぎょうれつinverse matrixが存在そんざいしない行列ぎょうれつmatrixに対たいしても、最小二乗解さいしょうにじょうかいと最小さいしょうノルム解かいを統一的とういつてきに与あたえる道具どうぐであるということである。

逆行列ぎゃくぎょうれつinverse matrixは正方行列せいほうぎょうれつsquare matrixで、しかも情報じょうほうを失うしなわない場合ばあいにだけ存在そんざいする。しかし、長方行列ちょうほうぎょうれつや階数落かいすうおちの行列ぎょうれつmatrixにおいても、近似解きんじかいや代表解だいひょうかいを必要ひつようとする状況じょうきょうは多おおい。擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、その状況じょうきょうを線型代数せんけいだいすうの言葉ことばで処理しょりする。

2用語ようごと定義ていぎ

ムーア・ペンローズ擬似逆行列ぎじぎゃくぎょうれつMoore-Penrose pseudoinverse とは、行列ぎょうれつmatrix $A$ の特異値分解とくいちぶんかいsingular value decompositionSVDから定義ていぎされる行列ぎょうれつmatrixである。実行列じつぎょうれつでは

A = U Σ V^{T}

に対たいして

A^{+} = V Σ^{+} U^{T}

で定義ていぎする。複素行列ふくそぎょうれつでは

A = U Σ V^{*}

に対たいして

A^{+} = V Σ^{+} U^{*}

で定義ていぎする。ここで $Σ^{+}$ は、 $Σ$ の非零特異値ひぜろとくいち $σ_{i}$ を $1 / σ_{i}$ に置換ちかんし、転置てんちした形かたちの行列ぎょうれつmatrixである。

3方針ほうしん

方針ほうしんは、特異値分解とくいちぶんかいsingular value decompositionSVDにより行列ぎょうれつmatrixの作用さようを直交変換ちょっこうへんかんと伸縮しんしゅくへ分解ぶんかいし、非零ひぜろの伸縮方向しんしゅくほうこうだけを反転はんてんすることである。零特異値ぜろとくいちの方向ほうこうは情報じょうほうが消失しょうしつするため、逆変換ぎゃくへんかんを定義ていぎしない。

data/lecture/math/linear-algebra/introduction-to-singular-value-decomposition.lecture.n.md

4直感的ちょっかんてきな説明せつめい

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、可能かのうな範囲はんいで逆向ぎゃくむきの操作そうさoperationを実行じっこうする行列ぎょうれつmatrixである。

$A$ がある方向ほうこうを 3 倍ばいするなら、 $A^{+}$ はその方向ほうこうを $1 / 3$ 倍ばいする。 $A$ がある方向ほうこうを 0 に潰つぶすなら、その情報じょうほうは復元不能ふくげんふのうであるため、 $A^{+}$ はその方向ほうこうを復元ふくげんしない。

5厳密げんみつな説明せつめい

5.11. 正則行列せいそくぎょうれつでは逆行列ぎゃくぎょうれつinverse matrixに一致いっちする

$A$ が正則せいそくなら、すべての特異値とくいちsingular valueが正せいである。この場合ばあい、 $Σ^{+}$ は $Σ^{- 1}$ に一致いっちし、

A^{+} = A^{- 1}

である。擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは逆行列ぎゃくぎょうれつinverse matrixの拡張かくちょうである。

5.22. 最小二乗解さいしょうにじょうかい

連立一次方程式れんりついちじほうていしきsystem of linear equations

A x = b

が解かいを持もたない場合ばあい、 $A^{+} b$ は

∥ A x - b ∥

を最小化さいしょうかする解かいのうち、ノルムが最小さいしょうのものを与あたえる。

[PARSE ERROR: Undefined("Command(\"boxed\")")] x = A^{+} b

5.33. 階数条件かいすうじょうけんによる公式こうしき

$A$ の列れつcolumnが一次独立いちじどくりつlinear independenceなら、

A^{+} = (A^{T} A)^{- 1} A^{T}

である。これは正規方程式せいきほうていしきから得えられる最小二乗公式さいしょうにじょうこうしきである。

$A$ の行ぎょうrowが一次独立いちじどくりつlinear independenceなら、

A^{+} = A^{T} (A A^{T})^{- 1}

である。この場合ばあいは、解かいが複数ふくすう存在そんざいするときに最小さいしょうノルム解かいを選択せんたくする。

複素ふくそcomplexの場合ばあいは、これらの式しきの $A^{T}$ を $A^{*}$ に置換ちかんする。列れつcolumnが一次独立いちじどくりつlinear independenceなら

A^{+} = (A^{*} A)^{- 1} A^{*}

であり、行ぎょうrowが一次独立いちじどくりつlinear independenceなら

A^{+} = A^{*} (A A^{*})^{- 1}

である。

5.44. ペンローズの 4 条件じょうけん

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは SVD による構成こうせいだけでなく、次つぎの 4 条件じょうけんによって一意いちいに特徴とくちょうづけられる。

A A^{+} A = A

A^{+} A A^{+} = A^{+}

(A A^{+})^{*} = A A^{+}

(A^{+} A)^{*} = A^{+} A

これらをペンローズの条件じょうけんという。前半ぜんはん 2 式しきは「可能かのうな範囲はんいで逆操作ぎゃくそうさとして機能きのうする」ことを表あらわし、後半こうはん 2 式しきは得えられる射影しゃえいprojectionが直交射影ちょっこうしゃえいorthogonal projectionであることを保証ほしょうする。

5.55. 射影しゃえいprojectionとしての $A A^{+}$ と $A^{+} A$

$A$ のコンパクト SVD を

A = U_{r} Σ_{r} V_{r^{*}}

とすると、

A A^{+} = U_{r} U_{r^{*}}

であり、これは $Col (A)$ への直交射影ちょっこうしゃえいorthogonal projectionである。また

A^{+} A = V_{r} V_{r^{*}}

であり、これは行空間ぎょうくうかんrow spaceへの直交射影ちょっこうしゃえいorthogonal projectionである。実行列じつぎょうれつでは $*$ を $T$ に置換ちかんする。

6具体例ぐたいていれい

A = (\begin{matrix} 2 & 0 \\ 0 & 0 \end{matrix})

とする。この行列ぎょうれつmatrixは第二成分だいにせいぶんを消去しょうきょするため、正則せいそくではない。特異値とくいちsingular valueは $2, 0$ である。したがって

A^{+} = (\begin{matrix} 1 / 2 & 0 \\ 0 & 0 \end{matrix})

である。失うしなわれた第二成分だいにせいぶんは復元ふくげんされない。

この例れいでは

A A^{+} = (\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix}), A^{+} A = (\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix})

である。どちらも第一成分だいいちせいぶんの軸じくへの直交射影ちょっこうしゃえいorthogonal projectionであり、消去しょうきょされた第二成分だいにせいぶんを復元ふくげんしない。

7射影しゃえいprojectionとしての見方みかたと数値計算上すうちけいさんじょうの注意ちゅうい

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、射影しゃえいprojectionとも密接みっせつに関係かんけいする。 $A A^{+}$ は列空間れつくうかんcolumn spaceへの直交射影ちょっこうしゃえいorthogonal projection、 $A^{+} A$ は行空間ぎょうくうかんrow spaceへの直交射影ちょっこうしゃえいorthogonal projectionとして解釈かいしゃくできる。

数値計算すうちけいさんでは、極端きょくたんに小ちいさい特異値とくいちsingular valueをそのまま逆数ぎゃくすうにすると誤差ごさが増幅ぞうふくされる。そのため、小ちいさい特異値とくいちsingular valueを除外じょがいする切断せつだん SVD

A_{k^{+}} = \sum_{i = 1}^{k} σ_{i^{- 1}} v_{i} u_{i^{*}}

や、 $σ_{i^{- 1}}$ の代かわりに $σ_{i} / (σ_{i^{2}} + λ)$ を用もちいる正則化せいそくかが利用りようされる。

8判定基準はんていきじゅん

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは特異値分解とくいちぶんかいsingular value decompositionSVDから定義ていぎされる。
非零特異値ひぜろとくいちだけを逆数ぎゃくすうにする。
正則行列せいそくぎょうれつでは通常つうじょうの逆行列ぎゃくぎょうれつinverse matrixと一致いっちする。
ペンローズの 4 条件じょうけんにより一意いちいに定さだまる。
解かいが存在そんざいしない場合ばあいは最小二乗解さいしょうにじょうかいを与あたえる。
解かいが複数ふくすう存在そんざいする場合ばあいは最小さいしょうノルム解かいを選択せんたくする。

9どこまで成立せいりつするか

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは任意にんいの実行列じつぎょうれつ・複素行列ふくそぎょうれつに定義ていぎできる。ただし特異値とくいちsingular valueが極端きょくたんに小ちいさい場合ばあい、逆数ぎゃくすうが大おおきくなり、数値的不安定性すうちてきふあんていせいが生しょうじる。この場合ばあいは切断特異値分解せつだんとくいちぶんかいや正則化せいそくかを検討けんとうする。

10命題めいだい： $A^{+} b$ が選えらぶ解かい

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、 $A x = b$ の状況じょうきょうに応おうじて次つぎの意味いみを持もつ。

$A x = b$ が解かいを持もつ場合ばあい、 $A^{+} b$ はその解かいの中なかでノルムnormが最小さいしょうのものを与あたえる。
$A x = b$ が解かいを持もたない場合ばあい、 $A^{+} b$ は $∥ A x - b ∥$ を最小さいしょうにする解かいの中なかでノルムnormが最小さいしょうのものを与あたえる。

SVD で $A = U Σ V^{*}$ と書かき、 $U^{*} b = c$ と置おくと、問題もんだいは

\min_{y} ∥ Σ y - c ∥

へ変換へんかんされる。 $Σ$ は対角方向たいかくほうこうの伸縮しんしゅくだけなので、 $σ_{i} > 0$ の方向ほうこうでは $y_{i} = c_{i} / σ_{i}$ と決きまり、 $σ_{i} = 0$ の方向ほうこうでは $y_{i}$ は残差ざんさを減へらせない。そこで最小さいしょうノルムにするため $y_{i} = 0$ を選えらぶ。この選択せんたくが

x = A^{+} b = V Σ^{+} U^{*} b

である。

11射影しゃえいの意味いみを確認かくにんする

$A A^{+}$ は $Col (A)$ への直交射影ちょっこうしゃえいorthogonal projectionである。したがって $A A^{+} b$ は $b$ の到達可能とうたつかのうな部分ぶぶん、つまり $A$ の列空間れつくうかんcolumn spaceに最もっとも近ちかい点てんを表あらわす。

一方いっぽう、 $A^{+} A$ は $Row (A)$ への直交射影ちょっこうしゃえいorthogonal projectionである。これは $x$ から $\ker (A)$ 方向ほうこうの余分よぶんな成分せいぶんを除のぞき、最小さいしょうノルムの代表元だいひょうげんを選えらぶ操作そうさである。

12計算例けいさんれい：長方行列ちょうほうぎょうれつの擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrix

A = (\begin{matrix} 1 \\ 1 \end{matrix})

とする。これは $R$ から $R^{2}$ への写像しゃぞうで、 $x$ を $(x, x)$ に送おくる。列れつcolumnは一次独立いちじどくりつなので

A^{+} = (A^{T} A)^{- 1} A^{T} = \frac{1}{2} (\begin{matrix} 1 & 1 \end{matrix}) .

$b = (1, 3)^{T}$ に対たいして

A^{+} b = 2

であり、 $A x = (2, 2)^{T}$ が $b$ の $span {(1, 1)^{T}}$ への直交射影ちょっこうしゃえいorthogonal projectionになる。これは 2 点てん $1, 3$ の平均へいきんを取とる操作そうさと同おなじである。

13落おとし穴あな：小ちいさい特異値とくいちsingular value

$σ_{i}$ が 0 ではないが非常ひじょうに小ちいさい場合ばあい、 $1 / σ_{i}$ は非常ひじょうに大おおきくなり、 $b$ の小ちいさな誤差ごさを大おおきく増幅ぞうふくする。このため、理論上りろんじょうの $A^{+}$ がいつも数値的すうちてきに良よい選択せんたくとは限かぎらない。実務じつむでは切断せつだん SVD や Tikhonov 正則化せいそくかを使つかい、小ちいさな特異値とくいちsingular valueの逆数ぎゃくすうを抑おさえる。

14最終形さいしゅうけい

[PARSE ERROR: Undefined("Command(\"boxed\")")] A = U Σ V^{T}, A^{+} = V Σ^{+} U^{T}

[PARSE ERROR: Undefined("Command(\"boxed\")")] A = U Σ V^{*}, A^{+} = V Σ^{+} U^{*} (complexcase)

[PARSE ERROR: Undefined("Command(\"boxed\")")] x = A^{+} b

[PARSE ERROR: Undefined("Command(\"boxed\")")] A^{+} = (A^{T} A)^{- 1} A^{T} ifcolumnsareindependent

[PARSE ERROR: Undefined("Command(\"boxed\")")] A A^{+} = {proj}_{Col (A)}, A^{+} A = {proj}_{Row (A)}

15一言ひとことでいうと

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、逆行列ぎゃくぎょうれつinverse matrixを持もたない行列ぎょうれつmatrixに対たいして、射影しゃえいprojectionと最小化さいしょうかに基もとづく代表的だいひょうてきな逆操作ぎゃくそうさを与あたえる。

16演習えんしゅうリンク

data/exercise/math/linear-algebra/eigenvalues-diagonalization-and-extensions.exercise.n.md