擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixの基本きほん

date2026-05-25description擬似逆行列を、逆行列が存在しない場合にも最小二乗解と最小ノルム解を統一的に記述するための行列として整理する講義である。prerequisites特異値分解の入口 / 最小二乗法の基本 / 逆行列の基本type講義statusactive

mathlinear-algebraundergraduatelecture

導入どうにゅう

この講義こうぎで重要じゅうようなのは、擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、逆行列ぎゃくぎょうれつinverse matrixが存在そんざいしない行列ぎょうれつmatrixに対たいしても、最小二乗解さいしょうにじょうかいと最小さいしょうノルム解かいを統一的とういつてきに与あたえる道具どうぐであるということである。

逆行列ぎゃくぎょうれつinverse matrixは正方行列せいほうぎょうれつsquare matrixで、しかも情報じょうほうを失うしなわない場合ばあいにだけ存在そんざいする。しかし、長方行列ちょうほうぎょうれつや階数落かいすうおちの行列ぎょうれつmatrixにおいても、近似解きんじかいや代表解だいひょうかいを必要ひつようとする状況じょうきょうは多おおい。擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、その状況じょうきょうを線型代数せんけいだいすうの言葉ことばで処理しょりする。

用語ようごと定義ていぎ

ムーア・ペンローズ擬似逆行列ぎじぎゃくぎょうれつMoore-Penrose pseudoinverse とは、行列ぎょうれつmatrix $A$ の特異値分解とくいちぶんかいsingular value decompositionSVDから定義ていぎされる行列ぎょうれつmatrixである。実行列じつぎょうれつでは

A = U Σ V^{T}

に対たいして

A^{+} = V Σ^{+} U^{T}

で定義ていぎする。複素行列ふくそぎょうれつでは

A = U Σ V^{*}

に対たいして

A^{+} = V Σ^{+} U^{*}

で定義ていぎする。ここで $Σ^{+}$ は、 $Σ$ の非零特異値ひぜろとくいち $σ_{i}$ を $1 / σ_{i}$ に置換ちかんし、転置てんちした形かたちの行列ぎょうれつmatrixである。

方針ほうしん

方針ほうしんは、特異値分解とくいちぶんかいsingular value decompositionSVDにより行列ぎょうれつmatrixの作用さようを直交変換ちょっこうへんかんと伸縮しんしゅくへ分解ぶんかいし、非零ひぜろの伸縮方向しんしゅくほうこうだけを反転はんてんすることである。零特異値ぜろとくいちの方向ほうこうは情報じょうほうが消失しょうしつするため、逆変換ぎゃくへんかんを定義ていぎしない。

data/lecture/math/linear-algebra/特異値分解の入口-講義.n.md

直感的ちょっかんてきな説明せつめい

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、可能かのうな範囲はんいで逆向ぎゃくむきの操作そうさoperationを実行じっこうする行列ぎょうれつmatrixである。

$A$ がある方向ほうこうを 3 倍ばいするなら、 $A^{+}$ はその方向ほうこうを $1 / 3$ 倍ばいする。 $A$ がある方向ほうこうを 0 に潰つぶすなら、その情報じょうほうは復元不能ふくげんふのうであるため、 $A^{+}$ はその方向ほうこうを復元ふくげんしない。

厳密げんみつな説明せつめい

1. 正則行列せいそくぎょうれつでは逆行列ぎゃくぎょうれつinverse matrixに一致いっちする

$A$ が正則せいそくなら、すべての特異値とくいちsingular valueが正せいである。この場合ばあい、 $Σ^{+}$ は $Σ^{- 1}$ に一致いっちし、

A^{+} = A^{- 1}

である。擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは逆行列ぎゃくぎょうれつinverse matrixの拡張かくちょうである。

2. 最小二乗解さいしょうにじょうかい

連立一次方程式れんりついちじほうていしきsystem of linear equations

A x = b

が解かいを持もたない場合ばあい、 $A^{+} b$ は

∥ A x - b ∥

を最小化さいしょうかする解かいのうち、ノルムが最小さいしょうのものを与あたえる。

[PARSE ERROR: Undefined("Command(\"boxed\")")] x = A^{+} b

3. 階数条件かいすうじょうけんによる公式こうしき

$A$ の列れつcolumnが一次独立いちじどくりつlinear independenceなら、

A^{+} = (A^{T} A)^{- 1} A^{T}

である。これは正規方程式せいきほうていしきから得えられる最小二乗公式さいしょうにじょうこうしきである。

$A$ の行ぎょうrowが一次独立いちじどくりつlinear independenceなら、

A^{+} = A^{T} (A A^{T})^{- 1}

である。この場合ばあいは、解かいが複数ふくすう存在そんざいするときに最小さいしょうノルム解かいを選択せんたくする。

複素ふくそcomplexの場合ばあいは、これらの式しきの $A^{T}$ を $A^{*}$ に置換ちかんする。列れつcolumnが一次独立いちじどくりつlinear independenceなら

A^{+} = (A^{*} A)^{- 1} A^{*}

であり、行ぎょうrowが一次独立いちじどくりつlinear independenceなら

A^{+} = A^{*} (A A^{*})^{- 1}

である。

4. ペンローズの 4 条件じょうけん

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは SVD による構成こうせいだけでなく、次つぎの 4 条件じょうけんによって一意いちいに特徴とくちょうづけられる。

A A^{+} A = A

A^{+} A A^{+} = A^{+}

(A A^{+})^{*} = A A^{+}

(A^{+} A)^{*} = A^{+} A

これらをペンローズの条件じょうけんという。前半ぜんはん 2 式しきは「可能かのうな範囲はんいで逆操作ぎゃくそうさとして機能きのうする」ことを表あらわし、後半こうはん 2 式しきは得えられる射影しゃえいprojectionが直交射影ちょっこうしゃえいorthogonal projectionであることを保証ほしょうする。

5. 射影しゃえいprojectionとしての $A A^{+}$ と $A^{+} A$

$A$ のコンパクト SVD を

A = U_{r} Σ_{r} V_{r^{*}}

とすると、

A A^{+} = U_{r} U_{r^{*}}

であり、これは $Col (A)$ への直交射影ちょっこうしゃえいorthogonal projectionである。また

A^{+} A = V_{r} V_{r^{*}}

であり、これは行空間ぎょうくうかんrow spaceへの直交射影ちょっこうしゃえいorthogonal projectionである。実行列じつぎょうれつでは $*$ を $T$ に置換ちかんする。

具体例ぐたいていれい

A = (\begin{matrix} 2 & 0 \\ 0 & 0 \end{matrix})

とする。この行列ぎょうれつmatrixは第二成分だいにせいぶんを消去しょうきょするため、正則せいそくではない。特異値とくいちsingular valueは $2, 0$ である。したがって

A^{+} = (\begin{matrix} 1 / 2 & 0 \\ 0 & 0 \end{matrix})

である。失うしなわれた第二成分だいにせいぶんは復元ふくげんされない。

この例れいでは

A A^{+} = (\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix}), A^{+} A = (\begin{matrix} 1 & 0 \\ 0 & 0 \end{matrix})

である。どちらも第一成分だいいちせいぶんの軸じくへの直交射影ちょっこうしゃえいorthogonal projectionであり、消去しょうきょされた第二成分だいにせいぶんを復元ふくげんしない。

射影しゃえいprojectionとしての見方みかたと数値計算上すうちけいさんじょうの注意ちゅうい

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、射影しゃえいprojectionとも密接みっせつに関係かんけいする。 $A A^{+}$ は列空間れつくうかんcolumn spaceへの直交射影ちょっこうしゃえいorthogonal projection、 $A^{+} A$ は行空間ぎょうくうかんrow spaceへの直交射影ちょっこうしゃえいorthogonal projectionとして解釈かいしゃくできる。

数値計算すうちけいさんでは、極端きょくたんに小ちいさい特異値とくいちsingular valueをそのまま逆数ぎゃくすうにすると誤差ごさが増幅ぞうふくされる。そのため、小ちいさい特異値とくいちsingular valueを除外じょがいする切断せつだん SVD

A_{k^{+}} = \sum_{i = 1}^{k} σ_{i^{- 1}} v_{i} u_{i^{*}}

や、 $σ_{i^{- 1}}$ の代かわりに $σ_{i} / (σ_{i^{2}} + λ)$ を用もちいる正則化せいそくかが利用りようされる。

判定基準はんていきじゅん

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは特異値分解とくいちぶんかいsingular value decompositionSVDから定義ていぎされる。
非零特異値ひぜろとくいちだけを逆数ぎゃくすうにする。
正則行列せいそくぎょうれつでは通常つうじょうの逆行列ぎゃくぎょうれつinverse matrixと一致いっちする。
ペンローズの 4 条件じょうけんにより一意いちいに定さだまる。
解かいが存在そんざいしない場合ばあいは最小二乗解さいしょうにじょうかいを与あたえる。
解かいが複数ふくすう存在そんざいする場合ばあいは最小さいしょうノルム解かいを選択せんたくする。

どこまで成なり立たつか

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは任意にんいの実行列じつぎょうれつ・複素行列ふくそぎょうれつに定義ていぎできる。ただし特異値とくいちsingular valueが極端きょくたんに小ちいさい場合ばあい、逆数ぎゃくすうが大おおきくなり、数値的不安定性すうちてきふあんていせいが生しょうじる。この場合ばあいは切断特異値分解せつだんとくいちぶんかいや正則化せいそくかを検討けんとうする。

最終形さいしゅうけい

[PARSE ERROR: Undefined("Command(\"boxed\")")] A = U Σ V^{T}, A^{+} = V Σ^{+} U^{T}

[PARSE ERROR: Undefined("Command(\"boxed\")")] A = U Σ V^{*}, A^{+} = V Σ^{+} U^{*} (complexcase)

[PARSE ERROR: Undefined("Command(\"boxed\")")] x = A^{+} b

[PARSE ERROR: Undefined("Command(\"boxed\")")] A^{+} = (A^{T} A)^{- 1} A^{T} ifcolumnsareindependent

[PARSE ERROR: Undefined("Command(\"boxed\")")] A A^{+} = {proj}_{Col (A)}, A^{+} A = {proj}_{Row (A)}

一言ひとことでいうと

擬似逆行列ぎじぎゃくぎょうれつpseudoinverse matrixは、逆行列ぎゃくぎょうれつinverse matrixを持もたない行列ぎょうれつmatrixに対たいして、射影しゃえいprojectionと最小化さいしょうかに基もとづく代表的だいひょうてきな逆操作ぎゃくそうさを与あたえる。

演習えんしゅうリンク

data/exercise/math/linear-algebra/固有値・対角化・発展-基本演習.n.md