直交化ちょっこうかorthogonalizationの基本きほん

date2026-07-14document_iddoc_c21549e9d8e64a63809a93395cc5464adescription直交化を、射影を順に除去して直交基底を構成するGram-Schmidt processとして説明し、最小二乗法への接続まで整理する講義である。prerequisites内積空間の基本 / ベクトル空間と基底 / 一次独立type講義content_typelecturestatusactive

mathlinear-algebraundergraduatelecture

1導入どうにゅう

この講義こうぎで中心ちゅうしんに置おく発想はっそうは、直交化ちょっこうかorthogonalizationとは、もとの部分空間ぶぶんくうかんsubspaceを変かえずに、基底きていbasisを計算けいさんしやすい直交基底ちょっこうきていへ組くみ替かえることだということである。

一次独立いちじどくりつlinear independenceな基底きていbasisがあっても、そのままでは長ながさや射影しゃえいprojectionを計算けいさんしにくい場合ばあいがある。互たがいに直交ちょっこうorthogonalする基底きていbasisへ変更へんこうできれば、係数けいすうcoefficientや長ながさの計算けいさんが明確めいかくになる。

2用語ようごと定義ていぎ

直交基底ちょっこうきていOrthogonal basis とは、基底きていbasisの各かくベクトルどうしが直交ちょっこうorthogonalしている基底きていbasisである。

正規直交基底せいきちょっこうきていOrthonormal basis とは、互たがいに直交ちょっこうorthogonalし、さらに長ながさが 1 の基底きていbasisである。

グラム・シュミット法ほうGram-Schmidt process とは、一次独立いちじどくりつlinear independenceなベクトル列れつcolumnから、同おなじ部分空間ぶぶんくうかんsubspaceを張はる直交基底ちょっこうきていを構成こうせいする手順てじゅんである。

3方針ほうしん

もとの基底きていbasis $v_{1}, v_{2}, [PARSE ERROR: Undefined("Command(\"dots\")")]$ から開始かいしし、前段階ぜんだんかいで構成こうせいした方向ほうこうへの成分せいぶんcomponentを順じゅんに除去じょきょする。こうすると、「これまでに構成こうせいした空間くうかんに重かさなる部分ぶぶん」が消きえ、新あたらしい方向ほうこうだけが残のこる。

4直感的ちょっかんてきな説明せつめい

$v_{2}$ が $v_{1}$ と同方向どうほうこうの成分せいぶんcomponentを共有きょうゆうしているなら、その「重かさなっている部分ぶぶん」を除去じょきょすれば、 $v_{1}$ と直交ちょっこうorthogonalする新あたらしいベクトルが得えられる。これを順じゅんに反復はんぷくするのがグラム・シュミット法ほうである。

5厳密げんみつな説明せつめい

5.10. 射影しゃえいprojectionを除去じょきょするという発想はっそう

$u \neq 0$ に対たいして、 $v$ の $u$ 方向ほうこうへの射影しゃえいprojectionは

{proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u

である。この式しきは、 $v$ のうち $u$ と同おなじ方向ほうこうをもつ成分せいぶんcomponentを抽出ちゅうしゅつする。直交化ちょっこうかorthogonalizationでは、新あたらしいベクトルから既存きそんの直交方向ちょっこうほうこうへの射影しゃえいprojectionを順じゅんに除去じょきょする。

複素ふくそcomplex内積空間ないせきくうかんinner product spaceでは、射影係数しゃえいけいすうに複素共役ふくそきょうやくcomplex conjugateの規約きやくが反映はんえいされる。この系列けいれつでは第だい 1 変数へんすうを線型せんけいとするため、係数けいすうcoefficientは $⟨ v, u ⟩ / ⟨ u, u ⟩$ である。第だい 2 変数へんすうを線型せんけいにする流儀りゅうぎでは、共役きょうやくの位置いちが変かわる。

data/lecture/math/linear-algebra/complex-inner-products-and-unitary-matrices.lecture.n.md

5.21. 2 本ほんの場合ばあい

ここで射影しゃえいprojectionや内積ないせきinner productの意味いみがまだ曖昧あいまいなら、先さきにこちらを確認かくにんすると理解りかいが安定あんていする。

data/lecture/math/linear-algebra/inner-product-space-basics.lecture.n.md

一次独立いちじどくりつlinear independenceな $v_{1}, v_{2}$ から開始かいしする。

まず

u_{1} = v_{1}

とおく。つぎに $v_{2}$ から $u_{1}$ 方向ほうこうの成分せいぶんcomponentを除去じょきょして

u_{2} = v_{2} - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} u_{1}

とすると、 $u_{1}$ と $u_{2}$ は直交ちょっこうorthogonalする。

これを実際じっさいに確認かくにんすると、

⟨ u_{2}, u_{1} ⟩ = ⟨ v_{2} - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} u_{1}, u_{1} ⟩

したがって、

⟨ u_{2}, u_{1} ⟩ = ⟨ v_{2}, u_{1} ⟩ - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} ⟨ u_{1}, u_{1} ⟩ = 0

である。つまり、 $v_{2}$ から $u_{1}$ 方向ほうこうの射影しゃえいprojectionだけを除去じょきょすると、 $u_{1}$ に直交ちょっこうorthogonalする成分せいぶんcomponentだけが残のこる。

5.32. 一般いっぱんの形かたち

$v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{n}$ から

u_{1} = v_{1}

u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

で $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{n}$ を構成こうせいすると、これらは互たがいに直交ちょっこうorthogonalし、もとの基底きていbasisと同おなじ部分空間ぶぶんくうかんsubspaceを張はる。

ここで重要じゅうようなのは、新あたらしい $u_{k}$ は $v_{k}$ から前まえの $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k - 1}$ の線型結合せんけいけつごうlinear combinationを除去じょきょして構成こうせいされるため、

u_{k} \in span (v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{k})

である。したがって $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k}$ は必かならず $v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{k}$ の張はる空間くうかんの中なかにある。

逆ぎゃくに

v_{k} = u_{k} + \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

と復元ふくげんできるので、

v_{k} \in span (u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k})

である。したがって両者りょうしゃは同おなじ部分空間ぶぶんくうかんsubspaceを張はる。

5.43. 正規化せいきか

長ながさ 1 にそろえたければ

e_{k} = \frac{u_{k}}{∥ u_{k} ∥}

とすれば、 $e_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], e_{n}$ は正規直交基底せいきちょっこうきていorthonormal basisになる。

5.54. 最小二乗法さいしょうにじょうほうleast squares methodとの接続せつぞく

直交化ちょっこうかorthogonalizationは、最小二乗法さいしょうにじょうほうleast squares methodの基礎きその 1 つである。 $A x = b$ が厳密げんみつには解とけない場合ばあい、 $b$ を $A$ の列空間れつくうかんcolumn spaceへ直交射影ちょっこうしゃえいorthogonal projectionし、その射影しゃえいprojectionに対応たいおうする $x$ を選択せんたくする。残差ざんさ

r = b - A x

は列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalするため、

A^{T} (b - A x) = 0

という正規方程式せいきほうていしきが得えられる。つまり、グラム・シュミット法ほうで直交基底ちょっこうきていを構成こうせいする発想はっそうは、近似解きんじかいを最良さいりょうにする射影しゃえいprojectionの理論りろんと同おなじ構造こうぞうstructureをもつ。

6判定基準はんていきじゅん

基底きていbasisはあるが互たがいに直交ちょっこうorthogonalしていないとき、直交化ちょっこうかorthogonalizationを検討けんとうする。
射影しゃえいprojection、最小二乗さいしょうにじょう、フーリエ展開てんかいのように「直交ちょっこうorthogonalした成分せいぶんcomponentに分解ぶんかいしたい」なら、グラム・シュミット法ほうが背景はいけいにある。
部分空間ぶぶんくうかんsubspaceそのものは変かえず、基底きていbasisだけ扱あつかいやすくしたいときの道具どうぐである。

7どこまで成立せいりつするか

この手順てじゅんは内積ないせきinner productが定義ていぎされた空間くうかんで、もとの $v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{n}$ が一次独立いちじどくりつlinear independenceな場合ばあいに用もちいる。もし途中とちゅうで $u_{k} = 0$ になったら、それはもとの列れつcolumnが一次独立いちじどくりつlinear independenceでなかったことを意味いみする。また複素ふくそcomplex内積空間ないせきくうかんinner product spaceでは内積ないせきinner productの共役きょうやくを意識いしきして式しきを記述きじゅつする必要ひつようがある。

8最終形さいしゅうけい

[PARSE ERROR: Undefined("Command(\"boxed\")")] u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

[PARSE ERROR: Undefined("Command(\"boxed\")")] e_{k} = \frac{u_{k}}{∥ u_{k} ∥}

[PARSE ERROR: Undefined("Command(\"boxed\")")] {proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u

9一言ひとことでいうと

直交化ちょっこうかorthogonalizationは、同おなじ空間くうかんを張はる基底きていbasisを、計算けいさんしやすい直交基底ちょっこうきていへ構成こうせいし直なおす手順てじゅんである。

10定理ていりと証明しょうめい：Gram-Schmidt は張はる空間くうかんを保たもつ

線型独立せんけいどくりつな $v_{1}, \dots, v_{k}$ に Gram-Schmidt を行おこなって $q_{1}, \dots, q_{k}$ を得えると、各かく $r$ について

span (v_{1}, \dots, v_{r}) = span (q_{1}, \dots, q_{r})

である。

証明しょうめいは $r$ についての帰納法きのうほうで行おこなう。 $r = 1$ では $q_{1}$ は $v_{1}$ の非零ひれいのスカラーscalar倍ばいなので、張はる空間くうかんは同おなじである。

$r$ での手順てじゅんでは、 $v_{r}$ から $q_{1}, \dots, q_{r - 1}$ 方向ほうこうへの射影しゃえいを引ひいて直交成分ちょっこうせいぶんを作つくる。したがって正規化せいきか前まえのベクトルvector $w_{r}$ は

w_{r} = v_{r} - \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i}

であり、 $w_{r}$ は $v_{1}, \dots, v_{r}$ の張はる空間くうかんに属ぞくする。逆ぎゃくに

v_{r} = w_{r} + \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i}

なので、 $v_{r}$ は $q_{1}, \dots, q_{r}$ の張はる空間くうかんに属ぞくする。よって二ふたつの張はる空間くうかんは同おなじである。

11演習えんしゅうリンク

data/exercise/math/linear-algebra/inner-products-orthogonality-and-projections.exercise.n.md data/exercise/math/linear-algebra/complex-inner-products-and-unitary-matrices.exercise.n.md