直交化ちょっこうかorthogonalizationの基本きほん

date2026-07-14document_iddoc_c21549e9d8e64a63809a93395cc5464adescription直交化を、射影を順に除去して直交基底を構成するGram-Schmidt processとして説明し、最小二乗法への接続まで整理する講義である。prerequisites内積空間の基本 / ベクトル空間と基底 / 一次独立type講義content_typelecturestatusactive

mathlinear-algebraundergraduatelecture

Basics of orthogonalization直交化ちょっこうか

1導入どうにゅう

この講義こうぎで中心ちゅうしんに置おく発想はっそうは、直交化ちょっこうかorthogonalizationとは、もとの部分空間ぶぶんくうかんsubspaceを変かえずに、基底きていbasisを計算けいさんしやすい直交基底ちょっこうきていへ組くみ替かえることだということである。

一次独立いちじどくりつlinear independenceな基底きていbasisがあっても、そのままでは長ながさや射影しゃえいprojectionを計算けいさんしにくい場合ばあいがある。互たがいに直交ちょっこうorthogonalする基底きていbasisへ変更へんこうできれば、係数けいすうcoefficientや長ながさの計算けいさんが明確めいかくになる。

1Introduction

The main point of this lecture is that orthogonalization直交化ちょっこうか replaces a given basis基底きてい by an orthogonal basis直交基底ちょっこうきてい spanning the same subspace部分空間ぶぶんくうかん. The subspace is unchanged; only the basis is made easier to compute with.

Even when a basis is linearly independent, lengths, coefficients, and projections may be awkward to calculate. If the basis vectors are mutually orthogonal直交ちょっこう, the calculations become transparent.

2用語ようごと定義ていぎ

直交基底ちょっこうきていOrthogonal basis とは、基底きていbasisの各かくベクトルどうしが直交ちょっこうorthogonalしている基底きていbasisである。

正規直交基底せいきちょっこうきていOrthonormal basis とは、互たがいに直交ちょっこうorthogonalし、さらに長ながさが 1 の基底きていbasisである。

グラム・シュミット法ほうGram-Schmidt process とは、一次独立いちじどくりつlinear independenceなベクトル列れつcolumnから、同おなじ部分空間ぶぶんくうかんsubspaceを張はる直交基底ちょっこうきていを構成こうせいする手順てじゅんである。

2Terms and definitions

An orthogonal basis直交基底ちょっこうきてい is a basis whose distinct basis vectors are orthogonal to each other.

An orthonormal basis正規直交基底せいきちょっこうきてい is an orthogonal basis in which every vector has length $1$ .

The Gram-Schmidt processグラム・シュミット法ほう constructs an orthogonal basis spanning the same subspace from a linearly independent list of vectors.

3方針ほうしん

もとの基底きていbasis $v_{1}, v_{2}, [PARSE ERROR: Undefined("Command(\"dots\")")]$ から開始かいしし、前段階ぜんだんかいで構成こうせいした方向ほうこうへの成分せいぶんcomponentを順じゅんに除去じょきょする。こうすると、「これまでに構成こうせいした空間くうかんに重かさなる部分ぶぶん」が消きえ、新あたらしい方向ほうこうだけが残のこる。

3Plan

Start with vectors $v_{1}, v_{2}, \dots$ . At each step, remove the components in the directions already constructed. What remains is the new direction not already accounted for.

4直感的ちょっかんてきな説明せつめい

$v_{2}$ が $v_{1}$ と同方向どうほうこうの成分せいぶんcomponentを共有きょうゆうしているなら、その「重かさなっている部分ぶぶん」を除去じょきょすれば、 $v_{1}$ と直交ちょっこうorthogonalする新あたらしいベクトルが得えられる。これを順じゅんに反復はんぷくするのがグラム・シュミット法ほうである。

4Intuitive explanation

If $v_{2}$ contains a component in the same direction as $v_{1}$ , subtract that component. The remainder is orthogonal to $v_{1}$ . Repeating this idea gives the Gram-Schmidt process.

5厳密げんみつな説明せつめい

5.10. 射影しゃえいprojectionを除去じょきょするという発想はっそう

$u \neq 0$ に対たいして、 $v$ の $u$ 方向ほうこうへの射影しゃえいprojectionは

{proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u

である。この式しきは、 $v$ のうち $u$ と同おなじ方向ほうこうをもつ成分せいぶんcomponentを抽出ちゅうしゅつする。直交化ちょっこうかorthogonalizationでは、新あたらしいベクトルから既存きそんの直交方向ちょっこうほうこうへの射影しゃえいprojectionを順じゅんに除去じょきょする。

複素ふくそcomplex内積空間ないせきくうかんinner product spaceでは、射影係数しゃえいけいすうに複素共役ふくそきょうやくcomplex conjugateの規約きやくが反映はんえいされる。この系列けいれつでは第だい 1 変数へんすうを線型せんけいとするため、係数けいすうcoefficientは $⟨ v, u ⟩ / ⟨ u, u ⟩$ である。第だい 2 変数へんすうを線型せんけいにする流儀りゅうぎでは、共役きょうやくの位置いちが変かわる。

data/lecture/math/linear-algebra/complex-inner-products-and-unitary-matrices.lecture.n.md

5.21. 2 本ほんの場合ばあい

ここで射影しゃえいprojectionや内積ないせきinner productの意味いみがまだ曖昧あいまいなら、先さきにこちらを確認かくにんすると理解りかいが安定あんていする。

data/lecture/math/linear-algebra/inner-product-space-basics.lecture.n.md

一次独立いちじどくりつlinear independenceな $v_{1}, v_{2}$ から開始かいしする。

まず

u_{1} = v_{1}

とおく。つぎに $v_{2}$ から $u_{1}$ 方向ほうこうの成分せいぶんcomponentを除去じょきょして

u_{2} = v_{2} - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} u_{1}

とすると、 $u_{1}$ と $u_{2}$ は直交ちょっこうorthogonalする。

これを実際じっさいに確認かくにんすると、

⟨ u_{2}, u_{1} ⟩ = ⟨ v_{2} - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} u_{1}, u_{1} ⟩

したがって、

⟨ u_{2}, u_{1} ⟩ = ⟨ v_{2}, u_{1} ⟩ - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} ⟨ u_{1}, u_{1} ⟩ = 0

である。つまり、 $v_{2}$ から $u_{1}$ 方向ほうこうの射影しゃえいprojectionだけを除去じょきょすると、 $u_{1}$ に直交ちょっこうorthogonalする成分せいぶんcomponentだけが残のこる。

5.32. 一般いっぱんの形かたち

$v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{n}$ から

u_{1} = v_{1}

u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

で $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{n}$ を構成こうせいすると、これらは互たがいに直交ちょっこうorthogonalし、もとの基底きていbasisと同おなじ部分空間ぶぶんくうかんsubspaceを張はる。

ここで重要じゅうようなのは、新あたらしい $u_{k}$ は $v_{k}$ から前まえの $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k - 1}$ の線型結合せんけいけつごうlinear combinationを除去じょきょして構成こうせいされるため、

u_{k} \in span (v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{k})

である。したがって $u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k}$ は必かならず $v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{k}$ の張はる空間くうかんの中なかにある。

逆ぎゃくに

v_{k} = u_{k} + \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

と復元ふくげんできるので、

v_{k} \in span (u_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], u_{k})

である。したがって両者りょうしゃは同おなじ部分空間ぶぶんくうかんsubspaceを張はる。

5.43. 正規化せいきか

長ながさ 1 にそろえたければ

e_{k} = \frac{u_{k}}{∥ u_{k} ∥}

とすれば、 $e_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], e_{n}$ は正規直交基底せいきちょっこうきていorthonormal basisになる。

5.54. 最小二乗法さいしょうにじょうほうleast squares methodとの接続せつぞく

直交化ちょっこうかorthogonalizationは、最小二乗法さいしょうにじょうほうleast squares methodの基礎きその 1 つである。 $A x = b$ が厳密げんみつには解とけない場合ばあい、 $b$ を $A$ の列空間れつくうかんcolumn spaceへ直交射影ちょっこうしゃえいorthogonal projectionし、その射影しゃえいprojectionに対応たいおうする $x$ を選択せんたくする。残差ざんさ

r = b - A x

は列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalするため、

A^{T} (b - A x) = 0

という正規方程式せいきほうていしきが得えられる。つまり、グラム・シュミット法ほうで直交基底ちょっこうきていを構成こうせいする発想はっそうは、近似解きんじかいを最良さいりょうにする射影しゃえいprojectionの理論りろんと同おなじ構造こうぞうstructureをもつ。

5Precise explanation

5.10. Removing projections

For $u \neq 0$ , the projection射影しゃえい of $v$ onto the direction of $u$ is

{proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u .

This extracts the component of $v$ in the direction of $u$ . Orthogonalization removes projections onto previously constructed orthogonal directions.

In a complex inner product space複素内積空間ふくそないせきくうかん, the projection coefficient depends on the inner-product convention. In this series the first variable is linear, so the coefficient is $⟨ v, u ⟩ / ⟨ u, u ⟩$ .

data/lecture/math/linear-algebra/complex-inner-products-and-unitary-matrices.lecture.n.md

5.21. The case of two vectors

If projection or inner product is still unclear, review the inner product lecture first.

data/lecture/math/linear-algebra/inner-product-space-basics.lecture.n.md

Start with linearly independent $v_{1}, v_{2}$ . Set

u_{1} = v_{1.}

Then remove the component of $v_{2}$ in the direction of $u_{1}$ :

u_{2} = v_{2} - \frac{⟨ v_{2}, u_{1} ⟩}{⟨ u_{1}, u_{1} ⟩} u_{1.}

Now $u_{1}$ and $u_{2}$ are orthogonal, because

\begin{aligned} \langle u_2,u_1\rangle &= \left\langle v_2-\frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}u_1,\, u_1 \right\rangle\\ &= \langle v_2,u_1\rangle - \frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}\langle u_1,u_1\rangle\\ &=0. \end{aligned}\begin{aligned} \langle u_2,u_1\rangle &= \left\langle v_2-\frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}u_1,\, u_1 \right\rangle\\ &= \langle v_2,u_1\rangle - \frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}\langle u_1,u_1\rangle\\ &=0. \end{aligned}

5.32. General form

From $v_{1}, \dots, v_{n}$ , define

u_{1} = v_{1}

and

u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j} .

Then $u_{1}, \dots, u_{n}$ are mutually orthogonal and span the same subspace as the original vectors.

The key point is that $u_{k}$ is obtained from $v_{k}$ by subtracting a linear combination of $u_{1}, \dots, u_{k - 1}$ , so

u_{k} \in span (v_{1}, \dots, v_{k}) .

Conversely,

v_{k} = u_{k} + \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j},

so $v_{k} \in span (u_{1}, \dots, u_{k})$ . Therefore the spans agree at every stage.

5.43. Normalization

To obtain an orthonormal basis正規直交基底せいきちょっこうきてい, set

e_{k} = \frac{u_{k}}{∥ u_{k} ∥} .

5.54. Connection with least squares

Orthogonalization is one foundation of the least squares method最小二乗法さいしょうにじょうほう. When $A x = b$ cannot be solved exactly, one projects $b$ onto the column space列空間れつくうかん of $A$ . The residual

r = b - A x

is orthogonal to the column space, leading in the real case to the normal equations

A^{T} (b - A x) = 0.

Thus Gram-Schmidt and least squares share the same geometric structure: remove orthogonal components and keep the best projection.

6判定基準はんていきじゅん

基底きていbasisはあるが互たがいに直交ちょっこうorthogonalしていないとき、直交化ちょっこうかorthogonalizationを検討けんとうする。
射影しゃえいprojection、最小二乗さいしょうにじょう、フーリエ展開てんかいのように「直交ちょっこうorthogonalした成分せいぶんcomponentに分解ぶんかいしたい」なら、グラム・シュミット法ほうが背景はいけいにある。
部分空間ぶぶんくうかんsubspaceそのものは変かえず、基底きていbasisだけ扱あつかいやすくしたいときの道具どうぐである。

6Criteria

Use orthogonalization直交化ちょっこうか when a basis spans the right subspace but is not orthogonal.
Projection, least squares, and Fourier expansion all rely on decomposing into orthogonal components.
The subspace is preserved; only the basis is changed.

7どこまで成立せいりつするか

この手順てじゅんは内積ないせきinner productが定義ていぎされた空間くうかんで、もとの $v_{1}, [PARSE ERROR: Undefined("Command(\"dots\")")], v_{n}$ が一次独立いちじどくりつlinear independenceな場合ばあいに用もちいる。もし途中とちゅうで $u_{k} = 0$ になったら、それはもとの列れつcolumnが一次独立いちじどくりつlinear independenceでなかったことを意味いみする。また複素ふくそcomplex内積空間ないせきくうかんinner product spaceでは内積ないせきinner productの共役きょうやくを意識いしきして式しきを記述きじゅつする必要ひつようがある。

7Scope and limitations

The procedure assumes an inner product and linearly independent input vectors. If some $u_{k} = 0$ appears, the original list was linearly dependent. In complex inner product spaces, the positions of conjugates must match the chosen convention.

8最終形さいしゅうけい

[PARSE ERROR: Undefined("Command(\"boxed\")")] u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

[PARSE ERROR: Undefined("Command(\"boxed\")")] e_{k} = \frac{u_{k}}{∥ u_{k} ∥}

[PARSE ERROR: Undefined("Command(\"boxed\")")] {proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u

8Final forms

[PARSE ERROR: Undefined("Command(\"boxed\")")] u_{k} = v_{k} - \sum_{j = 1}^{k - 1} \frac{⟨ v_{k}, u_{j} ⟩}{⟨ u_{j}, u_{j} ⟩} u_{j}

[PARSE ERROR: Undefined("Command(\"boxed\")")] e_{k} = \frac{u_{k}}{∥ u_{k} ∥}

[PARSE ERROR: Undefined("Command(\"boxed\")")] {proj}_{u} (v) = \frac{⟨ v, u ⟩}{⟨ u, u ⟩} u

9一言ひとことでいうと

直交化ちょっこうかorthogonalizationは、同おなじ空間くうかんを張はる基底きていbasisを、計算けいさんしやすい直交基底ちょっこうきていへ構成こうせいし直なおす手順てじゅんである。

9In one sentence

Orthogonalization直交化ちょっこうか rebuilds a basis of the same subspace as an orthogonal basis that is easier to compute with.

10定理ていりと証明しょうめい：Gram-Schmidt は張はる空間くうかんを保たもつ

線型独立せんけいどくりつな $v_{1}, \dots, v_{k}$ に Gram-Schmidt を行おこなって $q_{1}, \dots, q_{k}$ を得えると、各かく $r$ について

span (v_{1}, \dots, v_{r}) = span (q_{1}, \dots, q_{r})

である。

証明しょうめいは $r$ についての帰納法きのうほうで行おこなう。 $r = 1$ では $q_{1}$ は $v_{1}$ の非零ひれいのスカラーscalar倍ばいなので、張はる空間くうかんは同おなじである。

$r$ での手順てじゅんでは、 $v_{r}$ から $q_{1}, \dots, q_{r - 1}$ 方向ほうこうへの射影しゃえいを引ひいて直交成分ちょっこうせいぶんを作つくる。したがって正規化せいきか前まえのベクトルvector $w_{r}$ は

w_{r} = v_{r} - \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i}

であり、 $w_{r}$ は $v_{1}, \dots, v_{r}$ の張はる空間くうかんに属ぞくする。逆ぎゃくに

v_{r} = w_{r} + \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i}

なので、 $v_{r}$ は $q_{1}, \dots, q_{r}$ の張はる空間くうかんに属ぞくする。よって二ふたつの張はる空間くうかんは同おなじである。

10Theorem and proof: Gram-Schmidt preserves spans

If Gram-Schmidt is applied to linearly independent vectors $v_{1}, \dots, v_{k}$ and produces $q_{1}, \dots, q_{k}$ , then for every $r$ ,

span (v_{1}, \dots, v_{r}) = span (q_{1}, \dots, q_{r}) .

The proof is by induction on $r$ . For $r = 1$ , $q_{1}$ is a nonzero scalar multiple of $v_{1}$ , so the spans agree.

At step $r$ , the vector before normalization is

w_{r} = v_{r} - \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i} .

Thus $w_{r}$ lies in $span (v_{1}, \dots, v_{r})$ . Conversely,

v_{r} = w_{r} + \sum_{i = 1}^{r - 1} ⟨ v_{r}, q_{i} ⟩ q_{i},

so $v_{r}$ lies in $span (q_{1}, \dots, q_{r})$ . Hence the spans are equal.

11演習えんしゅうリンク

data/exercise/math/linear-algebra/inner-products-orthogonality-and-projections.exercise.n.md data/exercise/math/linear-algebra/complex-inner-products-and-unitary-matrices.exercise.n.md

11Exercise links