厳密な説明
0. 射影を除去するという発想
u\ne 0 に対して、v の u 方向への射影は
\operatorname{proj}_u(v)=\frac{\langle v,u\rangle}{\langle u,u\rangle}u
である。この式は、v のうち u と同じ方向をもつ成分を抽出する。直交化では、新しいベクトルから既存の直交方向への射影を順に除去する。
複素内積空間では、射影係数に複素共役の規約が反映される。この系列では第 1 変数を線型とするため、係数は \langle v,u\rangle/\langle u,u\rangle である。第 2 変数を線型にする流儀では、共役の位置が変わる。
data/lecture/math/linear-algebra/複素内積とユニタリ行列-講義.n.md
1. 2 本の場合
ここで射影や内積の意味がまだ曖昧なら、先にこちらを確認すると理解が安定する。
data/lecture/math/linear-algebra/内積空間の基本-講義.n.md
一次独立な v_1,v_2 から開始する。
まず
u_1=v_1
とおく。つぎに v_2 から u_1 方向の成分を除去して
u_2=v_2-\frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}u_1
とすると、u_1 と u_2 は直交する。
これを実際に確認すると、
\langle u_2,u_1\rangle
=
\left\langle
v_2-\frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}u_1,\,
u_1
\right\rangle
したがって、
\langle u_2,u_1\rangle
=
\langle v_2,u_1\rangle
-
\frac{\langle v_2,u_1\rangle}{\langle u_1,u_1\rangle}\langle u_1,u_1\rangle
=0
である。つまり、v_2 から u_1 方向の射影だけを除去すると、u_1 に直交する成分だけが残る。
2. 一般の形
v_1,\dots,v_n から
u_1=v_1
u_k=v_k-\sum_{j=1}^{k-1}\frac{\langle v_k,u_j\rangle}{\langle u_j,u_j\rangle}u_j
で u_1,\dots,u_n を構成すると、これらは互いに直交し、もとの基底と同じ部分空間を張る。
ここで重要なのは、新しい u_k は v_k から前の u_1,\dots,u_{k-1} の線型結合を除去して構成されるため、
u_k\in \operatorname{span}(v_1,\dots,v_k)
である。したがって u_1,\dots,u_k は必ず v_1,\dots,v_k の張る空間の中にある。
逆に
v_k
=
u_k+\sum_{j=1}^{k-1}\frac{\langle v_k,u_j\rangle}{\langle u_j,u_j\rangle}u_j
と復元できるので、
v_k\in \operatorname{span}(u_1,\dots,u_k)
である。したがって両者は同じ部分空間を張る。
3. 正規化
長さ 1 にそろえたければ
e_k=\frac{u_k}{\|u_k\|}
とすれば、e_1,\dots,e_n は正規直交基底になる。
4. 最小二乗法との接続
直交化は、最小二乗法の基礎の 1 つである。Ax=b が厳密には解けない場合、b を A の列空間へ直交射影し、その射影に対応する x を選択する。残差
r=b-Ax
は列空間に直交するため、
A^T(b-Ax)=0
という正規方程式が得られる。つまり、グラム・シュミット法で直交基底を構成する発想は、近似解を最良にする射影の理論と同じ構造をもつ。
最終形
\boxed{
u_k=v_k-\sum_{j=1}^{k-1}\frac{\langle v_k,u_j\rangle}{\langle u_j,u_j\rangle}u_j
}
\boxed{e_k=\frac{u_k}{\|u_k\|}}
\boxed{\operatorname{proj}_u(v)=\frac{\langle v,u\rangle}{\langle u,u\rangle}u}