直交補空間ちょっこうほくうかんorthogonal complementと射影しゃえいprojection

Orthogonal complements直交補空間ちょっこうほくうかん and projections射影しゃえい

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、部分空間ぶぶんくうかんsubspaceに沿そう成分せいぶんcomponentと、それに直交ちょっこうorthogonalする成分せいぶんcomponentへベクトルを一意いちいに分解ぶんかいするという発想はっそうである。

射影しゃえいprojectionや最小二乗法さいしょうにじょうほうleast squares methodでは、「列空間れつくうかんcolumn spaceに最もっとも近ちかいベクトル」を求もとめる。近ちかさを記述きじゅつするには、誤差ごさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする、という条件じょうけんが中心ちゅうしんになる。この条件じょうけんを整理せいりする道具どうぐが直交補空間ちょっこうほくうかんorthogonal complementである。

1Introduction

The key idea of this lecture is to decompose a vector uniquely into a component lying in a subspace部分空間ぶぶんくうかん and a component orthogonal直交ちょっこう to that subspace.

In projection and least squares最小二乗法さいしょうにじょうほう, one seeks the point in the column space列空間れつくうかん closest to a given vector. The central condition is that the error is orthogonal to the column space. The orthogonal complement直交補空間ちょっこうほくうかん organizes this condition.

2用語ようごと定義ていぎ

直交補空間ちょっこうほくうかんOrthogonal complement とは、内積空間ないせきくうかんinner product space $$V$$V の部分空間ぶぶんくうかんsubspace $$U$$U に対たいして

で定義ていぎされる部分空間ぶぶんくうかんsubspaceである。

直交射影ちょっこうしゃえいOrthogonal projection とは、ベクトル $$v$$v を $$U$$U 方向ほうこうの成分せいぶんcomponent $$p$$p と $$U^{\perp }$$U^\perp 方向ほうこうの成分せいぶんcomponent $$r$$r に

と分解ぶんかいしたときの $$p$$p である。

2Terms and definitions

For a subspace $U$U of an inner product space内積空間ないせきくうかん $V$V, the orthogonal complement直交補空間ちょっこうほくうかん is

The orthogonal projection直交射影ちょっこうしゃえい of $v$v onto $U$U is the component $p$p in the decomposition

3方針ほうしん

まず $$U^{\perp }$$U^\perp が部分空間ぶぶんくうかんsubspaceであることを確認かくにんする。つぎに、有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは $$V=U\oplus U^{\perp }$$V=U\oplus U^\perp が成立せいりつすることを説明せつめいし、直交射影ちょっこうしゃえいorthogonal projectionの公式こうしきへ移行いこうする。

3Plan

We first verify that $U^{\perp }$U^\perp is a subspace. Then, in finite-dimensional inner product spaces, we explain the decomposition

and derive the projection formula.

4直感的ちょっかんてきな説明せつめい

平面へいめんの中なかに 1 本ぽんの直線ちょくせん $$U$$U があるとする。あるベクトル $$v$$v は、その直線ちょくせんに沿そう影かげ $$p$$p と、直線ちょくせんに垂直すいちょくな残のこり $$r$$r に分解ぶんかいできる。この $$r$$r が属ぞくする方向ほうこうの全体ぜんたいが $$U^{\perp }$$U^\perp である。

この分解ぶんかいが重要じゅうようなのは、$$p$$p が $$U$$U の中なかで $$v$$v に最もっとも近ちかいベクトルになるためである。誤差ごさ $$v-p$$v-p が $$U$$U に直交ちょっこうorthogonalしていると、$$U$$U の中なかでさらに近ちかづく方向ほうこうが残のこっていない。

4Intuitive explanation

If $U$U is a line in the plane, any vector $v$v can be split into its shadow $p$p along the line and a perpendicular remainder $r$r. The set of all possible perpendicular remainders is $U^{\perp }$U^\perp.

The component $p$p is important because it is the closest vector in $U$U to $v$v. When the error $v-p$v-p is orthogonal to $U$U, there is no remaining direction inside $U$U along which one can move to get closer.

5厳密げんみつな説明せつめい

5.11. $$U^{\perp }$$U^\perp は部分空間ぶぶんくうかんsubspaceである

$$v,w\in U^{\perp }$$v,w\in U^\perp、スカラー $$a,b$$a,b を任意にんいに固定こていする。任意にんいの $$u\in U$$u\in U について

である。したがって $$av+bw\in U^{\perp }$$av+bw\in U^\perp であり、$$U^{\perp }$$U^\perp は部分空間ぶぶんくうかんsubspaceである。

5.22. 直交分解ちょっこうぶんかい

有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceで $$U$$U が部分空間ぶぶんくうかんsubspaceなら、任意にんいの $$v\in V$$v\in V は

と一意いちいに分解ぶんかいできる。この事実じじつを直交分解ちょっこうぶんかいという。

存在そんざいは、$U$U の正規直交基底せいきちょっこうきていorthonormal basisから構成こうせいできる。$U$U の正規直交基底せいきちょっこうきていorthonormal basisを $e_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},e_k$e_1,\dots,e_k とし、

と置おく。この $p$p は $U$U のベクトルである。さらに各かく $j$j について

である。正規直交基底せいきちょっこうきていorthonormal basisでは $⟨e_i,e_j⟩=0$\langle e_i,e_j\rangle=0（$i\ne j$i\ne j）かつ $⟨e_j,e_j⟩=1$\langle e_j,e_j\rangle=1 だからである。$v-p$v-p は $U$U の基底きていbasisすべてに直交ちょっこうorthogonalするので、$v-p\in U^{\perp }$v-p\in U^\perp である。したがって $v=p+(v-p)$v=p+(v-p) という分解ぶんかいが存在そんざいする。

一意性いちいせいは直交性ちょっこうせいから従したがう。もし

であれば、$$p_1-p_2=r_2-r_1$$p_1-p_2=r_2-r_1 である。左辺さへんleft-hand sideは $$U$$U に属ぞくし、右辺うへんright-hand sideは $$U^{\perp }$$U^\perp に属ぞくする。したがってこのベクトルは $$U\cap U^{\perp }$$U\cap U^\perp に属ぞくする。ところが $$x\in U\cap U^{\perp }$$x\in U\cap U^\perp なら $$⟨x,x⟩=0$$\langle x,x\rangle=0 なので $$x=0$$x=0 である。よって $$p_1=p_2$$p_1=p_2、$$r_1=r_2$$r_1=r_2 となる。

直交分解ちょっこうぶんかいから、有限次元ゆうげんじげんでは

が従したがう。また $$U\subset (U^{\perp }{)}^{\perp }$$U\subset (U^\perp)^\perp であり、両辺りょうへんの次元じげんdimensionが一致いっちするため

である。これらは直交補空間ちょっこうほくうかんorthogonal complementが単たんなる垂直方向すいちょくほうこうの集合しゅうごうsetではなく、部分空間ぶぶんくうかんsubspaceの次元じげんdimensionを補完ほかんする構造こうぞうstructureであることを示しめす。

5.33. 正規直交基底せいきちょっこうきていorthonormal basisによる射影公式しゃえいこうしき

$$U$$U の正規直交基底せいきちょっこうきていorthonormal basisを $$e_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},e_k$$e_1,\dots,e_k とする。このとき $$v$$v の $$U$$U への直交射影ちょっこうしゃえいorthogonal projectionは

である。理由りゆうは、$$p=\sum _i⟨v,e_i⟩e_i$$p=\sum_i \langle v,e_i\rangle e_i と置おくと、各かく $$j$$j について

が成立せいりつし、$$v-p\in U^{\perp }$$v-p\in U^\perp となるためである。

複素ふくそcomplex内積空間ないせきくうかんinner product spaceでも同おなじ公式こうしきを使つかう。ただし、この系列けいれつでは第だい 1 変数へんすうを線型せんけいとするため、係数けいすうcoefficientは $$⟨v,e_i⟩$$\langle v,e_i\rangle である。別べつの規約きやくでは共役きょうやくの位置いちが変かわる。

射影行列しゃえいぎょうれつprojection matrixとして見みると、直交射影ちょっこうしゃえいorthogonal projectionは

を満みたす。$$P^2=P$$P^2=P は「一度いちど射影しゃえいprojectionしたら再度さいど射影しゃえいprojectionしても変かわらない」こと、$$P^{*}=P$$P^*=P は内積ないせきinner productと両立りょうりつした直交ちょっこうorthogonalな射影しゃえいprojectionであることを表あらわす。

5Precise explanation

5.11. $U^{\perp }$U^\perp is a subspace

Let $v,w\in U^{\perp }$v,w\in U^\perp and let $a,b$a,b be scalars. For every $u\in U$u\in U,

Therefore $av+bw\in U^{\perp }$av+bw\in U^\perp, so $U^{\perp }$U^\perp is a subspace.

5.22. Orthogonal decomposition

If $V$V is finite-dimensional and $U$U is a subspace, every $v\in V$v\in V can be written uniquely as

For existence, take an orthonormal basis正規直交基底せいきちょっこうきてい $e_1,\dots ,e_k$e_1,\ldots,e_k of $U$U and set

Then $p\in U$p\in U, and for every $j$j,

Hence $v-p\in U^{\perp }$v-p\in U^\perp.

For uniqueness, suppose

Then $p_1-p_2=r_2-r_1$p_1-p_2=r_2-r_1 lies in both $U$U and $U^{\perp }$U^\perp. If $x\in U\cap U^{\perp }$x\in U\cap U^\perp, then $⟨x,x⟩=0$\langle x,x\rangle=0, so $x=0$x=0. Thus $p_1=p_2$p_1=p_2 and $r_1=r_2$r_1=r_2.

Consequently, in finite dimensions,

5.33. Projection formula using an orthonormal basis

If $e_1,\dots ,e_k$e_1,\ldots,e_k is an orthonormal basis of $U$U, then

The reason is that the residual $v-{\mathrm{proj}}_U\left(v\right)$v-\operatorname{proj}_U(v) is orthogonal to every basis vector of $U$U.

In the complex case, the same formula is used with the convention of this series: the first variable is linear, so the coefficient is $⟨v,e_i⟩$\langle v,e_i\rangle. Under the opposite convention, conjugates appear in different positions.

As a matrix, an orthogonal projection $P$P satisfies

The first equation says that projecting twice changes nothing after the first projection; the second says the projection is compatible with the inner product.

6具体例ぐたいれい

$$R^2$$\mathbb R^2 で $$U=\mathrm{span}\left\{\right(1,1\left)\right\}$$U=\operatorname{span}\{(1,1)\} とする。単位たんいベクトル $$e=\frac{1}{\sqrt{2}}(1,1)$$e=\frac{1}{\sqrt2}(1,1) を用もちいると、$$v=(2,0)$$v=(2,0) の射影しゃえいprojectionは

である。残差ざんさは

であり、これは $$(1,1)$$(1,1) と直交ちょっこうorthogonalする。

6Concrete example

In $R^2$\mathbb R^2, let

With

the projection of $v=(2,0)$v=(2,0) onto $U$U is

The residual is

which is orthogonal to $(1,1)$(1,1).

7別べつの観点かんてん

幾何的きかてきには、直交補空間ちょっこうほくうかんorthogonal complementは「部分空間ぶぶんくうかんsubspaceに垂直すいちょくな方向ほうこうの集あつまり」である。代数的だいすうてきには、$$U^{\perp }$$U^\perp は内積ないせきinner productによる条件式じょうけんしき $$⟨v,u⟩=0$$\langle v,u\rangle=0 の解空間かいくうかんsolution spaceである。

7Another viewpoint

Geometrically, $U^{\perp }$U^\perp is the collection of directions perpendicular to $U$U. Algebraically, it is the solution space of the equations $⟨v,u⟩=0$\langle v,u\rangle=0 for all $u\in U$u\in U.

8判定基準はんていきじゅん

• 射影しゃえいprojection、最短距離さいたんきょり、残差ざんさが登場とうじょうしたら、直交補空間ちょっこうほくうかんorthogonal complementを確認かくにんする。
• 部分空間ぶぶんくうかんsubspaceの外そとにあるベクトルを、内部ないぶの成分せいぶんcomponentと垂直すいちょくな誤差ごさに分解ぶんかいしたいとき、直交分解ちょっこうぶんかいを用もちいる。
• 最小二乗法さいしょうにじょうほうleast squares methodでは、残差ざんさが列空間れつくうかんcolumn spaceの直交補空間ちょっこうほくうかんorthogonal complementに属ぞくすることを利用りようする。

8Criteria

• When projection, shortest distance, or residuals appear, identify the relevant orthogonal complement.
• To split a vector into a component inside a subspace and a perpendicular error, use orthogonal decomposition.
• In least squares, the residual belongs to the orthogonal complement of the column space.

9どこまで成立せいりつするか

有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは、直交分解ちょっこうぶんかいは安定あんていして成立せいりつする。無限次元むげんじげんでは、部分空間ぶぶんくうかんsubspaceが閉へいじているかどうかが重要じゅうようになる。閉へいじていない部分空間ぶぶんくうかんsubspaceでは、最近点さいきんてんや射影しゃえいprojectionが存在そんざいしない場合ばあいがある。

複素ふくそcomplexの場合ばあいは、転置てんちではなく共役転置きょうやくてんちconjugate transpose $$A^{*}$$A^* が射影しゃえいprojectionや最小二乗法さいしょうにじょうほうleast squares methodの式しきに現あらわれる。

9Scope and limitations

In finite-dimensional inner product spaces, orthogonal decomposition is stable. In infinite dimensions, closedness of the subspace matters; a non-closed subspace may fail to have nearest points or projections. In complex spaces, transpose is replaced by conjugate transpose $A^{*}$A^* in projection and least-squares formulas.

10最終形さいしゅうけい

10Final forms

11一言ひとことでいうと

• 直交補空間ちょっこうほくうかんorthogonal complementは、部分空間ぶぶんくうかんsubspaceに垂直すいちょくな誤差ごさを収容しゅうようする空間くうかんである。

直交射影ちょっこうしゃえいorthogonal projectionは、$$x$$x を部分空間ぶぶんくうかんsubspace $$W$$W に射影しゃえいしたベクトル $$p\in W$$p\in W で、残差ざんさ $$x-p$$x-p が $$W^{\perp }$$W^\perp に属ぞくするものである。この直交条件ちょっこうじょうけんorthogonality conditionは、幾何的きかてきな意味いみであると同時どうじに、計算上けいさんじょうの判定条件はんていじょうけんでもある。

最小二乗法さいしょうにじょうほうleast squares methodでも同おなじ考かんがえを使つかう。$$Ax$$Ax が $$b$$b に等ひとしいとは限かぎらないので、残差ざんさ $$b-Ax$$b-Ax が $$A$$A の列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalするように $$x$$x を選えらぶ。この条件じょうけんから正規方程式せいきほうていしき $$A^{T}Ax=A^{T}b$$A^TAx=A^Tb が得えられる。列れつcolumnが一次独立いちじどくりつlinearly independentなら解かいは一意いちいであり、一次従属いちじじゅうぞくlinearly dependentなら射影しゃえいは一意いちいでも係数ベクトルcoefficient vectorは一意いちいでないことがある。

11In one sentence

The orthogonal complement直交補空間ちょっこうほくうかん is the space that holds the perpendicular error to a subspace.

The orthogonal projection直交射影ちょっこうしゃえい of $x$x onto a subspace $W$W is the vector $p\in W$p\in W for which the residual $x-p$x-p lies in $W^{\perp }$W^\perp. This orthogonality condition is both the geometric meaning and the computational test.

For least-squares problems, the same idea says that $Ax$Ax may not equal $b$b, so we choose $x$x so that the residual $b-Ax$b-Ax is orthogonal to the column space of $A$A. This gives the normal equations $A^{T}Ax=A^{T}b$A^TAx=A^Tb. The solution is unique when the relevant columns are independent; otherwise the projection is still unique, but the coefficient vector may not be.

12定理ていりと証明しょうめい：直交射影ちょっこうしゃえいは誤差ごさを最小さいしょうにする

$U$U を内積空間ないせきくうかんの部分空間ぶぶんくうかんとし、$p\in U$p\in U が $v-p\perp U$v-p\perp U を満みたすとする。このとき $p$p は $U$U の中なかで $v$v に最もっとも近ちかいベクトルvectorである。

証明しょうめいする。任意にんいの $u\in U$u\in U について、

である。ここで $p-u\in U$p-u\in U であり、$v-p\perp U$v-p\perp U だから $v-p\perp p-u$v-p\perp p-u である。したがってピタゴラスの定理ていりより

である。よって $u=p$u=p のときに距離きょりが最小さいしょうになる。

この定理ていりは、射影しゃえいが「影かげを落おとす操作そうさ」であるだけでなく、最小二乗法さいしょうにじょうほうの根拠こんきょにもなることを示しめしている。

12Theorem and proof: orthogonal projection minimizes error

Let $U$U be a subspace of an inner product space, and suppose $p\in U$p\in U satisfies $v-p\perp U$v-p\perp U. Then $p$p is the vector in $U$U closest to $v$v.

For any $u\in U$u\in U,

Since $p-u\in U$p-u\in U and $v-p\perp U$v-p\perp U, the two summands are orthogonal. By the Pythagorean theorem,

Thus the distance is minimized when $u=p$u=p. This is the geometric basis of least squares.

13演習えんしゅうリンク

13Exercise link

14関連かんれんリンク

14Related links