直交補空間ちょっこうほくうかんorthogonal complementと射影しゃえいprojection

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、部分空間ぶぶんくうかんsubspaceに沿そう成分せいぶんcomponentと、それに直交ちょっこうorthogonalする成分せいぶんcomponentへベクトルを一意いちいに分解ぶんかいするという発想はっそうである。

射影しゃえいprojectionや最小二乗法さいしょうにじょうほうleast squares methodでは、「列空間れつくうかんcolumn spaceに最もっとも近ちかいベクトル」を求もとめる。近ちかさを記述きじゅつするには、誤差ごさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする、という条件じょうけんが中心ちゅうしんになる。この条件じょうけんを整理せいりする道具どうぐが直交補空間ちょっこうほくうかんorthogonal complementである。

2用語ようごと定義ていぎ

直交補空間ちょっこうほくうかんOrthogonal complement とは、内積空間ないせきくうかんinner product space $$V$$V の部分空間ぶぶんくうかんsubspace $$U$$U に対たいして

で定義ていぎされる部分空間ぶぶんくうかんsubspaceである。

直交射影ちょっこうしゃえいOrthogonal projection とは、ベクトル $$v$$v を $$U$$U 方向ほうこうの成分せいぶんcomponent $$p$$p と $$U^{\perp }$$U^\perp 方向ほうこうの成分せいぶんcomponent $$r$$r に

と分解ぶんかいしたときの $$p$$p である。

3方針ほうしん

まず $$U^{\perp }$$U^\perp が部分空間ぶぶんくうかんsubspaceであることを確認かくにんする。つぎに、有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは $$V=U\oplus U^{\perp }$$V=U\oplus U^\perp が成立せいりつすることを説明せつめいし、直交射影ちょっこうしゃえいorthogonal projectionの公式こうしきへ移行いこうする。

4直感的ちょっかんてきな説明せつめい

平面へいめんの中なかに 1 本ぽんの直線ちょくせん $$U$$U があるとする。あるベクトル $$v$$v は、その直線ちょくせんに沿そう影かげ $$p$$p と、直線ちょくせんに垂直すいちょくな残のこり $$r$$r に分解ぶんかいできる。この $$r$$r が属ぞくする方向ほうこうの全体ぜんたいが $$U^{\perp }$$U^\perp である。

この分解ぶんかいが重要じゅうようなのは、$$p$$p が $$U$$U の中なかで $$v$$v に最もっとも近ちかいベクトルになるためである。誤差ごさ $$v-p$$v-p が $$U$$U に直交ちょっこうorthogonalしていると、$$U$$U の中なかでさらに近ちかづく方向ほうこうが残のこっていない。

5厳密げんみつな説明せつめい

5.11. $$U^{\perp }$$U^\perp は部分空間ぶぶんくうかんsubspaceである

$$v,w\in U^{\perp }$$v,w\in U^\perp、スカラー $$a,b$$a,b を任意にんいに固定こていする。任意にんいの $$u\in U$$u\in U について

である。したがって $$av+bw\in U^{\perp }$$av+bw\in U^\perp であり、$$U^{\perp }$$U^\perp は部分空間ぶぶんくうかんsubspaceである。

5.22. 直交分解ちょっこうぶんかい

有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceで $$U$$U が部分空間ぶぶんくうかんsubspaceなら、任意にんいの $$v\in V$$v\in V は

と一意いちいに分解ぶんかいできる。この事実じじつを直交分解ちょっこうぶんかいという。

存在そんざいは、$U$U の正規直交基底せいきちょっこうきていorthonormal basisから構成こうせいできる。$U$U の正規直交基底せいきちょっこうきていorthonormal basisを $e_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},e_k$e_1,\dots,e_k とし、

と置おく。この $p$p は $U$U のベクトルである。さらに各かく $j$j について

である。正規直交基底せいきちょっこうきていorthonormal basisでは $⟨e_i,e_j⟩=0$\langle e_i,e_j\rangle=0（$i\ne j$i\ne j）かつ $⟨e_j,e_j⟩=1$\langle e_j,e_j\rangle=1 だからである。$v-p$v-p は $U$U の基底きていbasisすべてに直交ちょっこうorthogonalするので、$v-p\in U^{\perp }$v-p\in U^\perp である。したがって $v=p+(v-p)$v=p+(v-p) という分解ぶんかいが存在そんざいする。

一意性いちいせいは直交性ちょっこうせいから従したがう。もし

であれば、$$p_1-p_2=r_2-r_1$$p_1-p_2=r_2-r_1 である。左辺さへんleft-hand sideは $$U$$U に属ぞくし、右辺うへんright-hand sideは $$U^{\perp }$$U^\perp に属ぞくする。したがってこのベクトルは $$U\cap U^{\perp }$$U\cap U^\perp に属ぞくする。ところが $$x\in U\cap U^{\perp }$$x\in U\cap U^\perp なら $$⟨x,x⟩=0$$\langle x,x\rangle=0 なので $$x=0$$x=0 である。よって $$p_1=p_2$$p_1=p_2、$$r_1=r_2$$r_1=r_2 となる。

直交分解ちょっこうぶんかいから、有限次元ゆうげんじげんでは

が従したがう。また $$U\subset (U^{\perp }{)}^{\perp }$$U\subset (U^\perp)^\perp であり、両辺りょうへんの次元じげんdimensionが一致いっちするため

である。これらは直交補空間ちょっこうほくうかんorthogonal complementが単たんなる垂直方向すいちょくほうこうの集合しゅうごうsetではなく、部分空間ぶぶんくうかんsubspaceの次元じげんdimensionを補完ほかんする構造こうぞうstructureであることを示しめす。

5.33. 正規直交基底せいきちょっこうきていorthonormal basisによる射影公式しゃえいこうしき

$$U$$U の正規直交基底せいきちょっこうきていorthonormal basisを $$e_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},e_k$$e_1,\dots,e_k とする。このとき $$v$$v の $$U$$U への直交射影ちょっこうしゃえいorthogonal projectionは

である。理由りゆうは、$$p=\sum _i⟨v,e_i⟩e_i$$p=\sum_i \langle v,e_i\rangle e_i と置おくと、各かく $$j$$j について

が成立せいりつし、$$v-p\in U^{\perp }$$v-p\in U^\perp となるためである。

複素ふくそcomplex内積空間ないせきくうかんinner product spaceでも同おなじ公式こうしきを使つかう。ただし、この系列けいれつでは第だい 1 変数へんすうを線型せんけいとするため、係数けいすうcoefficientは $$⟨v,e_i⟩$$\langle v,e_i\rangle である。別べつの規約きやくでは共役きょうやくの位置いちが変かわる。

射影行列しゃえいぎょうれつprojection matrixとして見みると、直交射影ちょっこうしゃえいorthogonal projectionは

を満みたす。$$P^2=P$$P^2=P は「一度いちど射影しゃえいprojectionしたら再度さいど射影しゃえいprojectionしても変かわらない」こと、$$P^{*}=P$$P^*=P は内積ないせきinner productと両立りょうりつした直交ちょっこうorthogonalな射影しゃえいprojectionであることを表あらわす。

6具体例ぐたいれい

$$R^2$$\mathbb R^2 で $$U=\mathrm{span}\left\{\right(1,1\left)\right\}$$U=\operatorname{span}\{(1,1)\} とする。単位たんいベクトル $$e=\frac{1}{\sqrt{2}}(1,1)$$e=\frac{1}{\sqrt2}(1,1) を用もちいると、$$v=(2,0)$$v=(2,0) の射影しゃえいprojectionは

である。残差ざんさは

であり、これは $$(1,1)$$(1,1) と直交ちょっこうorthogonalする。

7別べつの観点かんてん

幾何的きかてきには、直交補空間ちょっこうほくうかんorthogonal complementは「部分空間ぶぶんくうかんsubspaceに垂直すいちょくな方向ほうこうの集あつまり」である。代数的だいすうてきには、$$U^{\perp }$$U^\perp は内積ないせきinner productによる条件式じょうけんしき $$⟨v,u⟩=0$$\langle v,u\rangle=0 の解空間かいくうかんsolution spaceである。

8判定基準はんていきじゅん

• 射影しゃえいprojection、最短距離さいたんきょり、残差ざんさが登場とうじょうしたら、直交補空間ちょっこうほくうかんorthogonal complementを確認かくにんする。
• 部分空間ぶぶんくうかんsubspaceの外そとにあるベクトルを、内部ないぶの成分せいぶんcomponentと垂直すいちょくな誤差ごさに分解ぶんかいしたいとき、直交分解ちょっこうぶんかいを用もちいる。
• 最小二乗法さいしょうにじょうほうleast squares methodでは、残差ざんさが列空間れつくうかんcolumn spaceの直交補空間ちょっこうほくうかんorthogonal complementに属ぞくすることを利用りようする。

9どこまで成立せいりつするか

有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは、直交分解ちょっこうぶんかいは安定あんていして成立せいりつする。無限次元むげんじげんでは、部分空間ぶぶんくうかんsubspaceが閉へいじているかどうかが重要じゅうようになる。閉へいじていない部分空間ぶぶんくうかんsubspaceでは、最近点さいきんてんや射影しゃえいprojectionが存在そんざいしない場合ばあいがある。

複素ふくそcomplexの場合ばあいは、転置てんちではなく共役転置きょうやくてんちconjugate transpose $$A^{*}$$A^* が射影しゃえいprojectionや最小二乗法さいしょうにじょうほうleast squares methodの式しきに現あらわれる。

10最終形さいしゅうけい

11一言ひとことでいうと

• 直交補空間ちょっこうほくうかんorthogonal complementは、部分空間ぶぶんくうかんsubspaceに垂直すいちょくな誤差ごさを収容しゅうようする空間くうかんである。

直交射影ちょっこうしゃえいorthogonal projectionは、$$x$$x を部分空間ぶぶんくうかんsubspace $$W$$W に射影しゃえいしたベクトル $$p\in W$$p\in W で、残差ざんさ $$x-p$$x-p が $$W^{\perp }$$W^\perp に属ぞくするものである。この直交条件ちょっこうじょうけんorthogonality conditionは、幾何的きかてきな意味いみであると同時どうじに、計算上けいさんじょうの判定条件はんていじょうけんでもある。

最小二乗法さいしょうにじょうほうleast squares methodでも同おなじ考かんがえを使つかう。$$Ax$$Ax が $$b$$b に等ひとしいとは限かぎらないので、残差ざんさ $$b-Ax$$b-Ax が $$A$$A の列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalするように $$x$$x を選えらぶ。この条件じょうけんから正規方程式せいきほうていしき $$A^{T}Ax=A^{T}b$$A^TAx=A^Tb が得えられる。列れつcolumnが一次独立いちじどくりつlinearly independentなら解かいは一意いちいであり、一次従属いちじじゅうぞくlinearly dependentなら射影しゃえいは一意いちいでも係数ベクトルcoefficient vectorは一意いちいでないことがある。

12定理ていりと証明しょうめい：直交射影ちょっこうしゃえいは誤差ごさを最小さいしょうにする

$U$U を内積空間ないせきくうかんの部分空間ぶぶんくうかんとし、$p\in U$p\in U が $v-p\perp U$v-p\perp U を満みたすとする。このとき $p$p は $U$U の中なかで $v$v に最もっとも近ちかいベクトルvectorである。

証明しょうめいする。任意にんいの $u\in U$u\in U について、

である。ここで $p-u\in U$p-u\in U であり、$v-p\perp U$v-p\perp U だから $v-p\perp p-u$v-p\perp p-u である。したがってピタゴラスの定理ていりより

である。よって $u=p$u=p のときに距離きょりが最小さいしょうになる。

この定理ていりは、射影しゃえいが「影かげを落おとす操作そうさ」であるだけでなく、最小二乗法さいしょうにじょうほうの根拠こんきょにもなることを示しめしている。

13演習えんしゅうリンク

14関連かんれんリンク