内積ないせきinner product・直交ちょっこうorthogonal・射影しゃえいprojection-基本演習きほんえんしゅう

この演習えんしゅうでは、内積ないせきinner productで長ながさlengthと角度かくどangleを測はかり、直交化ちょっこうかorthogonalization・射影しゃえいprojection・最小二乗法さいしょうにじょうほうleast squares methodを計算けいさんと意味いみの両方りょうほうから確認かくにんする。

1演習えんしゅう方針ほうしん

内積ないせきinner productは、ベクトル空間くうかんに長ながさと角度かくどを入いれる道具どうぐである。射影しゃえいprojectionは「届とどかない点てんを、部分空間ぶぶんくうかんsubspaceの中なかで最もっとも近ちかい点てんへ落おとす」操作そうさoperationである。この演習えんしゅうでは、計算けいさんの前まえに直交性ちょっこうせいと零れいベクトルの扱あつかいを確認かくにんする。

幾何的きかてきな結論けつろんを出だす前まえに、まず内積ないせきinner productを計算けいさんする。ノルムnormは $\parallel x{\parallel }^2=⟨x,x⟩$\|x\|^2=\langle x,x\rangle から来くること、直交ちょっこうorthogonalは内積ないせきが $0$0 であること、射影係数しゃえいけいすうprojection coefficientは方向ほうこうベクトルの長ながさの二乗にじょうで割わることを確認かくにんする。

射影しゃえいprojectionと最小二乗法さいしょうにじょうほうleast squares methodでは、残差ざんさresidualが診断しんだんになる。$p$p が $x$x の部分空間ぶぶんくうかんsubspaceへの射影しゃえいなら、$x-p$x-p はその部分空間ぶぶんくうかんsubspaceのすべてのベクトルに直交ちょっこうorthogonalする。最小二乗解さいしょうにじょうかい $Ax\simeq b$Ax\simeq b では、これは $A^T(b-Ax)=0$A^T(b-Ax)=0、すなわち正規方程式せいきほうていしき $A^{T}Ax=A^{T}b$A^TAx=A^Tb として現あらわれる。

2問題もんだい 1

について、$⟨u,v⟩$\langle u,v\rangle、$\parallel u\parallel$\|u\|、$\parallel v\parallel$\|v\| を求もとめ、$u$u と $v$v が直交ちょっこうorthogonalするかを判定はんていせよ。

2.1解答例かいとうれい

$⟨u,v⟩\ne 0$\langle u,v\rangle\ne0 なので直交ちょっこうorthogonalしない。

2.2解説かいせつ

内積ないせきinner productが $0$0 であることは、角度かくどが直角ちょっかくであることを表あらわす。ここでは値あたいが $1$1 なので、完全かんぜんには直交ちょっこうorthogonalしていない。直交性ちょっこうせいは成分せいぶんcomponentの見みた目めではなく、内積ないせきinner productで判定はんていする。

3問題もんだい 2

について、$\parallel a+b\parallel =\parallel a\parallel +\parallel b\parallel$\|a+b\|=\|a\|+\|b\| が成立せいりつすることを確認かくにんし、なぜ等号とうごうが成立せいりつするかを説明せつめいせよ。

3.1解答例かいとうれい

また $\parallel a\parallel =1$\|a\|=1、$\parallel b\parallel =2$\|b\|=2 なので、

である。$a$a と $b$b は同おなじ向むきなので等号とうごうが成立せいりつする。

3.2解説かいせつ

三角不等式さんかくふとうしきは、遠回とおまわりしても直線距離ちょくせんきょりより短みじかくならないことを表あらわす。等号とうごうが成立せいりつするのは、2 本ほんのベクトルが同おなじ方向ほうこうを向むく境界例きょうかいれいである。不等式ふとうしきでは等号成立条件とうごうせいりつじょうけんまで確認かくにんする。

4問題もんだい 3

に Gram-Schmidt の直交化ちょっこうかorthogonalizationを行おこなえ。

4.1解答例かいとうれい

まず

とする。つぎに

である。

4.2解説かいせつ

射影係数しゃえいけいすうでは $⟨u_1,u_1⟩$\langle u_1,u_1\rangle で割わるため、$u_1\ne 0$u_1\ne0 の確認かくにんが必要ひつようである。ここでは $⟨u_1,u_1⟩=2\ne 0$\langle u_1,u_1\rangle=2\ne0 なので割わってよい。直交化ちょっこうかorthogonalizationは、$x_2$x_2 から $u_1$u_1 方向ほうこうの成分せいぶんcomponentを引ひき、$u_1$u_1 に垂直すいちょくな残差ざんさを取とり出だす操作そうさoperationである。

5問題もんだい 4

について、$y$y の $\mathrm{span}\left(u\right)$\operatorname{span}(u) への正射影せいしゃえいを求もとめよ。

5.1解答例かいとうれい

5.2解説かいせつ

射影しゃえいprojectionは、$y$y を $u$u 方向ほうこうの成分せいぶんcomponentと、それに直交ちょっこうorthogonalする残差ざんさに分解ぶんかいする。分母ぶんぼ $⟨u,u⟩$\langle u,u\rangle は $u\ne 0$u\ne0 なら正せいである。もし $u=0$u=0 なら、$\mathrm{span}\left(u\right)$\operatorname{span}(u) は零空間れいくうかんだけであり、この公式こうしきは 0 除算じょさんになるので使つかえない。

6問題もんだい 5

について、$Ax=b$Ax=b の最小二乗解さいしょうにじょうかいを求もとめ、射影しゃえいprojectionとの関係かんけいを説明せつめいせよ。

6.1解答例かいとうれい

正規方程式せいきほうていしきは

である。$A^{T}A=2$A^TA=2、$A^{T}b=2$A^Tb=2 なので $x=1$x=1 である。したがって近似きんじベクトルは

である。

6.2解説かいせつ

$b$b は $\mathrm{Col}\left(A\right)=\mathrm{span}\left(\left(\begin{array}{c}1\\ 1\end{array}\right)\right)$\operatorname{Col}(A)=\operatorname{span}\left(\begin{pmatrix}1\\1\end{pmatrix}\right) に属ぞくさないので、$Ax=b$Ax=b は厳密げんみつには解とけない。最小二乗法さいしょうにじょうほうleast squares methodは、$b$b に最もっとも近ちかい列空間れつくうかんcolumn spaceの点てんを選えらぶ方法ほうほうである。$A^{T}A=2\ne 0$A^TA=2\ne0 なので、この例れいでは正規方程式せいきほうていしきを一意いちいに解とける。

7問題もんだい 6

$R^2$\mathbb R^2 で

と定義ていぎする。これらがノルムの条件じょうけんを満みたすことを確認かくにんせよ。

7.1解答例かいとうれい

どちらも値あたいは 0 以上いじょうであり、0 になるのは $x_1=x_2=0$x_1=x_2=0 のときだけである。

スカラーscalar $c$c について

である。

また

である。さらに

が $i=1,2$i=1,2 で成立せいりつするので、

である。

7.2解説かいせつ

ノルムは長ながさの抽象化ちゅうしょうかである。形かたちが標準ひょうじゅんの $\sqrt{x_{1^2}+x_{2^2}}$\sqrt{x_1^2+x_2^2} と違ちがっても、非負性ひふせい、同次性どうじせいhomogeneity、三角不等式さんかくふとうしきを満みたせばノルムである。この問題もんだいは、定義ていぎに戻もどって判定はんていする練習れんしゅうである。

8問題もんだい 7

について、$(u,v)$(u,v) と $(u,w)$(u,w) のそれぞれでコーシー・シュワルツの不等式ふとうしきの等号とうごうが成立せいりつするかを判定はんていせよ。

8.1解答例かいとうれい

$v=2u$v=2u なので、$u$u と $v$v は一次従属いちじじゅうぞくlinear dependenceである。したがって

が成立せいりつする。

一方いっぽう、$w$w は $u$u の定数倍ていすうばいではないので、$u$u と $w$w は一次独立いちじどくりつlinear independenceである。したがって等号とうごうは成立せいりつしない。

8.2解説かいせつ

コーシー・シュワルツの不等式ふとうしきでは、値あたいを計算けいさんするだけでなく、等号成立条件とうごうせいりつじょうけんが重要じゅうようである。等号とうごうは 2 本ほんのベクトルが同おなじ直線ちょくせんの上うえにあるとき、つまり一次従属いちじじゅうぞくlinear dependenceのときに成立せいりつする。

9問題もんだい 8

とする。$y=(1,2,3{)}^T$y=(1,2,3)^T の $U$U への正射影せいしゃえいを求もとめ、$U^{\perp }$U^\perp の基底きていbasisを 1 つ求もとめよ。

9.1解答例かいとうれい

$u_1=(1,1,0{)}^T$u_1=(1,1,0)^T、$u_2=(1,0,1{)}^T$u_2=(1,0,1)^T とし、射影しゃえいprojectionを $p=a{u}_1+b{u}_2$p=au_1+bu_2 とおく。$y-p$y-p が $u_1,u_2$u_1,u_2 に直交ちょっこうorthogonalするので、

を得える。これを解とくと

である。したがって

である。また $n=(1,-1,-1{)}^T$n=(1,-1,-1)^T は $u_1,u_2$u_1,u_2 の両方りょうほうに直交ちょっこうorthogonalするので、$U^{\perp }$U^\perp の基底きていbasisとして $\left\{n\right\}$\{n\} を取とれる。

9.2解説かいせつ

2 次元じげんdimensionの部分空間ぶぶんくうかんsubspaceへの射影しゃえいprojectionでは、残差ざんさが部分空間ぶぶんくうかんsubspaceのすべての方向ほうこうに直交ちょっこうorthogonalするように係数けいすうcoefficientを決きめる。この問題もんだいは、射影しゃえいprojectionを「近ちかい点てんを探さがす」問題もんだいから、直交条件ちょっこうじょうけんの連立方程式れんりつほうていしきへ変換へんかんする練習れんしゅうである。

10問題もんだい 9

について、正規方程式せいきほうていしきを解といて最小二乗解さいしょうにじょうかいを求もとめ、残差ざんさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalすることを確認かくにんせよ。

10.1解答例かいとうれい

である。したがって

を解とくと

である。よって最小二乗解さいしょうにじょうかいは $(7/6,1/2{)}^T$(7/6,1/2)^T である。

残差ざんさは

であり、

なので、残差ざんさは列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする。

10.2解説かいせつ

最小二乗法さいしょうにじょうほうleast squares methodでは、$b$b そのものを列空間れつくうかんcolumn spaceに入いれるのではなく、$b$b に最もっとも近ちかい列空間れつくうかんcolumn spaceの点てんを探さがす。残差ざんさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalすることが、最短距離さいたんきょりになっている理由りゆうである。

11問題もんだい 10

により

と定義ていぎする。これが $R^2$\mathbb R^2 の内積ないせきinner productであることを確認かくにんせよ。

11.1解答例かいとうれい

$M$M は対称行列たいしょうぎょうれつsymmetric matrixなので、

である。また $x=(x_1,x_2{)}^T$x=(x_1,x_2)^T について

であり、これは常つねに 0 以上いじょうで、0 になるのは $x=0$x=0 のときだけである。加法性かほうせいadditivityと同次性どうじせいhomogeneityは行列積ぎょうれつせきの分配法則ぶんぱいほうそくから従したがう。したがって内積ないせきinner productである。

11.2解説かいせつ

標準内積ひょうじゅんないせきだけが内積ないせきinner productではない。正定値せいていちpositive definiteな対称行列たいしょうぎょうれつsymmetric matrixを使つかうと、方向ほうこうごとの重おもみを変かえた内積ないせきinner productを作つくれる。

12問題もんだい 11

により $x^{T}Ny$x^TNy と定義ていぎしたものが内積ないせきinner productではないことを説明せつめいせよ。

12.1解答例かいとうれい

$e_2=(0,1{)}^T$e_2=(0,1)^T とすると、

である。内積ないせきinner productなら $⟨x,x⟩\text{[PARSE ERROR: Undefined("Command("ge")")]}0$\langle x,x\rangle\ge0 でなければならないので、これは正定値性せいていちせいに反はんする。したがって内積ないせきinner productではない。

12.2解説かいせつ

双線型そうせんけいに見みえる式しきでも、長ながさの二乗にじょうに対応たいおうする $⟨x,x⟩$\langle x,x\rangle が負ふになるなら内積ないせきinner productではない。内積ないせきinner productの判定はんていでは、正定値性せいていちせいの境界例きょうかいれいを必かならず確認かくにんする。

13順序上じゅんじょじょうの注意ちゅうい：複素内積ふくそないせきcomplex inner product

次つぎの問題もんだいは、後続こうぞくの複素内積ふくそないせきcomplex inner productとユニタリ行列ぎょうれつ (unitary matrix) の演習えんしゅうへの先取さきどりである。ここで使つかう最小限さいしょうげんの事実じじつは、複素内積ふくそないせきcomplex inner productでは共役対称性きょうやくたいしょうせいconjugate symmetryにより $⟨z,z⟩$\langle z,z\rangle が 0 以上いじょうの実数じっすうreal numberにならなければならない、という点てんである。

14問題もんだい 12

$\mathbb{C}$\mathbb C で

と定義ていぎしたものが、複素内積ふくそないせきcomplex inner productではないことを説明せつめいせよ。

14.1解答例かいとうれい

$z=i$z=i とすると、

である。複素内積ふくそないせきcomplex inner productなら $⟨z,z⟩$\langle z,z\rangle は 0 以上いじょうの実数じっすうreal numberでなければならない。したがって、この定義ていぎは複素内積ふくそないせきcomplex inner productではない。

14.2解説かいせつ

複素ふくそcomplexの場合ばあいに共役きょうやくを忘わすれると、長ながさの二乗にじょうが負ふになったり複素数ふくそすうcomplex numberになったりする。複素内積ふくそないせきcomplex inner productで共役対称性きょうやくたいしょうせいconjugate symmetryを要求ようきゅうする理由りゆうはここにある。

15問題もんだい 13

について、$\parallel u+v\parallel <\parallel u\parallel +\parallel v\parallel$\|u+v\|<\|u\|+\|v\| と $\parallel u+w\parallel =\parallel u\parallel +\parallel w\parallel$\|u+w\|=\|u\|+\|w\| を確認かくにんし、等号とうごうが成立せいりつする場合ばあいと成立せいりつしない場合ばあいの違ちがいを説明せつめいせよ。

である。一方いっぽう、

である。$u$u と $v$v は直交ちょっこうorthogonalしており、同おなじ方向ほうこうを向むいていない。$u$u と $w$w は正せいの定数倍ていすうばいの関係かんけいにあるため、同おなじ向むきの直線上ちょくせんじょうに並ならぶ。

この問題もんだいは、三角不等式さんかくふとうしきtriangle inequalityの境界例きょうかいれいを確認かくにんする。零れいベクトルを除のぞけば、等号とうごうは 2 本ほんのベクトルが正せいの定数倍ていすうばいになっている場合ばあいに現あらわれる。向むきが違ちがう場合ばあいは、折おれ線せんの長ながさが直線距離ちょくせんきょりより長ながくなる。

16関連講義かんれんこうぎ

17関連演習かんれんえんしゅう

18証明しょうめい演習えんしゅう：Cauchy-Schwarz と射影しゃえいの最小性さいしょうせい

18.1問題もんだい

この証明しょうめい演習えんしゅうでは実内積空間じつないせきくうかんreal inner product spaceに限定げんていする。複素内積ふくそないせきcomplex inner productの場合ばあいは共役きょうやくの位置いちを追おう必要ひつようがあるため、後続こうぞくの複素内積ふくそないせきの演習えんしゅうで扱あつかう。

Cauchy-Schwarz の不等式ふとうしきを証明しょうめいせよ。また、$v-p\perp U$v-p\perp U なら $p\in U$p\in U が $v$v に最もっとも近ちかい点てんであることを証明しょうめいせよ。

18.2解答かいとう

$v\ne 0$v\ne0 のとき、$t=⟨u,v⟩/⟨v,v⟩$t=\langle u,v\rangle/\langle v,v\rangle とおく。$v\ne 0$v\ne0 なので分母ぶんぼは 0 ではない。$0\text{[PARSE ERROR: Undefined("Command("le")")]}\parallel u-tv{\parallel }^2$0\le\|u-tv\|^2 を展開てんかいすると

を得える。

特とくに $u\ne 0$u\ne0 で、$y$y の $\mathrm{span}\left(u\right)$\operatorname{span}(u) への射影しゃえいを

とおくと、$y-p\perp u$y-p\perp u である。任意にんいの $cu\in \mathrm{span}\left(u\right)$cu\in\operatorname{span}(u) について

であり、二ふたつの項こうは直交ちょっこうする。したがって

となり、$p$p が $\mathrm{span}\left(u\right)$\operatorname{span}(u) の中なかで $y$y に最もっとも近ちかい。

つぎに、任意にんいの $q\in U$q\in U について

であり、二ふたつの項こうは直交ちょっこうする。よって

である。

18.3解説かいせつ

Cauchy-Schwarz は内積ないせきを長ながさで評価ひょうかする定理ていりであり、射影しゃえいの最小性さいしょうせいは直交ちょっこうが最短距離さいたんきょりを決きめることを述のべている。

19補強問題ほきょうもんだい：最小二乗法さいしょうにじょうほうleast squares methodと正規方程式せいきほうていしきnormal equation

19.1問題もんだい 14

実行列じつぎょうれつ $A$A とベクトル $b$b について、$x$x が $Ax\simeq b$Ax\simeq b の最小二乗解さいしょうにじょうかいleast-squares solutionであることと、残差ざんさresidual $r=b-Ax$r=b-Ax が $\mathrm{Col}\left(A\right)$\operatorname{Col}(A) に直交ちょっこうorthogonalすること、すなわち $A^{T}r=0$A^Tr=0 であることが同値どうちequivalentであることを証明しょうめいせよ。

19.2解答例かいとうれい

任意にんいの摂動せつどう $h$h に対たいして、

である。誤差ごさの二乗にじょうは

である。もし $r\perp \mathrm{Col}\left(A\right)$r\perp\operatorname{Col}(A) なら、任意にんいの $h$h について $⟨r,Ah⟩=0$\langle r,Ah\rangle=0 なので、誤差ごさは $\parallel r{\parallel }^2$\|r\|^2 以上いじょうである。逆ぎゃくに、$x$x が誤差ごさを最小さいしょうにするなら、一変数関数いちへんすうかんすう $\parallel r-tAh{\parallel }^2$\|r-tAh\|^2 は $t=0$t=0 で微分係数びぶんけいすう 0 を持もつ。したがって任意にんいの $h$h について $⟨r,Ah⟩=0$\langle r,Ah\rangle=0 であり、これは $A^{T}r=0$A^Tr=0 と同値どうちequivalentである。

19.3解説かいせつ

正規方程式せいきほうていしきnormal equationは、「残差ざんさresidualが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする」という幾何的条件きかてきじょうけんの代数的だいすうてきな形かたちである。