内積ないせきinner product・直交ちょっこうorthogonal・射影しゃえいprojection-基本演習きほんえんしゅう

この演習えんしゅうでは、内積ないせきinner productで長ながさlengthと角度かくどangleを測はかり、直交化ちょっこうかorthogonalization・射影しゃえいprojection・最小二乗法さいしょうにじょうほうleast squares methodを計算けいさんと意味いみの両方りょうほうから確認かくにんする。

Inner products, orthogonality, and projection - Basic Exercises

These exercises use the inner product内積ないせき to measure length and angle, and they check orthogonalization, projection, and least squares both computationally and conceptually.

1演習えんしゅう方針ほうしん

内積ないせきinner productは、ベクトル空間くうかんに長ながさと角度かくどを入いれる道具どうぐである。射影しゃえいprojectionは「届とどかない点てんを、部分空間ぶぶんくうかんsubspaceの中なかで最もっとも近ちかい点てんへ落おとす」操作そうさoperationである。この演習えんしゅうでは、計算けいさんの前まえに直交性ちょっこうせいと零れいベクトルの扱あつかいを確認かくにんする。

幾何的きかてきな結論けつろんを出だす前まえに、まず内積ないせきinner productを計算けいさんする。ノルムnormは $\parallel x{\parallel }^2=⟨x,x⟩$\|x\|^2=\langle x,x\rangle から来くること、直交ちょっこうorthogonalは内積ないせきが $0$0 であること、射影係数しゃえいけいすうprojection coefficientは方向ほうこうベクトルの長ながさの二乗にじょうで割わることを確認かくにんする。

射影しゃえいprojectionと最小二乗法さいしょうにじょうほうleast squares methodでは、残差ざんさresidualが診断しんだんになる。$p$p が $x$x の部分空間ぶぶんくうかんsubspaceへの射影しゃえいなら、$x-p$x-p はその部分空間ぶぶんくうかんsubspaceのすべてのベクトルに直交ちょっこうorthogonalする。最小二乗解さいしょうにじょうかい $Ax\simeq b$Ax\simeq b では、これは $A^T(b-Ax)=0$A^T(b-Ax)=0、すなわち正規方程式せいきほうていしき $A^{T}Ax=A^{T}b$A^TAx=A^Tb として現あらわれる。

1Exercise plan

An inner product内積ないせき adds lengths and angles to a vector space. A projection射影しゃえい drops an unreachable point to the closest point inside a subspace部分空間ぶぶんくうかん. Before computing, check orthogonality and whether a vector used in a denominator is nonzero.

In these exercises, compute the inner product内積ないせき before drawing geometric conclusions. Orthogonality means the inner product is zero, the norm comes from $\left|\right|x|{|}^2=<x,x>$||x||^2=<x,x>, and projection coefficients come from dividing by the squared norm of the direction vector.

For projection and least-squares problems, the residual is the diagnostic. If $p$p is the projection of $x$x onto a subspace, then $x-p$x-p must be orthogonal to every vector in that subspace. For a least-squares solution of $Ax\approx b$Ax\approx b, this becomes $A^T(b-Ax)=0$A^T(b-Ax)=0, equivalently the normal equations $A^{T}Ax=A^{T}b$A^TAx=A^Tb.

2問題もんだい 1

について、$⟨u,v⟩$\langle u,v\rangle、$\parallel u\parallel$\|u\|、$\parallel v\parallel$\|v\| を求もとめ、$u$u と $v$v が直交ちょっこうorthogonalするかを判定はんていせよ。

2.1解答例かいとうれい

$⟨u,v⟩\ne 0$\langle u,v\rangle\ne0 なので直交ちょっこうorthogonalしない。

2.2解説かいせつ

内積ないせきinner productが $0$0 であることは、角度かくどが直角ちょっかくであることを表あらわす。ここでは値あたいが $1$1 なので、完全かんぜんには直交ちょっこうorthogonalしていない。直交性ちょっこうせいは成分せいぶんcomponentの見みた目めではなく、内積ないせきinner productで判定はんていする。

2Problem 1

For $u=(1,2{)}^T$u=(1,2)^T and $v=(3,-1{)}^T$v=(3,-1)^T, find $⟨u,v⟩$\langle u,v\rangle, $\parallel u\parallel$\|u\|, and $\parallel v\parallel$\|v\|, and decide whether $u$u and $v$v are orthogonal直交ちょっこう.

2.1Answer example

and

Since $⟨u,v⟩\ne 0$\langle u,v\rangle\ne0, they are not orthogonal.

2.2Explanation

Orthogonality is judged by the inner product, not by the visual appearance of components.

3問題もんだい 2

について、$\parallel a+b\parallel =\parallel a\parallel +\parallel b\parallel$\|a+b\|=\|a\|+\|b\| が成立せいりつすることを確認かくにんし、なぜ等号とうごうが成立せいりつするかを説明せつめいせよ。

3.1解答例かいとうれい

また $\parallel a\parallel =1$\|a\|=1、$\parallel b\parallel =2$\|b\|=2 なので、

である。$a$a と $b$b は同おなじ向むきなので等号とうごうが成立せいりつする。

3.2解説かいせつ

三角不等式さんかくふとうしきは、遠回とおまわりしても直線距離ちょくせんきょりより短みじかくならないことを表あらわす。等号とうごうが成立せいりつするのは、2 本ほんのベクトルが同おなじ方向ほうこうを向むく境界例きょうかいれいである。不等式ふとうしきでは等号成立条件とうごうせいりつじょうけんまで確認かくにんする。

3Problem 2

For $a=(1,0{)}^T$a=(1,0)^T and $b=(2,0{)}^T$b=(2,0)^T, confirm $\parallel a+b\parallel =\parallel a\parallel +\parallel b\parallel$\|a+b\|=\|a\|+\|b\| and explain equality.

3.1Answer example

while $\parallel a\parallel =1$\|a\|=1 and $\parallel b\parallel =2$\|b\|=2. Equality holds because the vectors point in the same direction.

3.2Explanation

This is the equality case of the triangle inequality三角不等式さんかくふとうしき.

4問題もんだい 3

に Gram-Schmidt の直交化ちょっこうかorthogonalizationを行おこなえ。

4.1解答例かいとうれい

まず

とする。つぎに

である。

4.2解説かいせつ

射影係数しゃえいけいすうでは $⟨u_1,u_1⟩$\langle u_1,u_1\rangle で割わるため、$u_1\ne 0$u_1\ne0 の確認かくにんが必要ひつようである。ここでは $⟨u_1,u_1⟩=2\ne 0$\langle u_1,u_1\rangle=2\ne0 なので割わってよい。直交化ちょっこうかorthogonalizationは、$x_2$x_2 から $u_1$u_1 方向ほうこうの成分せいぶんcomponentを引ひき、$u_1$u_1 に垂直すいちょくな残差ざんさを取とり出だす操作そうさoperationである。

4Problem 3

Apply Gram-Schmidt orthogonalization直交化ちょっこうか to

4.1Answer example

Let $u_1=x_1=(1,1,0{)}^T$u_1=x_1=(1,1,0)^T. Then

4.2Explanation

Because $⟨u_1,u_1⟩=2\ne 0$\langle u_1,u_1\rangle=2\ne0, division is allowed. Orthogonalization subtracts the component in the $u_1$u_1 direction.

5問題もんだい 4

について、$y$y の $\mathrm{span}\left(u\right)$\operatorname{span}(u) への正射影せいしゃえいを求もとめよ。

5.1解答例かいとうれい

5.2解説かいせつ

射影しゃえいprojectionは、$y$y を $u$u 方向ほうこうの成分せいぶんcomponentと、それに直交ちょっこうorthogonalする残差ざんさに分解ぶんかいする。分母ぶんぼ $⟨u,u⟩$\langle u,u\rangle は $u\ne 0$u\ne0 なら正せいである。もし $u=0$u=0 なら、$\mathrm{span}\left(u\right)$\operatorname{span}(u) は零空間れいくうかんだけであり、この公式こうしきは 0 除算じょさんになるので使つかえない。

5Problem 4

For $y=(2,1{)}^T$y=(2,1)^T and $u=(1,1{)}^T$u=(1,1)^T, find the orthogonal projection of $y$y onto $\mathrm{span}\left(u\right)$\operatorname{span}(u).

5.1Answer example

5.2Explanation

The formula cannot be used for $u=0$u=0 because the denominator would be 0.

6問題もんだい 5

について、$Ax=b$Ax=b の最小二乗解さいしょうにじょうかいを求もとめ、射影しゃえいprojectionとの関係かんけいを説明せつめいせよ。

6.1解答例かいとうれい

正規方程式せいきほうていしきは

である。$A^{T}A=2$A^TA=2、$A^{T}b=2$A^Tb=2 なので $x=1$x=1 である。したがって近似きんじベクトルは

である。

6.2解説かいせつ

$b$b は $\mathrm{Col}\left(A\right)=\mathrm{span}\left(\left(\begin{array}{c}1\\ 1\end{array}\right)\right)$\operatorname{Col}(A)=\operatorname{span}\left(\begin{pmatrix}1\\1\end{pmatrix}\right) に属ぞくさないので、$Ax=b$Ax=b は厳密げんみつには解とけない。最小二乗法さいしょうにじょうほうleast squares methodは、$b$b に最もっとも近ちかい列空間れつくうかんcolumn spaceの点てんを選えらぶ方法ほうほうである。$A^{T}A=2\ne 0$A^TA=2\ne0 なので、この例れいでは正規方程式せいきほうていしきを一意いちいに解とける。

6Problem 5

For $A=(1,1{)}^T$A=(1,1)^T and $b=(2,0{)}^T$b=(2,0)^T, find the least-squares solution最小二乗解さいしょうにじょうかい of $Ax=b$Ax=b and explain the projection relation.

6.1Answer example

The normal equation正規方程式せいきほうていしき is $A^{T}Ax=A^{T}b$A^TAx=A^Tb. Since $A^{T}A=2$A^TA=2 and $A^{T}b=2$A^Tb=2, $x=1$x=1. The approximating vector is

6.2Explanation

The vector $b$b is not in $\mathrm{Col}\left(A\right)$\operatorname{Col}(A), so the least-squares method chooses the closest point in the column space.

7問題もんだい 6

$R^2$\mathbb R^2 で

と定義ていぎする。これらがノルムの条件じょうけんを満みたすことを確認かくにんせよ。

7.1解答例かいとうれい

どちらも値あたいは 0 以上いじょうであり、0 になるのは $x_1=x_2=0$x_1=x_2=0 のときだけである。

スカラーscalar $c$c について

である。

また

である。さらに

が $i=1,2$i=1,2 で成立せいりつするので、

である。

7.2解説かいせつ

ノルムは長ながさの抽象化ちゅうしょうかである。形かたちが標準ひょうじゅんの $\sqrt{x_{1^2}+x_{2^2}}$\sqrt{x_1^2+x_2^2} と違ちがっても、非負性ひふせい、同次性どうじせいhomogeneity、三角不等式さんかくふとうしきを満みたせばノルムである。この問題もんだいは、定義ていぎに戻もどって判定はんていする練習れんしゅうである。

7Problem 6

In $R^2$\mathbb R^2, define

Check that they are norms.

7.1Answer example

Both are nonnegative and vanish only at $0$0. For a scalar $c$c,

Also,

by the scalar triangle inequality, and for $i=1,2$i=1,2,

so $\parallel x+y{\parallel }_{\mathrm{\infty }}\text{[PARSE ERROR: Undefined("Command("le")")]}\parallel x{\parallel }_{\mathrm{\infty }}+\parallel y{\parallel }_{\mathrm{\infty }}$\|x+y\|_\infty\le\|x\|_\infty+\|y\|_\infty.

7.2Explanation

A norm is any length function satisfying nonnegativity, homogeneity同次性どうじせい, and the triangle inequality.

8問題もんだい 7

について、$(u,v)$(u,v) と $(u,w)$(u,w) のそれぞれでコーシー・シュワルツの不等式ふとうしきの等号とうごうが成立せいりつするかを判定はんていせよ。

8.1解答例かいとうれい

$v=2u$v=2u なので、$u$u と $v$v は一次従属いちじじゅうぞくlinear dependenceである。したがって

が成立せいりつする。

一方いっぽう、$w$w は $u$u の定数倍ていすうばいではないので、$u$u と $w$w は一次独立いちじどくりつlinear independenceである。したがって等号とうごうは成立せいりつしない。

8.2解説かいせつ

コーシー・シュワルツの不等式ふとうしきでは、値あたいを計算けいさんするだけでなく、等号成立条件とうごうせいりつじょうけんが重要じゅうようである。等号とうごうは 2 本ほんのベクトルが同おなじ直線ちょくせんの上うえにあるとき、つまり一次従属いちじじゅうぞくlinear dependenceのときに成立せいりつする。

8Problem 7

For $u=(1,2{)}^T$u=(1,2)^T, $v=(2,4{)}^T$v=(2,4)^T, and $w=(1,-1{)}^T$w=(1,-1)^T, decide when equality holds in Cauchy-Schwarz for $(u,v)$(u,v) and $(u,w)$(u,w).

8.1Answer example

Since $v=2u$v=2u, equality holds for $(u,v)$(u,v). Since $w$w is not a scalar multiple of $u$u, equality does not hold for $(u,w)$(u,w).

8.2Explanation

Equality in Cauchy-Schwarz is not just a numerical accident. It occurs exactly when the two vectors lie on the same line, that is, when they are linearly dependent. Here $v=2u$v=2u, so equality holds for $(u,v)$(u,v); $w$w is not a scalar multiple of $u$u, so equality fails for $(u,w)$(u,w).

9問題もんだい 8

とする。$y=(1,2,3{)}^T$y=(1,2,3)^T の $U$U への正射影せいしゃえいを求もとめ、$U^{\perp }$U^\perp の基底きていbasisを 1 つ求もとめよ。

9.1解答例かいとうれい

$u_1=(1,1,0{)}^T$u_1=(1,1,0)^T、$u_2=(1,0,1{)}^T$u_2=(1,0,1)^T とし、射影しゃえいprojectionを $p=a{u}_1+b{u}_2$p=au_1+bu_2 とおく。$y-p$y-p が $u_1,u_2$u_1,u_2 に直交ちょっこうorthogonalするので、

を得える。これを解とくと

である。したがって

である。また $n=(1,-1,-1{)}^T$n=(1,-1,-1)^T は $u_1,u_2$u_1,u_2 の両方りょうほうに直交ちょっこうorthogonalするので、$U^{\perp }$U^\perp の基底きていbasisとして $\left\{n\right\}$\{n\} を取とれる。

9.2解説かいせつ

2 次元じげんdimensionの部分空間ぶぶんくうかんsubspaceへの射影しゃえいprojectionでは、残差ざんさが部分空間ぶぶんくうかんsubspaceのすべての方向ほうこうに直交ちょっこうorthogonalするように係数けいすうcoefficientを決きめる。この問題もんだいは、射影しゃえいprojectionを「近ちかい点てんを探さがす」問題もんだいから、直交条件ちょっこうじょうけんの連立方程式れんりつほうていしきへ変換へんかんする練習れんしゅうである。

9Problem 8

Let

Find the projection of $y=(1,2,3{)}^T$y=(1,2,3)^T onto $U$U and a basis of $U^{\perp }$U^\perp.

9.1Answer example

Let $u_1=(1,1,0{)}^T$u_1=(1,1,0)^T, $u_2=(1,0,1{)}^T$u_2=(1,0,1)^T, and $p=a{u}_1+b{u}_2$p=au_1+bu_2. The condition $y-p\perp u_1,u_2$y-p\perp u_1,u_2 gives

Thus $a=\frac{2}{3}$a=\frac23 and $b=\frac{5}{3}$b=\frac53, so

A vector orthogonal to both generators is $n=(1,-1,-1{)}^T$n=(1,-1,-1)^T, so $\left\{n\right\}$\{n\} is a basis of $U^{\perp }$U^\perp.

9.2Explanation

Projection onto a subspace is found by making the residual orthogonal to every direction in the subspace.

10問題もんだい 9

について、正規方程式せいきほうていしきを解といて最小二乗解さいしょうにじょうかいを求もとめ、残差ざんさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalすることを確認かくにんせよ。

10.1解答例かいとうれい

である。したがって

を解とくと

である。よって最小二乗解さいしょうにじょうかいは $(7/6,1/2{)}^T$(7/6,1/2)^T である。

残差ざんさは

であり、

なので、残差ざんさは列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする。

10.2解説かいせつ

最小二乗法さいしょうにじょうほうleast squares methodでは、$b$b そのものを列空間れつくうかんcolumn spaceに入いれるのではなく、$b$b に最もっとも近ちかい列空間れつくうかんcolumn spaceの点てんを探さがす。残差ざんさが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalすることが、最短距離さいたんきょりになっている理由りゆうである。

10Problem 9

For

solve the normal equations and check residual orthogonality.

10.1Answer example

Solving gives $\alpha =\frac{7}{6}$\alpha=\frac76 and $\beta =\frac{1}{2}$\beta=\frac12. The least-squares solution is $(7/6,1/2{)}^T$(7/6,1/2)^T. The residual is

and $A^{T}r=0$A^Tr=0.

10.2Explanation

The residual is orthogonal to the column space exactly when the approximating point is closest.

11問題もんだい 10

により

と定義ていぎする。これが $R^2$\mathbb R^2 の内積ないせきinner productであることを確認かくにんせよ。

11.1解答例かいとうれい

$M$M は対称行列たいしょうぎょうれつsymmetric matrixなので、

である。また $x=(x_1,x_2{)}^T$x=(x_1,x_2)^T について

であり、これは常つねに 0 以上いじょうで、0 になるのは $x=0$x=0 のときだけである。加法性かほうせいadditivityと同次性どうじせいhomogeneityは行列積ぎょうれつせきの分配法則ぶんぱいほうそくから従したがう。したがって内積ないせきinner productである。

11.2解説かいせつ

標準内積ひょうじゅんないせきだけが内積ないせきinner productではない。正定値せいていちpositive definiteな対称行列たいしょうぎょうれつsymmetric matrixを使つかうと、方向ほうこうごとの重おもみを変かえた内積ないせきinner productを作つくれる。

11Problem 10

For $M=\left(\begin{array}{cc}2& 0\\ 0& 1\end{array}\right)$M=\begin{pmatrix}2&0\\0&1\end{pmatrix}, define $⟨x,y{⟩}_M=x^{T}My$\langle x,y\rangle_M=x^TMy. Confirm this is an inner product.

11.1Answer example

The matrix $M$M is symmetric, and

which is positive for $x\ne 0$x\ne0. Additivity and homogeneity follow from matrix multiplication. Thus it is an inner product.

11.2Explanation

A positive definite symmetric matrix defines a weighted inner product.

12問題もんだい 11

により $x^{T}Ny$x^TNy と定義ていぎしたものが内積ないせきinner productではないことを説明せつめいせよ。

12.1解答例かいとうれい

$e_2=(0,1{)}^T$e_2=(0,1)^T とすると、

である。内積ないせきinner productなら $⟨x,x⟩\text{[PARSE ERROR: Undefined("Command("ge")")]}0$\langle x,x\rangle\ge0 でなければならないので、これは正定値性せいていちせいに反はんする。したがって内積ないせきinner productではない。

12.2解説かいせつ

双線型そうせんけいに見みえる式しきでも、長ながさの二乗にじょうに対応たいおうする $⟨x,x⟩$\langle x,x\rangle が負ふになるなら内積ないせきinner productではない。内積ないせきinner productの判定はんていでは、正定値性せいていちせいの境界例きょうかいれいを必かならず確認かくにんする。

12Problem 11

Explain why $x^{T}Ny$x^TNy with $N=\left(\begin{array}{cc}1& 0\\ 0& -1\end{array}\right)$N=\begin{pmatrix}1&0\\0&-1\end{pmatrix} is not an inner product.

12.1Answer example

For $e_2=(0,1{)}^T$e_2=(0,1)^T,

violating positive definiteness.

12.2Explanation

A bilinear-looking expression is not an inner product if squared length can be negative.

13順序上じゅんじょじょうの注意ちゅうい：複素内積ふくそないせきcomplex inner product

次つぎの問題もんだいは、後続こうぞくの複素内積ふくそないせきcomplex inner productとユニタリ行列ぎょうれつ (unitary matrix) の演習えんしゅうへの先取さきどりである。ここで使つかう最小限さいしょうげんの事実じじつは、複素内積ふくそないせきcomplex inner productでは共役対称性きょうやくたいしょうせいconjugate symmetryにより $⟨z,z⟩$\langle z,z\rangle が 0 以上いじょうの実数じっすうreal numberにならなければならない、という点てんである。

14問題もんだい 12

$\mathbb{C}$\mathbb C で

と定義ていぎしたものが、複素内積ふくそないせきcomplex inner productではないことを説明せつめいせよ。

14.1解答例かいとうれい

$z=i$z=i とすると、

である。複素内積ふくそないせきcomplex inner productなら $⟨z,z⟩$\langle z,z\rangle は 0 以上いじょうの実数じっすうreal numberでなければならない。したがって、この定義ていぎは複素内積ふくそないせきcomplex inner productではない。

14.2解説かいせつ

複素ふくそcomplexの場合ばあいに共役きょうやくを忘わすれると、長ながさの二乗にじょうが負ふになったり複素数ふくそすうcomplex numberになったりする。複素内積ふくそないせきcomplex inner productで共役対称性きょうやくたいしょうせいconjugate symmetryを要求ようきゅうする理由りゆうはここにある。

13Order note: complex inner products

The next problem is a preview of the later exercises on complex inner products複素内積ふくそないせき and unitary matricesユニタリ行列ぎょうれつ. The only fact needed here is this: because of conjugate symmetry共役対称性きょうやくたいしょうせい, a complex inner product must make $⟨z,z⟩$\langle z,z\rangle a nonnegative real number.

14Problem 12

On $\mathbb{C}$\mathbb C, explain why $(z,w)=zw$(z,w)=zw is not a complex inner product複素内積ふくそないせき.

14.1Answer example

Taking $z=i$z=i gives $(i,i)=i^2=-1$(i,i)=i^2=-1. A complex inner product must have $⟨z,z⟩\text{[PARSE ERROR: Undefined("Command("ge")")]}0$\langle z,z\rangle\ge0 real.

14.2Explanation

Complex inner products need conjugation and conjugate symmetry to make squared lengths nonnegative real numbers.

15問題もんだい 13

について、$\parallel u+v\parallel <\parallel u\parallel +\parallel v\parallel$\|u+v\|<\|u\|+\|v\| と $\parallel u+w\parallel =\parallel u\parallel +\parallel w\parallel$\|u+w\|=\|u\|+\|w\| を確認かくにんし、等号とうごうが成立せいりつする場合ばあいと成立せいりつしない場合ばあいの違ちがいを説明せつめいせよ。

である。一方いっぽう、

である。$u$u と $v$v は直交ちょっこうorthogonalしており、同おなじ方向ほうこうを向むいていない。$u$u と $w$w は正せいの定数倍ていすうばいの関係かんけいにあるため、同おなじ向むきの直線上ちょくせんじょうに並ならぶ。

この問題もんだいは、三角不等式さんかくふとうしきtriangle inequalityの境界例きょうかいれいを確認かくにんする。零れいベクトルを除のぞけば、等号とうごうは 2 本ほんのベクトルが正せいの定数倍ていすうばいになっている場合ばあいに現あらわれる。向むきが違ちがう場合ばあいは、折おれ線せんの長ながさが直線距離ちょくせんきょりより長ながくなる。

15Problem 13

For $u=(1,0{)}^T$u=(1,0)^T, $v=(0,1{)}^T$v=(0,1)^T, and $w=(2,0{)}^T$w=(2,0)^T, confirm strict and equality cases of the triangle inequality.

15.1Answer example

while

The first pair points in different directions; the second pair lies on the same positive ray.

This is a boundary case for the triangle inequality三角不等式さんかくふとうしき. Except for zero-vector cases, equality appears when the two vectors are positive scalar multiples of each other. If the directions differ, the broken-line length is longer than the direct distance.

16関連講義かんれんこうぎ

16Related lectures

17関連演習かんれんえんしゅう

17Related exercises

18証明しょうめい演習えんしゅう：Cauchy-Schwarz と射影しゃえいの最小性さいしょうせい

18.1問題もんだい

この証明しょうめい演習えんしゅうでは実内積空間じつないせきくうかんreal inner product spaceに限定げんていする。複素内積ふくそないせきcomplex inner productの場合ばあいは共役きょうやくの位置いちを追おう必要ひつようがあるため、後続こうぞくの複素内積ふくそないせきの演習えんしゅうで扱あつかう。

Cauchy-Schwarz の不等式ふとうしきを証明しょうめいせよ。また、$v-p\perp U$v-p\perp U なら $p\in U$p\in U が $v$v に最もっとも近ちかい点てんであることを証明しょうめいせよ。

18.2解答かいとう

$v\ne 0$v\ne0 のとき、$t=⟨u,v⟩/⟨v,v⟩$t=\langle u,v\rangle/\langle v,v\rangle とおく。$v\ne 0$v\ne0 なので分母ぶんぼは 0 ではない。$0\text{[PARSE ERROR: Undefined("Command("le")")]}\parallel u-tv{\parallel }^2$0\le\|u-tv\|^2 を展開てんかいすると

を得える。

特とくに $u\ne 0$u\ne0 で、$y$y の $\mathrm{span}\left(u\right)$\operatorname{span}(u) への射影しゃえいを

とおくと、$y-p\perp u$y-p\perp u である。任意にんいの $cu\in \mathrm{span}\left(u\right)$cu\in\operatorname{span}(u) について

であり、二ふたつの項こうは直交ちょっこうする。したがって

となり、$p$p が $\mathrm{span}\left(u\right)$\operatorname{span}(u) の中なかで $y$y に最もっとも近ちかい。

つぎに、任意にんいの $q\in U$q\in U について

であり、二ふたつの項こうは直交ちょっこうする。よって

である。

18.3解説かいせつ

Cauchy-Schwarz は内積ないせきを長ながさで評価ひょうかする定理ていりであり、射影しゃえいの最小性さいしょうせいは直交ちょっこうが最短距離さいたんきょりを決きめることを述のべている。

18Proof exercise: Cauchy-Schwarz and projection minimality

18.1Problem

In this proof exercise, work in a real inner product space実内積空間じつないせきくうかん. The complex case requires tracking conjugates and is treated in the later complex inner product exercises.

For an inner product space and a nonzero vector $u$u, prove Cauchy-Schwarz and explain why the projection of $y$y onto $\mathrm{span}\left(u\right)$\operatorname{span}(u) minimizes distance to $y$y. Also prove the general subspace statement: if $p\in U$p\in U and $v-p\perp U$v-p\perp U, then $p$p is the point of $U$U closest to $v$v.

18.2Answer

For $u\ne 0$u\ne0, consider

and choose $t=⟨x,u⟩/⟨u,u⟩$t=\langle x,u\rangle/\langle u,u\rangle. This gives

For projection, write

Then $y-p\perp u$y-p\perp u. For any $cu\in \mathrm{span}\left(u\right)$cu\in\operatorname{span}(u),

and the two summands are orthogonal, so

More generally, let $p\in U$p\in U and assume $v-p\perp U$v-p\perp U. For any $q\in U$q\in U,

Since $p-q\in U$p-q\in U, the two summands are orthogonal. Hence

Therefore $p$p is the closest point in $U$U to $v$v.

18.3Explanation

The same orthogonality idea proves both the inequality and the closest-point property of projections, first for a one-dimensional span and then for an arbitrary subspace.

19補強問題ほきょうもんだい：最小二乗法さいしょうにじょうほうleast squares methodと正規方程式せいきほうていしきnormal equation

19.1問題もんだい 14

実行列じつぎょうれつ $A$A とベクトル $b$b について、$x$x が $Ax\simeq b$Ax\simeq b の最小二乗解さいしょうにじょうかいleast-squares solutionであることと、残差ざんさresidual $r=b-Ax$r=b-Ax が $\mathrm{Col}\left(A\right)$\operatorname{Col}(A) に直交ちょっこうorthogonalすること、すなわち $A^{T}r=0$A^Tr=0 であることが同値どうちequivalentであることを証明しょうめいせよ。

19.2解答例かいとうれい

任意にんいの摂動せつどう $h$h に対たいして、

である。誤差ごさの二乗にじょうは

である。もし $r\perp \mathrm{Col}\left(A\right)$r\perp\operatorname{Col}(A) なら、任意にんいの $h$h について $⟨r,Ah⟩=0$\langle r,Ah\rangle=0 なので、誤差ごさは $\parallel r{\parallel }^2$\|r\|^2 以上いじょうである。逆ぎゃくに、$x$x が誤差ごさを最小さいしょうにするなら、一変数関数いちへんすうかんすう $\parallel r-tAh{\parallel }^2$\|r-tAh\|^2 は $t=0$t=0 で微分係数びぶんけいすう 0 を持もつ。したがって任意にんいの $h$h について $⟨r,Ah⟩=0$\langle r,Ah\rangle=0 であり、これは $A^{T}r=0$A^Tr=0 と同値どうちequivalentである。

19.3解説かいせつ

正規方程式せいきほうていしきnormal equationは、「残差ざんさresidualが列空間れつくうかんcolumn spaceに直交ちょっこうorthogonalする」という幾何的条件きかてきじょうけんの代数的だいすうてきな形かたちである。

19Supplementary proof problem: least squares and normal equations

19.1Problem 14

For a real matrix $A$A and vector $b$b, prove that $x$x is a least-squares solution of $Ax\simeq b$Ax\simeq b if and only if the residual $r=b-Ax$r=b-Ax is orthogonal to $\mathrm{Col}\left(A\right)$\operatorname{Col}(A), equivalently $A^{T}r=0$A^Tr=0.

19.2Answer example

For any perturbation $h$h,

The squared error is

If $r\perp \mathrm{Col}\left(A\right)$r\perp\operatorname{Col}(A), then $⟨r,Ah⟩=0$\langle r,Ah\rangle=0 for every $h$h, so the error is at least $\parallel r{\parallel }^2$\|r\|^2. Conversely, if $x$x minimizes the error, the one-variable function $\parallel r-tAh{\parallel }^2$\|r-tAh\|^2 has derivative 0 at $t=0$t=0 for every $h$h, so $⟨r,Ah⟩=0$\langle r,Ah\rangle=0. This is equivalent to $A^{T}r=0$A^Tr=0.

19.3Explanation

The normal equation is the algebraic form of the geometric condition that the residual points perpendicular to the column space.