内積・直交・射影-基本演習
mathlinear-algebraexerciseinner-productprojectionleast-squares
演習方針
内積は、ベクトル空間に長さと角度を入れる道具である。射影は「届かない点を、部分空間の中で最も近い点へ落とす」操作である。この演習では、計算の前に直交性と零ベクトルの扱いを確認する。
問題 1
u=\begin{pmatrix}1\\2\end{pmatrix},
\qquad
v=\begin{pmatrix}3\\-1\end{pmatrix}
について、\langle u,v\rangle、\|u\|、\|v\| を求め、u と v が直交するかを判定せよ。
解答例
○
\langle u,v\rangle=1\cdot3+2(-1)=1
\|u\|=\sqrt{1^2+2^2}=\sqrt5,
\qquad
\|v\|=\sqrt{3^2+(-1)^2}=\sqrt{10}
\langle u,v\rangle\ne0 なので直交しない。
解説
内積が 0 であることは、角度が直角であることを表す。ここでは値が 1 なので、完全には直交していない。直交性は成分の見た目ではなく、内積で判定する。
問題 2
a=\begin{pmatrix}1\\0\end{pmatrix},
\qquad
b=\begin{pmatrix}2\\0\end{pmatrix}
について、\|a+b\|=\|a\|+\|b\| が成り立つことを確認し、なぜ等号が成り立つかを説明せよ。
解答例
○
\|a+b\|=\left\|\begin{pmatrix}3\\0\end{pmatrix}\right\|=3
また \|a\|=1、\|b\|=2 なので、
\|a+b\|=3=\|a\|+\|b\|
である。a と b は同じ向きなので等号が成り立つ。
解説
三角不等式は、遠回りしても直線距離より短くならないことを表す。等号が成り立つのは、2 本のベクトルが同じ方向を向く境界例である。不等式では等号成立条件まで確認する。
問題 3
x_1=\begin{pmatrix}1\\1\\0\end{pmatrix},
\qquad
x_2=\begin{pmatrix}1\\0\\1\end{pmatrix}
に Gram-Schmidt の直交化を行え。
解答例
○
まず
u_1=x_1=\begin{pmatrix}1\\1\\0\end{pmatrix}
とする。つぎに
u_2=x_2-\frac{\langle x_2,u_1\rangle}{\langle u_1,u_1\rangle}u_1
=
\begin{pmatrix}1\\0\\1\end{pmatrix}
-
\frac{1}{2}
\begin{pmatrix}1\\1\\0\end{pmatrix}
=
\begin{pmatrix}\frac12\\-\frac12\\1\end{pmatrix}
である。
解説
射影係数では \langle u_1,u_1\rangle で割るため、u_1\ne0 の確認が必要である。ここでは \langle u_1,u_1\rangle=2\ne0 なので割ってよい。直交化は、x_2 から u_1 方向の成分を引き、u_1 に垂直な残差を取り出す操作である。
問題 4
y=\begin{pmatrix}2\\1\end{pmatrix},
\qquad
u=\begin{pmatrix}1\\1\end{pmatrix}
について、y の \operatorname{span}(u) への正射影を求めよ。
解答例
○
\operatorname{proj}_{u}y
=
\frac{\langle y,u\rangle}{\langle u,u\rangle}u
=
\frac{3}{2}
\begin{pmatrix}1\\1\end{pmatrix}
=
\begin{pmatrix}\frac32\\\frac32\end{pmatrix}
解説
射影は、y を u 方向の成分と、それに直交する残差に分解する。分母 \langle u,u\rangle は u\ne0 なら正である。もし u=0 なら、\operatorname{span}(u) は零空間だけであり、この公式は 0 除算になるので使えない。
問題 5
A=
\begin{pmatrix}
1\\
1
\end{pmatrix},
\qquad
b=
\begin{pmatrix}
2\\
0
\end{pmatrix}
について、Ax=b の最小二乗解を求め、射影との関係を説明せよ。
解答例
○
正規方程式は
A^TAx=A^Tb
である。A^TA=2、A^Tb=2 なので x=1 である。したがって近似ベクトルは
Ax=
\begin{pmatrix}
1\\
1
\end{pmatrix}
である。
解説
b は \operatorname{Col}(A)=\operatorname{span}\left(\begin{pmatrix}1\\1\end{pmatrix}\right) に属さないので、Ax=b は厳密には解けない。最小二乗法は、b に最も近い列空間の点を選ぶ方法である。A^TA=2\ne0 なので、この例では正規方程式を一意に解ける。
問題 6
\mathbb R^2 で
\|x\|_1=|x_1|+|x_2|,
\qquad
\|x\|_\infty=\max\{|x_1|,|x_2|\}
と定義する。これらがノルムの条件を満たすことを確認せよ。
解答例
○
どちらも値は 0 以上であり、0 になるのは x_1=x_2=0 のときだけである。
スカラー c について
\|cx\|_1=|c|\,\|x\|_1,\qquad
\|cx\|_\infty=|c|\,\|x\|_\infty
である。
また
\|x+y\|_1
=|x_1+y_1|+|x_2+y_2|
\le |x_1|+|y_1|+|x_2|+|y_2|
=\|x\|_1+\|y\|_1
である。さらに
|x_i+y_i|\le |x_i|+|y_i|\le \|x\|_\infty+\|y\|_\infty
が i=1,2 で成り立つので、
\|x+y\|_\infty\le \|x\|_\infty+\|y\|_\infty
である。
解説
ノルムは長さの抽象化である。形が標準の \sqrt{x_1^2+x_2^2} と違っても、非負性、同次性、三角不等式を満たせばノルムである。この問題は、定義に戻って判定する練習である。
問題 7
u=\begin{pmatrix}1\\2\end{pmatrix},
\qquad
v=\begin{pmatrix}2\\4\end{pmatrix},
\qquad
w=\begin{pmatrix}1\\-1\end{pmatrix}
について、(u,v) と (u,w) のそれぞれでコーシー・シュワルツの不等式の等号が成り立つかを判定せよ。
解答例
○
v=2u なので、u と v は一次従属である。したがって
|\langle u,v\rangle|=\|u\|\|v\|
が成り立つ。
一方、w は u の定数倍ではないので、u と w は一次独立である。したがって等号は成り立たない。
解説
コーシー・シュワルツの不等式では、値を計算するだけでなく、等号成立条件が重要である。等号は 2 本のベクトルが同じ直線の上にあるとき、つまり一次従属のときに成り立つ。
問題 8
U=\operatorname{span}\left\{
\begin{pmatrix}1\\1\\0\end{pmatrix},
\begin{pmatrix}1\\0\\1\end{pmatrix}
\right\}
とする。y=(1,2,3)^T の U への正射影を求め、U^\perp の基底を 1 つ求めよ。
解答例
○
u_1=(1,1,0)^T、u_2=(1,0,1)^T とし、射影を p=au_1+bu_2 とおく。y-p が u_1,u_2 に直交するので、
2a+b=3,\qquad a+2b=4
を得る。これを解くと
a=\frac23,\qquad b=\frac53
である。したがって
p=\frac23u_1+\frac53u_2
=
\begin{pmatrix}
\frac73\\
\frac23\\
\frac53
\end{pmatrix}
である。また n=(1,-1,-1)^T は u_1,u_2 の両方に直交するので、U^\perp の基底として \{n\} を取れる。
解説
2 次元の部分空間への射影では、残差が部分空間のすべての方向に直交するように係数を決める。この問題は、射影を「近い点を探す」問題から、直交条件の連立方程式へ変換する練習である。
問題 9
A=
\begin{pmatrix}
1&0\\
1&1\\
1&2
\end{pmatrix},
\qquad
b=
\begin{pmatrix}
1\\
2\\
2
\end{pmatrix}
について、正規方程式を解いて最小二乗解を求め、残差が列空間に直交することを確認せよ。
解答例
○
A^TA=
\begin{pmatrix}
3&3\\
3&5
\end{pmatrix},
\qquad
A^Tb=
\begin{pmatrix}
5\\
6
\end{pmatrix}
である。したがって
\begin{pmatrix}
3&3\\
3&5
\end{pmatrix}
\begin{pmatrix}\alpha\\\beta\end{pmatrix}
=
\begin{pmatrix}
5\\
6
\end{pmatrix}
を解くと
\alpha=\frac76,\qquad \beta=\frac12
である。よって最小二乗解は (7/6,1/2)^T である。
残差は
r=b-A\begin{pmatrix}\frac76\\\frac12\end{pmatrix}
=
\begin{pmatrix}
-\frac16\\
\frac13\\
-\frac16
\end{pmatrix}
であり、
A^Tr=
\begin{pmatrix}
0\\
0
\end{pmatrix}
なので、残差は列空間に直交する。
解説
最小二乗法では、b そのものを列空間に入れるのではなく、b に最も近い列空間の点を探す。残差が列空間に直交することが、最短距離になっている理由である。
問題 10
M=
\begin{pmatrix}
2&0\\
0&1
\end{pmatrix}
により
\langle x,y\rangle_M=x^TMy
と定義する。これが \mathbb R^2 の内積であることを確認せよ。
解答例
○
M は対称行列なので、
\langle x,y\rangle_M=\langle y,x\rangle_M
である。また x=(x_1,x_2)^T について
\langle x,x\rangle_M=2x_1^2+x_2^2
であり、これは常に 0 以上で、0 になるのは x=0 のときだけである。加法性と同次性は行列積の分配法則から従う。したがって内積である。
解説
標準内積だけが内積ではない。正定値な対称行列を使うと、方向ごとの重みを変えた内積を作れる。
問題 11
N=
\begin{pmatrix}
1&0\\
0&-1
\end{pmatrix}
により x^TNy と定義したものが内積ではないことを説明せよ。
解答例
○
e_2=(0,1)^T とすると、
e_2^TNe_2=-1
である。内積なら \langle x,x\rangle\ge0 でなければならないので、これは正定値性に反する。したがって内積ではない。
解説
双線型に見える式でも、長さの二乗に対応する \langle x,x\rangle が負になるなら内積ではない。内積の判定では、正定値性の境界例を必ず確認する。
問題 12
\mathbb C で
(z,w)=zw
と定義したものが、複素内積ではないことを説明せよ。
解答例
○
z=i とすると、
(i,i)=i^2=-1
である。複素内積なら \langle z,z\rangle は 0 以上の実数でなければならない。したがって、この定義は複素内積ではない。
解説
複素の場合に共役を忘れると、長さの二乗が負になったり複素数になったりする。複素内積で共役対称性を要求する理由はここにある。
問題 13
u=\begin{pmatrix}1\\0\end{pmatrix},
\qquad
v=\begin{pmatrix}0\\1\end{pmatrix},
\qquad
w=\begin{pmatrix}2\\0\end{pmatrix}
について、\|u+v\|<\|u\|+\|v\| と \|u+w\|=\|u\|+\|w\| を確認し、等号が成り立つ場合と成り立たない場合の違いを説明せよ。
○
\|u+v\|
=
\left\|\begin{pmatrix}1\\1\end{pmatrix}\right\|
=
\sqrt2
<
2
=
\|u\|+\|v\|
である。一方、
\|u+w\|
=
\left\|\begin{pmatrix}3\\0\end{pmatrix}\right\|
=3
=
\|u\|+\|w\|
である。u と v は直交しており、同じ方向を向いていない。u と w は正の定数倍の関係にあるため、同じ向きの直線上に並ぶ。
この問題は、三角不等式の境界例を確認する。零ベクトルを除けば、等号は 2 本のベクトルが正の定数倍になっている場合に現れる。向きが違う場合は、折れ線の長さが直線距離より長くなる。