接平面・連鎖律・Jacobian
mathmultivariable-calculusjacobianlinearizationlecture
1導入
この講義では、Jacobian 行列を「偏微分を並べた表」で終わらせないことを説明する。
Jacobian 行列は、多変数写像を一点の近くで線型化したときに現れる線型写像の行列表現である。
ただし、ここで注意がある。もとの写像 F が非線型なら、F 全体を線型作用素とみなしてはいけない。固定した点 a における微分 DF(a) だけが、増分 h に作用する線型写像である。
この区別が、多変数微積分、線型作用素、微分方程式の接続で重要になる。
data/lecture/math/linear-operator/proving-operator-linearity.lecture.n.md
2なぜ Jacobian 行列を考えるのか
一変数の関数では、x=a の近くで
f(a+h)\approx f(a)+f'(a)h
と見る。この式の意味は、複雑な曲線を、点 a の近くでは接線で近似するということである。
多変数でも同じことをしたい。つまり、a から少しだけ動いた量 h に対して、
F(a+h)-F(a)
を、できるだけ簡単な線型写像で近似したい。この線型写像が DF(a) であり、その行列が Jacobian 行列である。
したがって、Jacobian 行列を使う理由は、多変数写像の局所的な変化を、線型代数で扱える形にするためである。
3用語と設定
F:\mathbb R^n\to\mathbb R^m を
F(x_1,\ldots,x_n)=
\begin{pmatrix}
F_1(x_1,\ldots,x_n)\\
\vdots\\
F_m(x_1,\ldots,x_n)
\end{pmatrix}
と書く。
3.1Jacobian 行列
F の Jacobian 行列は
J_F(x)=
\begin{pmatrix}
\dfrac{\partial F_1}{\partial x_1}(x) & \cdots & \dfrac{\partial F_1}{\partial x_n}(x)\\
\vdots & \ddots & \vdots\\
\dfrac{\partial F_m}{\partial x_1}(x) & \cdots & \dfrac{\partial F_m}{\partial x_n}(x)
\end{pmatrix}
である。これは m\times n 行列である。入力の変数が n 個、出力の成分が m 個あるからである。
ここでいう行列表現とは、線型写像に基底を選んで行列を対応させることである。このページでは、\mathbb R^n の標準基底
e_1=(1,0,\ldots,0),\quad \ldots,\quad e_n=(0,\ldots,0,1)
を使う。標準基底とは、各座標軸の方向を表す基本ベクトルである。
3.2微分 DF(a)
F が点 a\in\mathbb R^n で微分可能であるとは、ある線型写像
DF(a):\mathbb R^n\to\mathbb R^m
が存在して、
F(a+h)=F(a)+DF(a)h+r(h),
\qquad
\frac{\|r(h)\|}{\|h\|}\to0\quad(h\to0)
と書けることである。ここで r(h) は、h に比べて十分に小さい誤差である。
記号 \|h\| はベクトル h の長さを表す。この長さを使って、r(h) が h より高次に小さいことを
r(h)=o(\|h\|)
と書くこともある。
この定義では、最初から DF(a) が線型写像として現れる。Jacobian 行列は、この DF(a) を標準基底で表した行列である。
4命題 1:Jacobian 行列は点での線型写像を表す
4.1仮定
F:\mathbb R^n\to\mathbb R^m が点 a で微分可能であり、Jacobian 行列 J_F(a) を持つとする。
4.2結論
L_a:\mathbb R^n\to\mathbb R^m,\qquad L_a(h)=J_F(a)h
で定義される写像 L_a は線型である。また、F(a+h) の一次近似は
F(a+h)\approx F(a)+J_F(a)h
である。
4.3証明
h,k\in\mathbb R^n、\alpha,\beta\in\mathbb R とする。行列による写像は線型なので、
\begin{aligned}
L_a(\alpha h+\beta k)
&=J_F(a)(\alpha h+\beta k)\\
&=\alpha J_F(a)h+\beta J_F(a)k\\
&=\alpha L_a(h)+\beta L_a(k).
\end{aligned}\begin{aligned}
L_a(\alpha h+\beta k)
&=J_F(a)(\alpha h+\beta k)\\
&=\alpha J_F(a)h+\beta J_F(a)k\\
&=\alpha L_a(h)+\beta L_a(k).
\end{aligned}
したがって L_a は線型である。
また、微分可能性の定義より
F(a+h)=F(a)+DF(a)h+r(h),
\qquad
\frac{\|r(h)\|}{\|h\|}\to0
である。DF(a) の行列表現が J_F(a) なので、
DF(a)h=J_F(a)h
である。よって一次近似は
F(a+h)\approx F(a)+J_F(a)h
で与えられる。□
5接平面は一出力の場合の一次近似
f:\mathbb R^2\to\mathbb R を考える。この場合、Jacobian 行列は
J_f(a,b)=
\begin{pmatrix}
f_x(a,b) & f_y(a,b)
\end{pmatrix}
である。したがって
f(a+s,b+t)\approx f(a,b)+f_x(a,b)s+f_y(a,b)t
である。x=a+s,\ y=b+t と書き直すと、
z=f(a,b)+f_x(a,b)(x-a)+f_y(a,b)(y-b)
となる。これが z=f(x,y) の点 (a,b) における接平面である。
5.1具体例
f(x,y)=x^2+y^2
とする。このとき
f_x(x,y)=2x,\qquad f_y(x,y)=2y
である。(1,2) では
f(1,2)=5,\qquad f_x(1,2)=2,\qquad f_y(1,2)=4
だから、接平面は
z=5+2(x-1)+4(y-2)
である。
この式は曲面そのものではない。点 (1,2) の近くで、曲面を線型な式で近似したものである。
6命題 2:連鎖律は線型近似の合成である
6.1仮定
F:\mathbb R^n\to\mathbb R^m が点 a で微分可能、G:\mathbb R^m\to\mathbb R^\ell が点 F(a) で微分可能であるとする。
6.2結論
J_{G\circ F}(a)=J_G(F(a))J_F(a)
である。
6.3証明
A=DF(a)、B=DG(F(a)) とおく。微分可能性の定義より、
F(a+h)=F(a)+Ah+r_F(h),
\qquad
r_F(h)=o(\|h\|)
である。また、u\to0 のとき
G(F(a)+u)=G(F(a))+Bu+r_G(u),
\qquad
r_G(u)=o(\|u\|)
である。
ここで
u=Ah+r_F(h)
とおくと、h\to0 のとき u\to0 である。したがって
\begin{aligned}
G(F(a+h))
&=G(F(a)+Ah+r_F(h))\\
&=G(F(a))+B(Ah+r_F(h))+r_G(Ah+r_F(h))\\
&=G(F(a))+BAh+\{Br_F(h)+r_G(Ah+r_F(h))\}.
\end{aligned}\begin{aligned}
G(F(a+h))
&=G(F(a)+Ah+r_F(h))\\
&=G(F(a))+B(Ah+r_F(h))+r_G(Ah+r_F(h))\\
&=G(F(a))+BAh+\{Br_F(h)+r_G(Ah+r_F(h))\}.
\end{aligned}
残った括弧の中が o(\|h\|) であることを確認する。まず r_F(h)=o(\|h\|) なので、Br_F(h)=o(\|h\|) である。行列 B による写像は、長さをある定数倍までに抑えるからである。
また、Ah+r_F(h)=O(\|h\|) であり、r_G(u)=o(\|u\|) だから、
r_G(Ah+r_F(h))=o(\|h\|)
である。よって
G(F(a+h))=G(F(a))+BAh+o(\|h\|)
である。これは G\circ F の微分が BA であることを意味する。したがって
D(G\circ F)(a)=DG(F(a))DF(a)
であり、標準基底で行列表示すれば
J_{G\circ F}(a)=J_G(F(a))J_F(a)
である。□
この証明の要点は、近似を感覚的に合成しただけではなく、残りの誤差も h に比べて小さいままであることを確認した点である。
data/lecture/math/linear-operator/introduction-to-linear-operators.lecture.n.md
7具体例:Jacobian 行列を計算する
F(x,y)=
\begin{pmatrix}
x^2y\\
\sin(x+y)
\end{pmatrix}
とする。このとき
J_F(x,y)=
\begin{pmatrix}
2xy & x^2\\
\cos(x+y) & \cos(x+y)
\end{pmatrix}
である。(1,0) では
J_F(1,0)=
\begin{pmatrix}
0 & 1\\
\cos 1 & \cos 1
\end{pmatrix}
である。
したがって (1,0) の近くで、h=(s,t)^T と置くと、
F((1,0)+h)\approx F(1,0)+J_F(1,0)h
である。つまり
F(1+s,t)\approx
\begin{pmatrix}
0\\
\sin 1
\end{pmatrix}
+
\begin{pmatrix}
t\\
\cos 1(s+t)
\end{pmatrix}
である。
この近似では、F の非線型な振る舞いを、点 (1,0) の近くだけで線型写像 h\mapsto J_F(1,0)h に置き換えている。
9変数変換での使い方
多重積分の変数変換では、Jacobian 行列の行列式が現れる。
写像
\Phi(u,v)=(x(u,v),y(u,v))
が小さい長方形を平面上へ送るとき、その面積は近似的に
\left|\det J_\Phi(u,v)\right|
倍される。つまり Jacobian 行列式は、局所的な面積倍率である。
data/lecture/math/multivariable-calculus/multiple-integrals-and-change-of-variables.lecture.n.md
10線型作用素との関係
F:\mathbb R^n\to\mathbb R^m が最初から線型写像なら、ある行列 A によって
F(x)=Ax
と書ける。この場合、どの点 a でも
J_F(a)=A
である。つまり、線型写像では局所近似と全体の写像が一致する。
一方、F が非線型なら、J_F(a) は点 a によって変わる。この場合、線型なのは
h\mapsto J_F(a)h
であって、x\mapsto F(x) 全体ではない。この区別を忘れると、非線型問題を線型作用素方程式として誤って扱うことになる。
11どこまで成立するか
Jacobian 行列が書けることと、微分可能であることは同じではない。偏微分が存在しても、一次近似として正しく働くとは限らない。
このページでは、F が微分可能である場合を前提にした。より詳しくは、偏微分の連続性、逆関数定理、陰関数定理などで条件を補う。
また、\det J_F(a)\ne0 だからといって、大域的に一対一であるとは言えない。それは点 a の近くで局所的に逆写像を考えられる、という型の主張である。