二次形式にじけいしきquadratic formと正定値行列せいていちぎょうれつpositive definite matrix

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、二次形式にじけいしきquadratic formは行列ぎょうれつmatrixによって定さだまる二次式にじしきであり、対称行列たいしょうぎょうれつsymmetric matrixの固有値こゆうちeigenvalueを通つうじて符号ふごうを判定はんていできるということである。

固有値こゆうちeigenvalueは、対角化たいかくかdiagonalizationの計算けいさんだけのために存在そんざいする概念がいねんではない。二次形式にじけいしきquadratic formを観察かんさつすると、固有値こゆうちeigenvalueは曲面きょくめんの伸のびや凸性とつせいを支配しはいする量りょうとして確認かくにんできる。

2用語ようごと定義ていぎ

二次形式にじけいしきQuadratic form とは、実正方行列じつせいほうぎょうれつ $$A$$A によって

と定義ていぎされる関数かんすうである。ここで $$x\in R^n$$x\in\mathbb R^n である。

エルミート形式けいしきHermitian form とは、複素ふくそcomplexの場合ばあいに

と書かく量りょうである。ここでは $$A$$A をエルミート行列ぎょうれつHermitian matrixとする。この条件じょうけんにより、$$x^{*}Ax$$x^*Ax は実数じっすうreal numberとして符号ふごうを判定はんていできる。

正定値行列せいていちぎょうれつPositive definite matrix とは、実対称行列じつたいしょうぎょうれつ $$A$$A が任意にんいの $$x\ne 0$$x\ne0 について

を満みたすことである。非負定値ひふていちは $$x^{T}Ax\text{[PARSE ERROR: Undefined("Command("ge")")]}0$$x^TAx\ge0、負定値ふていちは $$x^{T}Ax<0$$x^TAx<0、不定ふていは正せいにも負ふにもなる場合ばあいである。

3方針ほうしん

方針ほうしんは、二次形式にじけいしきquadratic formを直交対角化ちょっこうたいかくかで標準形ひょうじゅんけいに変換へんかんすることである。対称行列たいしょうぎょうれつsymmetric matrix $$A$$A について

と直交対角化ちょっこうたいかくかし、$$y=Q^{T}x$$y=Q^Tx と置換ちかんすると

となる。したがって符号ふごうは固有値こゆうちeigenvalueの符号ふごうに還元かんげんされる。

4直感的ちょっかんてきな説明せつめい

二次形式にじけいしきquadratic formは、方向ほうこうごとに値あたいの増加ぞうかの仕方しかたを測定そくていする装置そうちである。正定値せいていちpositive definiteであれば、原点げんてんからどの方向ほうこうへ移動いどうしても値あたいが正せいになる。これは原点げんてんが谷たにの底そこのように振舞ふるまうことに対応たいおうする。

不定ふていであれば、方向ほうこうによって値あたいが正せいにも負ふにもなる。鞍点あんてんのような形状けいじょうが発生はっせいする。

5厳密げんみつな説明せつめい

5.11. 反対称成分はんたいしょうせいぶんは二次形式にじけいしきquadratic formに寄与きよしない

任意にんいの実正方行列じつせいほうぎょうれつ $$A$$A について

と分解ぶんかいできる。$$S=(A+A^T)/2$$S=(A+A^T)/2 は対称行列たいしょうぎょうれつsymmetric matrix、$$K=(A-A^T)/2$$K=(A-A^T)/2 は反対称行列はんたいしょうぎょうれつである。反対称行列はんたいしょうぎょうれつについては

であるため、

である。したがって二次形式にじけいしきquadratic formでは対称部分たいしょうぶぶんだけを考察こうさつすれば十分じゅうぶんである。

5.22. 正定値性せいていちせいと固有値こゆうちeigenvalue

$A$A を実対称行列じつたいしょうぎょうれつとする。このとき次つぎは同値どうちequivalentである。

理由りゆうは直交対角化ちょっこうたいかくかである。$A=QD{Q}^T$A=QDQ^T、$y=Q^{T}x$y=Q^Tx とすると

である。すべての ${\lambda }_i$\lambda_i が正せいなら、$x\ne 0$x\ne0 すなわち $y\ne 0$y\ne0 に対たいして $x^{T}Ax>0$x^TAx>0 である。逆ぎゃくに、ある ${\lambda }_i<0$\lambda_i<0 なら、その固有方向こゆうほうこうで値あたいは負ふになる。

境界きょうかいとして、ある ${\lambda }_i=0$\lambda_i=0 の場合ばあいも確認かくにんしておく。このとき、その固有値こゆうちeigenvalueに対応たいおうする単位たんい固有ベクトルeigenvectorを $q_i$q_i とすれば、$q_i\ne 0$q_i\ne0 であるにもかかわらず

となる。したがって $A$A は正定値せいていちpositive definiteではない。つまり「${\lambda }_i\text{[PARSE ERROR: Undefined("Command("ge")")]}0$\lambda_i\ge 0」では正定値せいていちpositive definiteには不足ふそくであり、すべての固有値こゆうちeigenvalueが正せいであること、すなわち ${\lambda }_i>0$\lambda_i>0 が必要ひつようである。

5.33. シルベスター判定法はんていほう

実対称行列じつたいしょうぎょうれつ $$A$$A について、左上ひだりうえからの主小行列式しゅしょうぎょうれつしきがすべて正せいであることは、$$A$$A が正定値せいていちpositive definiteであることと同値どうちequivalentである。

この判定法はんていほうは計算上けいさんじょう有用ゆうようである。ただし、本質ほんしつは固有値こゆうちeigenvalueの符号ふごうによる判定はんていである。

5.44. シルベスターの慣性法則かんせいほうそく

実対称行列じつたいしょうぎょうれつ $$A$$A に対たいして、可逆かぎゃくinvertibleな変数変換へんすうへんかん $$x=Py$$x=Py を行おこなうと

となる。このような変換へんかんを合同変換ごうどうへんかんという。対角化たいかくかdiagonalizationによって二次形式にじけいしきquadratic formを

のような形かたちへ整理せいりしても、正せいの平方項へいほうこうの個数こすう $$p$$p、負ふの平方項へいほうこうの個数こすう $$q$$q、0 の個数こすうは変化へんかしない。これをシルベスターの慣性法則かんせいほうそくという。この不変量ふへんりょうにより、二次形式にじけいしきquadratic formの符号構造ふごうこうぞうは座標選択ざひょうせんたくに依存いぞんしない。

6具体例ぐたいていれい

とする。二次形式にじけいしきquadratic formは

である。この行列ぎょうれつmatrixの固有値こゆうちeigenvalueは $$3,1$$3,1 であり、どちらも正せいである。したがって $$A$$A は正定値せいていちpositive definiteである。

直交対角化ちょっこうたいかくかした座標ざひょうでは

となる。交差項こうさこう $$2x_1{x}_2$$2x_1x_2 は、主軸しゅじくに沿そった座標ざひょうへ変換へんかんすると消去しょうきょされる。

7ヘッセ行列ぎょうれつmatrixによる極値判定きょくちはんてい

二次形式にじけいしきquadratic formは、多変数関数たへんすうかんすうの二階微分にかいびぶんとも関係かんけいする。点てん $$a$$a が停留点ていりゅうてん、すなわち $$\nabla f\left(a\right)=0$$\nabla f(a)=0 を満みたすとき、ヘッセ行列ぎょうれつmatrix $$H_f\left(a\right)$$H_f(a) が正定値せいていちpositive definiteなら $$a$$a は狭義局所最小点きょうぎきょくしょさいしょうてんである。負定値ふていちなら狭義局所最大点きょうぎきょくしょさいだいてんであり、不定ふていなら鞍点あんてんになる。停留点ていりゅうてんであることを仮定かていしない場合ばあい、ヘッセ行列ぎょうれつmatrixの正定値性せいていちせいだけでは局所極値きょくしょきょくちを結論けつろんできない。

8判定基準はんていきじゅん

• 二次形式にじけいしきquadratic formでは、対称部分たいしょうぶぶんだけが寄与きよする。
• 実対称行列じつたいしょうぎょうれつの正定値性せいていちせいは、すべての固有値こゆうちeigenvalueが正せいであることと同値どうちequivalentである。
• 非負定値ひふていちは、すべての固有値こゆうちeigenvalueが 0 以上いじょうであることと同値どうちequivalentである。
• 不定ふていは、正せいの固有値こゆうちeigenvalueと負ふの固有値こゆうちeigenvalueが混在こんざいする状態じょうたいである。
• 停留点ていりゅうてんでは、ヘッセ行列ぎょうれつmatrixの正定値性せいていちせいが狭義局所最小きょうぎきょくしょさいしょうの十分条件じゅうぶんじょうけんになる。

9どこまで成立せいりつするか

固有値こゆうちeigenvalueで正定値性せいていちせいを判定はんていする議論ぎろんは、対称行列たいしょうぎょうれつsymmetric matrixまたはエルミート行列ぎょうれつmatrixを基本対象きほんたいしょうにする。一般いっぱんの非対称行列ひたいしょうぎょうれつでは、二次形式にじけいしきquadratic formに寄与きよするのは対称部分たいしょうぶぶんである。

複素ふくそcomplexでは $$x^{T}Ax$$x^TAx ではなく $$x^{*}Ax$$x^*Ax を使つかう。エルミート行列ぎょうれつHermitian matrixでない $$A$$A に対たいしては、$$x^{*}Ax$$x^*Ax が一般いっぱんに複素数ふくそすうcomplex numberになり、正せい・負ふという判定はんていがそのままでは意味いみを持もたない。

10最終形さいしゅうけい

11一言ひとことでいうと

• 二次形式にじけいしきquadratic formは、対称行列たいしょうぎょうれつsymmetric matrixの固有値こゆうちeigenvalueによって符号ふごうと形状けいじょうを判定はんていできる二次式にじしきである。

12定理ていり：正定値性せいていちせいの同値条件どうちじょうけん

$$A$$A を実対称行列じつたいしょうぎょうれつとする。次つぎは同値どうちequivalentである。

• $$A$$A は正定値せいていちpositive definiteである。
• すべての固有値こゆうちeigenvalueが正せいである。
• 直交対角化ちょっこうたいかくか $$A=QD{Q}^T$$A=QDQ^T において、$$D$$D の対角成分たいかくせいぶんがすべて正せいである。
• すべての左上ひだりうえの主小行列式しゅしょうぎょうれつしきが正せいである（シルベスター判定法はんていほう）。

証明しょうめいの中心ちゅうしんは直交対角化ちょっこうたいかくかである。$$A=QD{Q}^T$$A=QDQ^T、$$y=Q^{T}x$$y=Q^Tx とすれば、$$Q$$Q は長ながさを保たもつので $$x\ne 0⟺y\ne 0$$x\ne0\iff y\ne0 であり、

である。すべての $${\lambda }_i>0$$\lambda_i>0 なら右辺うへんは $$y\ne 0$$y\ne0 で正せいになる。逆ぎゃくに $${\lambda }_j\text{[PARSE ERROR: Undefined("Command("le")")]}0$$\lambda_j\le0 なら、$$y=e_j$$y=e_j を取とることで $$x^{T}Ax\text{[PARSE ERROR: Undefined("Command("le")")]}0$$x^TAx\le0 となり、正定値せいていちpositive definiteではない。

13境界例きょうかいれい：非負定値ひふていちと正定値せいていちの違ちがい

では

である。しかし $$x=(0,1{)}^T\ne 0$$x=(0,1)^T\ne0 に対たいして $$x^{T}Ax=0$$x^TAx=0 なので、$$A$$A は非負定値ひふていちだが正定値せいていちpositive definiteではない。正定値せいていちでは、0 でない方向ほうこうが平たいらに残のこってはいけない。

では $$x^{T}Bx=x_{1^2}-x_{2^2}$$x^TBx=x_1^2-x_2^2 であり、方向ほうこうによって正せいにも負ふにもなる。したがって $$B$$B は不定ふていである。

14$$2\times 2$$2\times2 行列ぎょうれつの実用判定じつようはんてい

が実対称じつたいしょうなら、シルベスター判定法はんていほうにより

である。これは計算けいさんでは便利べんりだが、幾何学的きかがくてきには「主軸方向しゅじくほうこうの伸のびがすべて正せい」という固有値こゆうちeigenvalueの条件じょうけんを別形式べつけいしきで表あらわしたものである。

15最適化さいてきかでの注意ちゅうい

二階微分にかいびぶんの判定はんていでは、停留点ていりゅうてん $$\nabla f\left(a\right)=0$$\nabla f(a)=0 であることが重要じゅうようである。たとえばヘッセ行列ぎょうれつmatrixが正定値せいていちpositive definiteでも、勾配こうばいが 0 でなければ、その点てんを局所最小きょくしょさいしょうとは結論けつろんできない。正定値せいていちなヘッセ行列ぎょうれつは「その点てんの周まわりで上うえに開ひらく二次近似にじきんじ」を意味いみするが、一次項いちじこうが残のこっていると点てんそのものは谷底たにぞこではない。

16演習えんしゅうリンク

17関連かんれんリンク