固有値こゆうちeigenvalueと固有ベクトルeigenvector

Eigenvalues固有値こゆうち and eigenvectors固有こゆうベクトル

1導入どうにゅう

この講義こうぎでは、固有値こゆうちeigenvalue・固有ベクトルeigenvectorとは「線型変換せんけいへんかんlinear transformationの中なかで向むきが変かわらない方向ほうこう（固有ベクトルeigenvector）とその伸縮率しんしゅくりつ（固有値こゆうちeigenvalue）」であり、変換へんかんの本質的ほんしつてきな構造こうぞうstructureをもっとも単純たんじゅんな基底きていbasisで表あらわすという観点かんてんである。

「特性方程式とくせいほうていしきを解とく技術ぎじゅつ」として扱あつかうと、「なぜ $\det (A-\lambda I)=0$\det(A - \lambda I) = 0 なのか」「代数的重複度だいすうてきちょうふくどと幾何的重複度きかてきちょうふくどの違ちがいとは何なにか」が不明瞭ふめいりょうになる。変換へんかんが「向むきを変かえない方向ほうこう」を持もつ条件じょうけんから出発しゅっぱつすると、すべてが自然しぜんに導みちびかれる。

1Introduction

The central idea of this lecture is that an eigenvalue固有値こゆうち and an eigenvector固有こゆうベクトル describe a direction that a linear transformation線型変換せんけいへんかん does not turn, together with the scale factor on that direction. This is the starting point for expressing the essential structure構造こうぞう of a transformation in the simplest possible basis基底きてい.

If eigenvalues are treated only as roots of a characteristic equation, the reasons behind $\det (A-\lambda I)=0$\det(A-\lambda I)=0 and the distinction between algebraic and geometric multiplicity become unclear. Starting from the condition that a transformation preserves a direction makes the determinant condition, multiplicities, diagonalization, and applications follow naturally.

2用語ようごと定義ていぎ

2.1固有値こゆうちEigenvalueと固有こゆうベクトルEigenvector

$A$A を $n$n 次じ正方行列せいほうぎょうれつsquare matrixとするとき、$v\ne 0$v \neq 0 かつ

を満みたすスカラー $\lambda$\lambda を固有値こゆうちEigenvalue、$v$v を対応たいおうする固有こゆうベクトルEigenvectorという。

2.2特性多項式とくせいたこうしきCharacteristic polynomial

を $A$A の特性多項式とくせいたこうしきCharacteristic polynomialという。$n$n 次じ多項式たこうしきであり、固有値こゆうちeigenvalueは $p\left(\lambda \right)=0$p(\lambda) = 0 の解かいである。

2Terms and definitions

2.1Eigenvalue固有値こゆうち and eigenvector固有こゆうベクトル

Let $A$A be an $n$n by $n$n square matrix正方行列せいほうぎょうれつ. A scalar $\lambda$\lambda is an eigenvalue固有値こゆうち of $A$A if there exists a nonzero vector $v$v such that

The nonzero vector $v$v is an eigenvector固有こゆうベクトル corresponding to $\lambda$\lambda.

2.2Characteristic polynomial特性多項式とくせいたこうしき

The polynomial

is called the characteristic polynomial特性多項式とくせいたこうしき of $A$A. It has degree $n$n, and the eigenvalues固有値こゆうち are precisely the roots of $p\left(\lambda \right)=0$p(\lambda)=0 over the field being considered.

3方針ほうしん

1. $Av=\lambda v$Av = \lambda v を $\det (A-\lambda I)=0$\det(A - \lambda I) = 0 へ翻訳ほんやくする論理ろんりを確認かくにんする
2. 代数的重複度だいすうてきちょうふくどと幾何的重複度きかてきちょうふくどの差さが対角化可能性たいかくかかのうせいを決きめる
3. Cayley-Hamilton の定理ていりと微分方程式びぶんほうていしきへの接続せつぞくを確認かくにんする

固有値問題こゆうちもんだいeigenvalue problemとしての具体的ぐたいてきな解法手順かいほうてじゅんは、次つぎの講義こうぎで独立どくりつに扱あつかう。

3Plan

1. Translate $Av=\lambda v$Av=\lambda v into $\det (A-\lambda I)=0$\det(A-\lambda I)=0.
2. Explain how algebraic multiplicity and geometric multiplicity control diagonalizability.
3. Connect the Cayley-Hamilton theorem with powers of matrices and systems of differential equations.

The detailed solving workflow for the eigenvalue problem固有値問題こゆうちもんだい is treated in the next lecture.

4直感的ちょっかんてきな説明せつめい

一般いっぱんの線型変換せんけいへんかんlinear transformationは、ベクトルの向むきを変かえる。たとえば平面へいめんを斜ななめに押おし潰つぶしたり、回転かいてんさせたりすると、ほとんどの矢印やじるしは別べつの方向ほうこうを向むく。

その中なかで、変換後へんかんごも同おなじ直線上ちょくせんじょうに残のこる方向ほうこうがあるなら、その方向ほうこうが固有ベクトルeigenvectorの方向ほうこうである。変換へんかんはその方向ほうこうでは、回転かいてんやせん断だんではなく、ただの伸縮しんしゅくとして見みえる。その伸縮率しんしゅくりつが固有値こゆうちeigenvalueである。

つまり固有値こゆうちeigenvalue・固有ベクトルeigenvectorは、複雑ふくざつな線型変換せんけいへんかんlinear transformationを「方向ほうこうごとの倍率ばいりつ」として読よめる場所ばしょを探さがす道具どうぐである。この見方みかたが対角化たいかくかdiagonalizationへ接続せつぞくする。

4Intuitive explanation

A general linear transformation線型変換せんけいへんかん changes the directions of most vectors. A shear, rotation, or non-uniform stretch usually sends an arrow to a different direction.

An eigenvector固有こゆうベクトル is a direction that remains on the same line after the transformation. On that line the transformation looks like pure stretching or shrinking, not rotation or shearing. The scale factor is the eigenvalue固有値こゆうち.

Thus eigenvalues and eigenvectors are tools for finding the places where a complicated transformation can be read as "one scale factor per direction." This viewpoint leads directly to diagonalization対角化たいかくか.

5厳密げんみつな説明せつめい

5.11. 方程式ほうていしきへの翻訳ほんやく

固有ベクトルeigenvectorの定義ていぎは、非零ひれいベクトル $$v\ne 0$$v\ne 0 を含ふくめて

である。これは

と同値どうちequivalentである。ここまでは固有値こゆうちeigenvalueの定義ていぎを移項いこうしただけであり、まだ行列式ぎょうれつしきdeterminantは登場とうじょうしていない。

次つぎに、同次方程式どうじほうていしき $$(A-\lambda I)x=0$$(A-\lambda I)x=0 が非自明解ひじめいかいを持もつ条件じょうけんを用もちいる。$$A-\lambda I$$A-\lambda I が可逆かぎゃくinvertibleなら解かいは $$x=0$$x=0 のみであるため、非自明解ひじめいかいが存在そんざいすることは

と同値どうちequivalentである。つまり、定義ていぎと特性方程式とくせいほうていしきは次つぎの 2 段階だんかいで接続せつぞくされる。

5.22. 特性多項式とくせいたこうしきcharacteristic polynomialの性質せいしつ

$n\times n$n \times n 行列ぎょうれつmatrix $A$A の特性多項式とくせいたこうしきcharacteristic polynomialは $n$n 次じであり：

重要じゅうような関係かんけい：

（${\lambda }_1,\dots ,{\lambda }_n$\lambda_1, \ldots, \lambda_n は重複ちょうふくを込こみにした固有値こゆうちeigenvalue全体ぜんたい）

ここでいう固有値こゆうちeigenvalue全体ぜんたいとは、特性多項式とくせいたこうしきcharacteristic polynomialが考かんがえている体たいの上うえで一次式いちじしきに分解ぶんかいする場合ばあいの根こんを、代数的重複度だいすうてきちょうふくどを込こめて数かぞえたものである。実行列じつぎょうれつでも実数じっすうreal numberの範囲はんいで固有値こゆうちeigenvalueが足たりないことがあるため、必要ひつように応おうじて複素数体ふくそすうたいまで拡張かくちょうして読よむ。

応用おうよう：$\det A=0⟺0$\det A = 0 \iff 0 が固有値こゆうちeigenvalue（$A$A が特異行列とくいぎょうれつ）。

5.33. 重複度ちょうふくどの二種類にしゅるい

代数的重複度だいすうてきちょうふくど（AM）：固有値こゆうちeigenvalue ${\lambda }_0$\lambda_0 が特性多項式とくせいたこうしきcharacteristic polynomialの根こんとして現あらわれる回数かいすう。

幾何的重複度きかてきちょうふくど（GM）：固有空間こゆうくうかんeigenspace

の次元じげんdimensionである。$$A$$A が $$n\times n$$n\times n 行列ぎょうれつmatrixなら、階数かいすうrank・退化次数たいかじすうnullity定理ていりにより

である。

固有値こゆうちeigenvalue ${\lambda }_0$\lambda_0 について、常つねに

である。また、特性多項式とくせいたこうしきcharacteristic polynomialが対象たいしょうの体たいの上うえで一次式いちじしきに分解ぶんかいしている場合ばあい、すべての固有値こゆうちeigenvalueについて幾何的重複度きかてきちょうふくどと代数的重複度だいすうてきちょうふくどが一致いっちすることは、対角化可能性たいかくかかのうせいと同値どうちequivalentである。

ここで $$\mathrm{Spec}\left(A\right)$$\operatorname{Spec}(A) は $$A$$A の固有値こゆうちeigenvalue全体ぜんたいの集合しゅうごうである。$$A$$A が対角化可能たいかくかかのうdiagonalizableであるとは、固有ベクトルeigenvectorからなる基底きていbasisが存在そんざいし、ある可逆行列かぎゃくぎょうれつinvertible matrix $$P$$P と対角行列たいかくぎょうれつdiagonal matrix $$D$$D により $$A=PD{P}^{-1}$$A=PDP^{-1} と書かけることである。この同値性どうちせいの証明しょうめいは、次つぎの対角化たいかくかdiagonalizationの講義こうぎで扱あつかう。

例れい（対角化不可能たいかくかふかのうな場合ばあい）：$A=\left(\begin{array}{cc}1& 1\\ 0& 1\end{array}\right)$A = \begin{pmatrix}1&1\\0&1\end{pmatrix} は $\lambda =1$\lambda = 1（AM = 2）だが GM = 1。

5.44. 具体例ぐたいれい

特性多項式とくせいたこうしきcharacteristic polynomial：$\det (A-\lambda I)=(3-\lambda )(2-\lambda )=0$\det(A - \lambda I) = (3-\lambda)(2-\lambda) = 0 より $\lambda =2,3$\lambda = 2, 3。

$\lambda =3$\lambda = 3 に対たいして $(A-3I)v=0$(A - 3I)v = 0 → $v\propto \left(\begin{array}{c}1\\ 0\end{array}\right)$v \propto \begin{pmatrix}1\\0\end{pmatrix}

$\lambda =2$\lambda = 2 に対たいして $(A-2I)v=0$(A - 2I)v = 0 → $v\propto \left(\begin{array}{c}1\\ -1\end{array}\right)$v \propto \begin{pmatrix}1\\-1\end{pmatrix}

5.55. Cayley-Hamilton の定理ていり

行列ぎょうれつmatrix $A$A は自分自身じぶんじしんの特性多項式とくせいたこうしきcharacteristic polynomialを満みたす：

特性多項式とくせいたこうしきcharacteristic polynomialを $$q\left(t\right)=\det (tI-A)$$q(t)=\det(tI-A) と置おくと、

である。ここで $$0$$0 は零行列れいぎょうれつzero matrixを表あらわす。記号きごうとして $$p\left(\lambda \right)=\det (A-\lambda I)$$p(\lambda)=\det(A-\lambda I) を用もちいる流儀りゅうぎでは最高次係数さいこうじけいすうの符号ふごうが変かわるが、Cayley-Hamilton の内容ないようは「行列ぎょうれつmatrixが自分自身じぶんじしんの特性多項式とくせいたこうしきcharacteristic polynomialを満みたす」という命題めいだいである。

例れい：$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$A = \begin{pmatrix}a&b\\c&d\end{pmatrix} の特性多項式とくせいたこうしきcharacteristic polynomialは ${\lambda }^2-(a+d)\lambda +(ad-bc)$\lambda^2 - (a+d)\lambda + (ad-bc)。Cayley-Hamilton より $A^2-(a+d)A+(ad-bc)I=0$A^2 - (a+d)A + (ad-bc)I = 0。

応用おうよう：$A^{-1}$A^{-1} を特性多項式とくせいたこうしきcharacteristic polynomialで表現ひょうげんする（$\det A\ne 0$\det A \neq 0 のとき）。

5.66. 連立れんりつ微分方程式びぶんほうていしきへの応用おうよう

$x^{\prime }=A\mathit{x}$\boldsymbol{x}' = A\boldsymbol{x} の解かいは $\mathit{x}\left(t\right)=e^{At}\mathit{x}\left(0\right)$\boldsymbol{x}(t) = e^{At}\boldsymbol{x}(0)。$A$A が対角化可能たいかくかかのうで $A=PD{P}^{-1}$A = PDP^{-1} なら：

固有値こゆうちeigenvalueの実部じつぶが安定性あんていせいを決きめる（負ふ → 安定あんてい、正せい → 不安定ふあんてい）。

5Precise explanation

5.11. From the definition to an equation

The definition of an eigenvector固有こゆうベクトル includes the nonzero condition:

This is equivalent to

At this point no determinant has been used; we have only moved all terms to one side. The determinant appears when we ask when the homogeneous system

has a nontrivial solution. If $A-\lambda I$A-\lambda I is invertible, the only solution is $x=0$x=0. Therefore a nontrivial solution exists exactly when

The two logical steps are

and

5.22. Properties of the characteristic polynomial特性多項式とくせいたこうしき

For an $n\times n$n\times n matrix行列ぎょうれつ $A$A,

When the characteristic polynomial splits into linear factors and the roots are counted with algebraic multiplicity,

For real matrices, real eigenvalues may not be enough. A rotation matrix can have complex eigenvalues, so one often extends scalars to the complex numbers when discussing all roots of the characteristic polynomial.

An important consequence is

Equivalently, $A$A is singular exactly when $0$0 belongs to its spectrum.

5.33. Algebraic and geometric multiplicity

The algebraic multiplicity代数的重複度だいすうてきちょうふくど of an eigenvalue固有値こゆうち ${\lambda }_0$\lambda_0 is its multiplicity as a root of the characteristic polynomial特性多項式とくせいたこうしき.

The geometric multiplicity幾何的重複度きかてきちょうふくど is the dimension of the eigenspace固有空間こゆうくうかん

For an $n\times n$n\times n matrix,

For every eigenvalue,

If the characteristic polynomial splits over the field under consideration, then $A$A is diagonalizable exactly when every eigenvalue has equal algebraic and geometric multiplicity:

Here $$\mathrm{Spec}\left(A\right)$$\operatorname{Spec}(A) is the set of all eigenvalues固有値こゆうち of $$A$$A. A matrix $$A$$A is diagonalizable対角化可能たいかくかかのう when there is a basis of eigenvectors, equivalently when $$A=PD{P}^{-1}$$A=PDP^{-1} for some invertible matrix $$P$$P and diagonal matrix $$D$$D. The proof of this criterion is treated in the next diagonalization lecture.

Example of failure: for

$\lambda =1$\lambda=1 has AM $=2$=2 but GM $=1$=1, so $A$A is not diagonalizable.

5.44. Concrete example

Let

The characteristic polynomial is

so the eigenvalues are $\lambda =2,3$\lambda=2,3. For $\lambda =3$\lambda=3,

gives $v\propto \left(\begin{array}{c}1\\ 0\end{array}\right)$v\propto \begin{pmatrix}1\\0\end{pmatrix}. For $\lambda =2$\lambda=2,

gives $v\propto \left(\begin{array}{c}1\\ -1\end{array}\right)$v\propto \begin{pmatrix}1\\-1\end{pmatrix}.

5.55. The Cayley-Hamilton theorem

A matrix satisfies its own characteristic polynomial. If

then

where $0$0 denotes the zero matrix. If one uses $p\left(\lambda \right)=\det (A-\lambda I)$p(\lambda)=\det(A-\lambda I) instead, the leading coefficient differs by a sign, but the theorem still says that the matrix annihilates itself through its characteristic polynomial.

For

the characteristic polynomial is ${\lambda }^2-(a+d)\lambda +(ad-bc)$\lambda^2-(a+d)\lambda+(ad-bc). Hence

When $\det A\ne 0$\det A\ne0, this relation can be rearranged to express $A^{-1}$A^{-1} using powers of $A$A.

5.66. Application to systems of differential equations

For

the solution is

If $A=PD{P}^{-1}$A=PDP^{-1} is diagonalizable, then

The real parts of the eigenvalues固有値こゆうち determine stability: negative real parts indicate decay, while positive real parts indicate growth.

6判定基準はんていきじゅん

• $Av=\lambda v$Av = \lambda v → 特性多項式とくせいたこうしきcharacteristic polynomial $\det (A-\lambda I)=0$\det(A - \lambda I) = 0 を解とく
• 対角化可能たいかくかかのうか → 固有値こゆうちeigenvalueがすべて異ことなる → 可か（十分条件じゅうぶんじょうけん）
• $\mathrm{t}\mathrm{r}A$\mathrm{tr}\, A と $\det A$\det A を素早すばやく → 固有値こゆうちeigenvalueの和わ・積せきで検算けんざん
• 微分方程式びぶんほうていしき $x^{\prime }=A\mathit{x}$\boldsymbol{x}' = A\boldsymbol{x} の安定性あんていせい → 固有値こゆうちeigenvalueの実部じつぶの符号ふごう

6Criteria

• To find eigenvalues, solve $\det (A-\lambda I)=0$\det(A-\lambda I)=0 and then solve $(A-\lambda I)v=0$(A-\lambda I)v=0 for nonzero $v$v.
• If all eigenvalues are distinct, $A$A is diagonalizable; this is sufficient but not necessary.
• Use $\mathrm{t}\mathrm{r}A$\mathrm{tr}\,A and $\det A$\det A as checks: they match the sum and product of eigenvalues counted with multiplicity.
• For $x^{\prime }=A\mathit{x}$\boldsymbol{x}'=A\boldsymbol{x}, stability is controlled by the signs of the real parts of eigenvalues.

7どこまで成立せいりつするか

実数じっすうreal number行列ぎょうれつmatrixにおいても固有値こゆうちeigenvalueは複素数ふくそすうcomplex numberになりうる（回転かいてん行列ぎょうれつmatrixの $\lambda =e^{\pm i\theta }$\lambda = e^{\pm i\theta}）。対角化たいかくかdiagonalizationの問題もんだいはスペクトル定理ていり（対称行列たいしょうぎょうれつsymmetric matrixは直交対角化可能ちょっこうたいかくかかのう）やジョルダン標準形ひょうじゅんけい（一般いっぱんの場合ばあい）へ拡張かくちょうされる。スペクトル定理ていりは対称行列たいしょうぎょうれつsymmetric matrixに限かぎらず正規行列せいきぎょうれつまで拡張かくちょうでき、作用素さようそ理論りろんでは微分作用素びぶんさようその固有関数こゆうかんすう（$e^{\lambda x}$e^{\lambda x}）が同おなじ発想はっそうの無限むげん次元じげんdimensionへの拡張かくちょうである。

7Scope and limitations

Even real matrices can have complex eigenvalues固有値こゆうち. The diagonalization problem extends to the spectral theorem for symmetric or normal matrices and to Jordan normal form in the general case. In operator theory, eigenfunctions of differential operators, such as $e^{\lambda x}$e^{\lambda x}, are infinite-dimensional versions of the same idea.

8最終形さいしゅうけい

8Final forms

9一言ひとことでいうと

固有値こゆうちeigenvalueは変換へんかんの「向むきを変かえない方向ほうこうでの倍率ばいりつ」であり、特性多項式とくせいたこうしきcharacteristic polynomialはその情報じょうほうを $n$n 次じ多項式たこうしきに圧縮あっしゅくする。Cayley-Hamilton の定理ていりは行列ぎょうれつmatrixが自分自身じぶんじしんの特性多項式とくせいたこうしきcharacteristic polynomialを満みたすという対称性たいしょうせいを示しめし、対角化たいかくかdiagonalizationは固有ベクトルeigenvectorの「向むきが変かわらない軸じく」を基底きていbasisにした変換へんかんのもっとも単純たんじゅんな記述きじゅつである。

9In one sentence

An eigenvalue固有値こゆうち is the scale factor along a direction that the transformation does not turn, the characteristic polynomial特性多項式とくせいたこうしき compresses that information into a degree-$n$n polynomial, and diagonalization対角化たいかくか uses eigenvectors as the coordinate axes of the transformation.

10定理ていりと証明しょうめい：異ことなる固有値こゆうちの固有ベクトルeigenvectorは線型独立せんけいどくりつである

$A$A の固有値こゆうち ${\lambda }_1,\dots ,{\lambda }_k$\lambda_1,\ldots,\lambda_k が互たがいに異ことなり、$v_i$v_i が ${\lambda }_i$\lambda_i に対応たいおうする 0 でない固有ベクトルeigenvectorだとする。このとき $v_1,\dots ,v_k$v_1,\ldots,v_k は線型独立せんけいどくりつである。

証明しょうめいは $k$k についての帰納法きのうほうで行おこなう。$k=1$k=1 は 0 でないベクトルvector一ひとつなので明あきらかである。

とする。両辺りょうへんに $A$A を作用さようさせると

である。最初さいしょの式しきに ${\lambda }_k$\lambda_k を掛かけて引ひくと

である。帰納法きのうほうの仮定かていより $v_1,\dots ,v_{k-1}$v_1,\ldots,v_{k-1} は線型独立せんけいどくりつなので、$a_i({\lambda }_i-{\lambda }_k)=0$a_i(\lambda_i-\lambda_k)=0 である。${\lambda }_i\ne {\lambda }_k$\lambda_i\ne\lambda_k だから $a_i=0$a_i=0 である。すると最初さいしょの式しきから $a_k{v}_k=0$a_kv_k=0 となり、$v_k\ne 0$v_k\ne0 より $a_k=0$a_k=0 である。

したがって、すべての係数けいすうが 0 であり、線型独立せんけいどくりつである。

10Theorem and proof: eigenvectors for distinct eigenvalues are linearly independent

Let ${\lambda }_1,\dots ,{\lambda }_k$\lambda_1,\ldots,\lambda_k be distinct eigenvalues of $A$A, and let $v_i\ne 0$v_i\ne0 be an eigenvector for ${\lambda }_i$\lambda_i. Then $v_1,\dots ,v_k$v_1,\ldots,v_k are linearly independent線型独立せんけいどくりつ.

We prove this by induction on $k$k. The case $k=1$k=1 is immediate because one nonzero vector is linearly independent.

Assume

Applying $A$A gives

Subtract ${\lambda }_k$\lambda_k times the first equation:

By the induction hypothesis, $v_1,\dots ,v_{k-1}$v_1,\ldots,v_{k-1} are linearly independent, so $a_i({\lambda }_i-{\lambda }_k)=0$a_i(\lambda_i-\lambda_k)=0 for $i<k$i<k. Since ${\lambda }_i\ne {\lambda }_k$\lambda_i\ne\lambda_k, we get $a_i=0$a_i=0 for $i<k$i<k. The original equation then gives $a_k{v}_k=0$a_kv_k=0, and $v_k\ne 0$v_k\ne0 implies $a_k=0$a_k=0.

All coefficients are zero, so the vectors are linearly independent.

11演習えんしゅうリンク

11Exercise link

12関連かんれんリンク

12Related links