対称行列たいしょうぎょうれつsymmetric matrixと直交対角化ちょっこうたいかくか

Symmetric matrices対称行列たいしょうぎょうれつ and orthogonal diagonalization

1導入どうにゅう

この講義こうぎで重要じゅうようなのは、対称行列たいしょうぎょうれつsymmetric matrixは、固有値こゆうちeigenvalueだけでなく固有ベクトルeigenvectorの直交性ちょっこうせいまで保証ほしょうする特別とくべつな行列ぎょうれつmatrixであるということである。

一般いっぱんの行列ぎょうれつmatrixは、対角化たいかくかdiagonalizationできるとは限かぎらない。対角化たいかくかdiagonalizationできる場合ばあいであっても、基底きていbasisを構成こうせいする固有ベクトルeigenvectorが互たがいに直交ちょっこうorthogonalするとは限かぎらない。これに対たいして、実対称行列じつたいしょうぎょうれつは正規直交基底せいきちょっこうきていorthonormal basisによって対角化たいかくかdiagonalizationできる。この事実じじつが有限次元ゆうげんじげんのスペクトル定理ていりSpectral theoremである。

1Introduction

The important point of this lecture is that a symmetric matrix対称行列たいしょうぎょうれつ is special not only because of its eigenvalues固有値こゆうち, but also because it guarantees orthogonality of eigenvectors in the right sense.

A general matrix may fail to be diagonalizable. Even if it is diagonalizable, its eigenvector basis need not be orthogonal. By contrast, every real symmetric matrix is diagonalizable by an orthonormal basis正規直交基底せいきちょっこうきてい. This is the finite-dimensional spectral theorem.

2用語ようごと定義ていぎ

対称行列たいしょうぎょうれつSymmetric matrix とは、実正方行列じつせいほうぎょうれつ $$A$$A が

を満みたす行列ぎょうれつmatrixである。

エルミート行列ぎょうれつHermitian matrix とは、複素正方行列ふくそせいほうぎょうれつ $$A$$A が

を満みたす行列ぎょうれつmatrixである。ただし $$A^{*}$$A^* は共役転置きょうやくてんちである。

ユニタリ行列ぎょうれつUnitary matrix とは、複素正方行列ふくそせいほうぎょうれつ $$U$$U が

を満みたす行列ぎょうれつmatrixである。これは複素ふくそcomplex内積ないせきinner product、長ながさ、直交ちょっこうorthogonalを保存ほぞんする行列ぎょうれつmatrixである。

正規行列せいきぎょうれつNormal matrix とは、複素正方行列ふくそせいほうぎょうれつ $$A$$A が

を満みたす行列ぎょうれつmatrixである。エルミート行列ぎょうれつmatrixとユニタリ行列ぎょうれつmatrixは正規行列せいきぎょうれつの代表例だいひょうれいである。

直交対角化ちょっこうたいかくかOrthogonal diagonalization とは、実行列じつぎょうれつ $$A$$A を直交行列ちょっこうぎょうれつorthogonal matrix $$Q$$Q と対角行列たいかくぎょうれつdiagonal matrix $$D$$D によって

と表示ひょうじすることである。複素ふくそcomplexの場合ばあいは、ユニタリ行列ぎょうれつmatrix $$U$$U により

と表示ひょうじする。

2Terms and definitions

A real square matrix $A$A is symmetric対称たいしょう if

A complex square matrix $A$A is Hermitianエルミート if

A unitary matrixユニタリ行列ぎょうれつ satisfies

It preserves the complex inner product, lengths, and orthogonality.

A normal matrix正規行列せいきぎょうれつ satisfies

Hermitian and unitary matrices are basic examples of normal matrices.

Orthogonal diagonalization直交対角化ちょっこうたいかくか of a real matrix means writing

with $Q$Q orthogonal and $D$D diagonal. In the complex case one writes

with $U$U unitary.

3方針ほうしん

方針ほうしんは二段階にだんかいである。まず、対称性たいしょうせいが内積ないせきinner productの中なかで

を意味いみすることを確認かくにんする。つぎに、この関係かんけいから、異ことなる固有値こゆうちeigenvalueに対応たいおうする固有ベクトルeigenvectorが直交ちょっこうorthogonalすることを導出どうしゅつする。

3Plan

First, symmetry is interpreted through the inner-product identity

Then this identity is used to prove that eigenvectors belonging to distinct eigenvalues are orthogonal.

4直感的ちょっかんてきな説明せつめい

対称行列たいしょうぎょうれつsymmetric matrixは、入力方向にゅうりょくほうこうと出力方向しゅつりょくほうこうの寄与きよを内積ないせきinner productで測定そくていしたとき、左右さゆうを交換こうかんしても値あたいが変化へんかしない行列ぎょうれつmatrixである。

この対称性たいしょうせいは、空間くうかんの歪ゆがみを生成せいせいする変換へんかんではなく、互たがいに直交ちょっこうorthogonalする主方向しゅほうこうごとの伸縮しんしゅくとして分解ぶんかいできることを示唆しさする。主方向しゅほうこうが固有ベクトルeigenvector、伸縮率しんしゅくりつが固有値こゆうちeigenvalueである。

4Intuitive explanation

A symmetric matrix is a transformation whose input and output contributions are balanced in the inner product. Such a transformation can be decomposed into stretches along mutually orthogonal principal directions. The principal directions are eigenvectors, and the stretch factors are eigenvalues.

5厳密げんみつな説明せつめい

5.11. 異ことなる固有値こゆうちeigenvalueの固有ベクトルeigenvectorは直交ちょっこうorthogonalする

$$A$$A を実対称行列じつたいしょうぎょうれつとし、$$Au=\lambda u$$Au=\lambda u、$$Av=\mu v$$Av=\mu v、$$\lambda \ne \mu$$\lambda\ne\mu とする。内積ないせきinner productの対称性たいしょうせいから

である。左辺さへんleft-hand sideと右辺うへんright-hand sideを固有値こゆうちeigenvalueで表現ひょうげんすると

である。したがって

であり、$$\lambda \ne \mu$$\lambda\ne\mu であるため $$⟨u,v⟩=0$$\langle u,v\rangle=0 である。よって $$u$$u と $$v$$v は直交ちょっこうorthogonalする。

複素ふくそcomplexのエルミート行列ぎょうれつHermitian matrixでも同おなじ議論ぎろんが成立せいりつする。$$A^{*}=A$$A^*=A は自己随伴性じこずいはんせいself-adjointnessであり、内積ないせきinner productの中なかで $$A$$A を左右さゆうに移動いどうしても

が成立せいりつする。したがって固有値こゆうちeigenvalueが異ことなれば固有ベクトルeigenvectorは直交ちょっこうorthogonalする。また $$Au=\lambda u$$Au=\lambda u のとき

である。$$u\ne 0$$u\ne0 なら $$⟨u,u⟩>0$$\langle u,u\rangle>0 なので、$$\lambda =\stackrel{\_}{\lambda }$$\lambda=\overline{\lambda} となり、固有値こゆうちeigenvalueは実数じっすうreal numberである。

5.22. 実対称行列じつたいしょうぎょうれつのスペクトル定理ていり

有限次元ゆうげんじげんの実内積空間じつないせきくうかんで、実対称行列じつたいしょうぎょうれつ $$A$$A について次つぎが成立せいりつする。

ここで $$Q$$Q は直交行列ちょっこうぎょうれつorthogonal matrix、$$D$$D は実固有値じつこゆうちを並ならべた対角行列たいかくぎょうれつdiagonal matrixである。$$Q$$Q の列れつcolumnは $$A$$A の正規直交せいきちょっこう固有ベクトルeigenvectorである。

複素ふくそcomplexの場合ばあいは、エルミート行列ぎょうれつmatrix $$A$$A について

が成立せいりつする。ここで $$U$$U はユニタリ行列ぎょうれつmatrixであり、$$D$$D の対角成分たいかくせいぶんは実数じっすうreal numberである。

5.33. 正規行列せいきぎょうれつとの関係かんけい

複素ふくそcomplexの有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは、正規行列せいきぎょうれつはユニタリに対角化たいかくかdiagonalizationできる。すなわち

である。エルミート行列ぎょうれつmatrixは正規行列せいきぎょうれつのうち、固有値こゆうちeigenvalueが実数じっすうreal numberになる特別とくべつな場合ばあいである。実対称行列じつたいしょうぎょうれつは、その実数版じっすうばんとして位置いちづけられる。

この整理せいりにより、一般いっぱんの対角化可能行列たいかくかかのうぎょうれつ、正規行列せいきぎょうれつ、エルミート行列ぎょうれつmatrix、実対称行列じつたいしょうぎょうれつの差異さいが明確めいかくになる。直交ちょっこうorthogonalまたはユニタリな基底きていbasisで対角化たいかくかdiagonalizationできることは、内積構造ないせきこうぞうと両立りょうりつすることを意味いみする。

5Precise explanation

5.11. Eigenvectors for distinct eigenvalues are orthogonal

Let $A$A be a real symmetric matrix, and suppose

Because $A$A is symmetric,

Substituting the eigenvalue equations gives

Hence

Since $\lambda \ne \mu$\lambda\ne\mu, $⟨u,v⟩=0$\langle u,v\rangle=0, so $u$u and $v$v are orthogonal.

The same argument works for complex Hermitian matrices. If $Au=\lambda u$Au=\lambda u, then

Since $u\ne 0$u\ne0 implies $⟨u,u⟩>0$\langle u,u\rangle>0, we get $\lambda =\stackrel{\_}{\lambda }$\lambda=\overline\lambda, so Hermitian eigenvalues are real.

5.22. Spectral theorem for real symmetric matrices

For a real symmetric matrix $A$A in finite dimensions,

Here $Q$Q is an orthogonal matrix直交行列ちょっこうぎょうれつ, $D$D is diagonal with real eigenvalues, and the columns of $Q$Q are orthonormal eigenvectors of $A$A.

In the complex Hermitian case,

where $U$U is unitary and the diagonal entries of $D$D are real.

5.33. Relation with normal matrices

Over finite-dimensional complex inner product spaces,

Hermitian matrices are the normal matrices whose eigenvalues are real. Real symmetric matrices are the real version of this self-adjoint situation.

6具体例ぐたいれい

は対称行列たいしょうぎょうれつsymmetric matrixである。固有ベクトルeigenvectorとして

を採用さいようすると、対応たいおうする固有値こゆうちeigenvalueは $$3,1$$3,1 である。したがって

により

と直交対角化ちょっこうたいかくかされる。

6Concrete example

Let

This matrix is symmetric. Take

The corresponding eigenvalues are $3$3 and $1$1. Therefore

and

7別べつの観点かんてん

通常つうじょうの対角化たいかくかdiagonalizationは、適切てきせつな基底きていbasisを選択せんたくして行列ぎょうれつmatrixを単純化たんじゅんかする操作そうさoperationである。直交対角化ちょっこうたいかくかは、さらにその基底きていbasisを正規直交基底せいきちょっこうきていorthonormal basisにできるという強つよい主張しゅちょうである。

この差異さいは計算上けいさんじょうも幾何学上きかがくじょうも重要じゅうようである。直交行列ちょっこうぎょうれつorthogonal matrixは長ながさと角度かくどを保存ほぞんするため、座標変換ざひょうへんかんによって内積構造ないせきこうぞうが破壊はかいされない。

7Another viewpoint

Ordinary diagonalization chooses a basis that simplifies a matrix. Orthogonal diagonalization makes the stronger claim that this basis can be orthonormal. Because orthogonal and unitary matrices preserve lengths and angles, the change of coordinates does not destroy the inner-product structure.

8判定基準はんていきじゅん

• 実対称行列じつたいしょうぎょうれつなら、直交対角化ちょっこうたいかくかできる。
• エルミート行列ぎょうれつmatrixなら、ユニタリ対角化たいかくかdiagonalizationできる。
• 複素ふくそcomplexでは、ユニタリ対角化たいかくかdiagonalizationできる行列ぎょうれつmatrixは正規行列せいきぎょうれつである。
• 異ことなる固有値こゆうちeigenvalueに対応たいおうする固有ベクトルeigenvectorは直交ちょっこうorthogonalする。
• 固有値こゆうちeigenvalueは、主方向しゅほうこうごとの伸縮率しんしゅくりつとして解釈かいしゃくできる。

8Criteria

• A real symmetric matrix is orthogonally diagonalizable.
• A Hermitian matrix is unitarily diagonalizable.
• Over complex finite-dimensional spaces, a matrix is unitarily diagonalizable exactly when it is normal.
• Eigenvectors for distinct eigenvalues of a symmetric or Hermitian matrix are orthogonal.
• Eigenvalues describe stretch factors along principal directions.

9どこまで成立せいりつするか

直交対角化ちょっこうたいかくかは任意にんいの対角化可能行列たいかくかかのうぎょうれつに成立せいりつするわけではない。直交対角化ちょっこうたいかくかには、内積ないせきinner productと両立りょうりつする対称性たいしょうせいが必要ひつようである。複素ふくそcomplexでは対称行列たいしょうぎょうれつsymmetric matrixではなくエルミート行列ぎょうれつmatrixを基本対象きほんたいしょうにする。

9Scope and limitations

Orthogonal diagonalization does not hold for every diagonalizable matrix. It requires symmetry compatible with the inner product. In complex linear algebra, the correct analogue of a real symmetric matrix is a Hermitian matrix, not merely a matrix satisfying $A^T=A$A^T=A.

10最終形さいしゅうけい

10Final forms

11一言ひとことでいうと

• 対称行列たいしょうぎょうれつsymmetric matrixは、空間くうかんを直交ちょっこうorthogonalする固有方向こゆうほうこうごとの伸縮しんしゅくへ分解ぶんかいできる行列ぎょうれつmatrixである。

実じつreal対称行列たいしょうぎょうれつsymmetric matrixは、互たがいに直交ちょっこうorthogonalする固有ベクトルeigenvectorを十分じゅうぶんに持もち、それらから正規直交基底せいきちょっこうきていorthonormal basisを作つくれる。したがって $$A=QD{Q}^T$$A=QDQ^T、同値どうちに $$Q^{T}AQ=D$$Q^TAQ=D と書かける。ここで $$Q$$Q は直交行列ちょっこうぎょうれつorthogonal matrix、$$D$$D は対角行列たいかくぎょうれつdiagonal matrixである。

重複固有値ちょうふくこゆうちの場合ばあいが誤あやまりやすい。異ことなる固有値こゆうちeigenvalueに属ぞくする固有ベクトルeigenvectorは自動的じどうてきに直交ちょっこうorthogonalするが、同おなじ固有空間こゆうくうかんeigenspaceの中なかでは、さらにグラム・シュミットの直交化ちょっこうかで正規直交基底せいきちょっこうきていorthonormal basisを選えらぶことがある。直交対角化ちょっこうたいかくかは長ながさと角度かくどを保たもつため、二次形式にじけいしきquadratic formや主軸しゅじくの計算けいさんに適てきしている。

11In one sentence

A symmetric matrix対称行列たいしょうぎょうれつ decomposes space into mutually orthogonal eigendirections, each with its own stretch factor.

A real symmetric matrix対称行列たいしょうぎょうれつ has enough mutually orthogonal eigenvectors to form an orthonormal basis. Thus it can be written as $A=QD{Q}^T$A=QDQ^T, or equivalently $Q^{T}AQ=D$Q^TAQ=D, where $Q$Q is orthogonal and $D$D is diagonal.

The repeated-eigenvalue case is the main place where mistakes occur. Eigenvectors for different eigenvalues are automatically orthogonal, but inside one eigenspace one may still need Gram-Schmidt to choose an orthonormal basis. Orthogonal diagonalization preserves lengths and angles, which is why it is the right form for quadratic forms and principal-axis calculations.

12定理ていり：スペクトル定理ていりの実数版じっすうばんと複素数版ふくそすうばん

実数じっすうの有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは、実対称行列じつたいしょうぎょうれつ $$A=A^T$$A=A^T について、正規直交基底せいきちょっこうきていorthonormal basis $$q_1,\text{[PARSE ERROR: Undefined("Command("dots")")]},q_n$$q_1,\dots,q_n が存在そんざいし、それぞれ

を満みたす。したがって

である。

複素ふくその有限次元ゆうげんじげん内積空間ないせきくうかんinner product spaceでは、正規行列せいきぎょうれつnormal matrix $$A^{*}A=A{A}^{*}$$A^*A=AA^* について、ユニタリ行列ぎょうれつ (unitary matrix) $$U$$U と対角行列たいかくぎょうれつdiagonal matrix $$D$$D が存在そんざいして

である。エルミート行列ぎょうれつHermitian matrixはこの特別とくべつな場合ばあいで、$$D$$D の対角成分たいかくせいぶんが実数じっすうになる。

12Theorem: real and complex spectral theorems

In a finite-dimensional real inner product space, every real symmetric matrix $A=A^T$A=A^T has an orthonormal basis $q_1,\dots ,q_n$q_1,\ldots,q_n of eigenvectors:

Equivalently,

In a finite-dimensional complex inner product space, every normal matrix正規行列せいきぎょうれつ satisfying $A^{*}A=A{A}^{*}$A^*A=AA^* is unitarily diagonalizable:

Hermitian matrices are the special case in which the diagonal entries of $D$D are real.

13証明しょうめいの方針ほうしん：1 本ほんの固有こゆうベクトルから直交補空間ちょっこうほくうかんへ

実対称行列じつたいしょうぎょうれつの場合ばあい、特性多項式とくせいたこうしきは実根じつこんを持もつことを用もちいて、まず単位たんい固有ベクトルeigenvector $$q_1$$q_1 を取とる。つぎに $$q_{1^{\perp }}$$q_1^\perp を考かんがえる。$$x\in q_{1^{\perp }}$$x\in q_1^\perp なら

なので、$$Ax\in q_{1^{\perp }}$$Ax\in q_1^\perp である。つまり $$q_{1^{\perp }}$$q_1^\perp は $$A$$A で不変ふへんである。この不変部分空間ふへんぶぶんくうかんに帰納法きのうほうを適用てきようすると、残のこりの正規直交せいきちょっこう固有ベクトルeigenvectorを得える。

この証明しょうめいの要点ようてんは、対称性たいしょうせいが直交補空間ちょっこうほくうかんorthogonal complementを保たもつことである。ここが一般いっぱんの行列ぎょうれつでは失敗しっぱいする。

13Proof idea: from one eigenvector to its orthogonal complement

For a real symmetric matrix, one first chooses a unit eigenvector $q_1$q_1. Then consider the orthogonal complement $q_{1^{\perp }}$q_1^\perp. If $x\in q_{1^{\perp }}$x\in q_1^\perp, then

Thus $Ax\in q_{1^{\perp }}$Ax\in q_1^\perp, so $q_{1^{\perp }}$q_1^\perp is invariant under $A$A. Applying induction to this invariant subspace gives the remaining orthonormal eigenvectors.

The crucial point is that symmetry preserves orthogonal complements. This is exactly what fails for a general matrix.

14反例はんれい：対角化可能たいかくかかのうdiagonalizableでも直交対角化ちょっこうたいかくかできない場合ばあい

は固有値こゆうちeigenvalue $$1,2$$1,2 を持もつので対角化可能たいかくかかのうである。しかし $$A^T\ne A$$A^T\ne A であり、直交対角化ちょっこうたいかくかはできない。実際じっさい、直交行列ちょっこうぎょうれつorthogonal matrix $$Q$$Q で $$Q^{T}AQ=D$$Q^TAQ=D と書かけるなら $$A=QD{Q}^T$$A=QDQ^T となり、右辺うへんは対称行列たいしょうぎょうれつになるため $$A$$A も対称たいしょうでなければならない。これは矛盾むじゅんである。

この反例はんれいは、「対角化可能たいかくかかのう」と「直交対角化可能ちょっこうたいかくかかのう」が異ことなる条件じょうけんであることを示しめしている。

14Non-example: diagonalizable does not imply orthogonally diagonalizable

The matrix

has distinct eigenvalues $1$1 and $2$2, so it is diagonalizable. But $A^T\ne A$A^T\ne A, and it cannot be orthogonally diagonalized. If $Q^{T}AQ=D$Q^TAQ=D with $Q$Q orthogonal and $D$D diagonal, then $A=QD{Q}^T$A=QDQ^T, which is symmetric. That contradicts $A^T\ne A$A^T\ne A.

This example separates diagonalizability from orthogonal diagonalizability.

15演習えんしゅうリンク

15Exercise links

16関連かんれんリンク

16Related links