線型代数せんけいだいすうlinear algebraポータル

導入どうにゅう

このノートは、線型代数せんけいだいすうlinear algebraの講義こうぎを、まず「線型性せんけいせいlinearityとは何なにか」「行列ぎょうれつmatrixの列れつcolumnは何なにを記録きろくしているか」から整理せいりし、その後あとで連立一次方程式れんりついちじほうていしきsystem of linear equations、階数かいすうrank、内積ないせきinner product、固有値こゆうちeigenvalueへ接続せつぞくするための入口いりぐちである。

学習がくしゅうの全体像ぜんたいぞう

線型代数せんけいだいすうlinear algebraは、計算手順けいさんてじゅんcomputational procedureだけの集合しゅうごうsetではない。中心ちゅうしんにあるのは、ベクトルvectorの和わsumとスカラー倍ばいscalar multiplicationを保たもつ線型写像せんけいしゃぞうlinear mapである。線型性せんけいせいlinearityがあるから、基底きていベクトルbasis vectorの像ぞうimageだけで空間くうかんspace全体ぜんたいの行ゆき先さきが決きまる。そして、その基底きていベクトルbasis vectorの像ぞうimageを列れつcolumnとして並ならべたものが行列ぎょうれつmatrixである。

この見方みかたを先さきに持もつと、行列積ぎょうれつせきmatrix productは写像しゃぞうmapの合成ごうせいcompositionになり、階数かいすうrankは像ぞうimageの次元じげんdimensionになり、核かくkernelは零れいzeroへ潰つぶれる入力方向にゅうりょくほうこうinput directionになる。内積ないせきinner productを追加ついかすると長ながさlength・角度かくどangle・射影しゃえいprojectionが導入どうにゅうされ、固有値こゆうちeigenvalueと対角化たいかくかdiagonalizationは、線型写像せんけいしゃぞうlinear mapを方向ほうこうdirectionごとの倍率ばいりつscale factorとして読よみ直なおす道具どうぐになる。

前提ぜんていと射程しゃてい

この系列けいれつでは、有限次元ゆうげんじげんfinite-dimensionalの実じつrealまたは複素ふくそcomplexのベクトル空間くうかんvector spaceを基本対象きほんたいしょうbasic objectにする。内積ないせきinner product、特異値分解とくいちぶんかいsingular value decompositionSVD、擬似逆行列ぎじぎゃくぎょうれつpseudoinverseでは、実行列じつぎょうれつreal matrixの転置てんちtranspose $$A^T$$A^T と複素行列ふくそぎょうれつcomplex matrixの共役転置きょうやくてんちconjugate transpose $$A^{*}$$A^* を区別くべつする。正方行列せいほうぎょうれつsquare matrixだけで成立せいりつする主張しゅちょうstatementと、長方行列ちょうほうぎょうれつrectangular matrixにも拡張かくちょうできる主張しゅちょうstatementも分離ぶんりして確認かくにんする。

重要じゅうようなのは、定理ていりの結論けつろんだけでなく、その前提条件ぜんていじょうけんを保持ほじすることである。たとえば対称行列たいしょうぎょうれつsymmetric matrixの直交対角化ちょっこうたいかくかは任意にんいの対角化可能行列たいかくかかのうぎょうれつには成立せいりつしない。二次形式にじけいしきquadratic formによる極値判定きょくちはんていでは停留点ていりゅうてんであることが必要ひつようである。このような条件じょうけんを明示めいじすると、発展項目はってんこうもくへ移行いこうしても記述きじゅつの厳密性げんみつせいが保たもたれる。

直感的ちょっかんてきな見取みとり図ず

線型代数せんけいだいすうlinear algebraの直感ちょっかんは、行列ぎょうれつmatrixを数表すうひょうarray of numbersとして眺ながめるより、空間くうかんspaceを動うごかす線型変換せんけいへんかんlinear transformationとして見みると統一とういつしやすい。

この見取みとり図ずoverviewを先さきに持もつと、掃はき出だしelimination、行列式ぎょうれつしきdeterminant、対角化たいかくかdiagonalization、直交化ちょっこうかorthogonalizationが別々べつべつの計算手順けいさんてじゅんcomputational procedureではなく、空間くうかんspaceをどう保たもち、どこを潰つぶし、どの方向ほうこうdirectionを見みやすくするかという一連いちれんseriesの操作そうさoperationとして接続せつぞくする。

変かわるものと保存ほぞんされるもの

線型代数せんけいだいすうでは、計算けいさんそのものよりも「その操作そうさoperationで何なにを変かえ、何なにを変かえないか」を追跡ついせきすることが重要じゅうようである。同おなじ行列ぎょうれつmatrixの見みた目めが変かわっても、写像しゃぞうmapそのものや解集合かいしゅうごうが変かわらない場合ばあいがある。逆ぎゃくに、階数かいすうrankは変かわらなくても、未知数みちすうunknownの意味いみが変かわる場合ばあいもある。

この表ひょうは、後あとの講義こうぎで証明しょうめいする性質せいしつを先取さきどりしている。順序じゅんじょとしては少すこし先さきを見みることになるが、「なぜその操作そうさoperationを考かんがえるのか」は、保存ほぞんされる量りょうを知しると理解りかいしやすい。

0. 線型性せんけいせいlinearity・線型写像せんけいしゃぞうlinear map・行列ぎょうれつmatrixの列れつcolumn

最初さいしょに置おくのは、線型性せんけいせいlinearityそのものである。線型性せんけいせいlinearityとは、加法性かほうせいadditivityと同次性どうじせいhomogeneityにより、線型結合せんけいけつごうlinear combinationを作つくってから写うつしても、写うつしてから同おなじ係数けいすうcoefficientで線型結合せんけいけつごうlinear combinationしても一致いっちするという性質せいしつpropertyである。

この見方みかたを先さきに置おくと、基底きていベクトルbasis vectorの像ぞうimageだけで線型写像せんけいしゃぞうlinear mapが決きまる理由りゆうが分わかる。行列ぎょうれつmatrixの列れつcolumnは、その基底きていベクトルbasis vectorの像ぞうimageを記録きろくしたものである。以後いごの行列積ぎょうれつせきmatrix product、階数かいすうrank、可逆性かぎゃくせいinvertibility、固有値こゆうちeigenvalueは、すべてこの見方みかたの上うえに積つみ上あげる。

1. 計算道具けいさんどうぐcomputational toolの基礎きそ

線型写像せんけいしゃぞうlinear mapとしての見方みかたを持もったら、つぎに行列ぎょうれつmatrixを実際じっさいに扱あつかうための計算道具けいさんどうぐcomputational toolを整ととのえる。行列ぎょうれつmatrixの和わsum、スカラー倍ばいscalar multiplication、積せきproduct、単位行列たんいぎょうれつidentity matrix、零行列れいぎょうれつzero matrix、転置てんちtransposeは、線型写像せんけいしゃぞうlinear mapを座標表示ざひょうひょうじcoordinate representationで扱あつかうための基本語彙きほんごいbasic vocabularyである。

ここでの注意点ちゅういてんは、計算けいさんcalculationを線型写像せんけいしゃぞうlinear mapから切きり離はなさないことである。行列積ぎょうれつせきmatrix productは写像しゃぞうmapの合成ごうせいcompositionであり、単位行列たんいぎょうれつidentity matrixは何なにも変かえない写像しゃぞうmapであり、零行列れいぎょうれつzero matrixは全すべてを零れいzeroへ潰つぶす写像しゃぞうmapである。この意味いみを保たもったまま成分計算せいぶんけいさんcomponent calculationへ入はいると、計算規則けいさんきそくcalculation ruleが暗記あんきではなく構造こうぞうstructureとして見みえる。

2. 連立一次方程式れんりついちじほうていしきsystem of linear equations・基本変形きほんへんけいelementary operation・可逆性かぎゃくせいinvertibility

行列ぎょうれつmatrixを線型写像せんけいしゃぞうlinear mapとして見みると、連立一次方程式れんりついちじほうていしきsystem of linear equations $Ax=b$Ax=b は「出力しゅつりょくoutput $b$b に到達とうたつする入力にゅうりょくinput $x$x を探さがす問題もんだい」になる。掃はき出だし法ほうGaussian eliminationは解法かいほうsolution methodであると同時どうじに、階数かいすうrank、像ぞうimage、核かくkernel、自由度じゆうどdegree of freedomを判定はんていする方法ほうほうmethodである。

行基本変形ぎょうきほんへんけいelementary row operationは方程式ほうていしきequationの同値性どうちせいequivalenceを保たもつ。列基本変形れつきほんへんけいelementary column operationは列空間れつくうかんcolumn spaceと階数かいすうrankを保たもつが、未知数みちすうunknownの座標ざひょうcoordinateを変かえる。逆行列ぎゃくぎょうれつinverse matrixは、情報じょうほうinformationが失うしなわれず任意にんいの出力しゅつりょくoutputから入力にゅうりょくinputを一意いちいuniqueに復元ふくげんreconstructionできる条件じょうけんconditionとして理解りかいする。

3. 基底変換きていへんかんchange of basis・相似そうじsimilarity

基底変換きていへんかんchange of basisでは、ベクトルvectorや線型写像せんけいしゃぞうlinear mapそのものではなく、座標表示ざひょうひょうじcoordinate representationが変かわる。相似そうじsimilarityは同おなじ線型写像せんけいしゃぞうlinear mapを別べつの基底きていbasisで表あらわす関係かんけいrelationであり、対角化たいかくかdiagonalizationの準備じゅんびになる。

4. 行列式ぎょうれつしきdeterminant・体積倍率たいせきばいりつvolume scale factor・可逆性かぎゃくせいinvertibility

行列式ぎょうれつしきdeterminantは、正方行列せいほうぎょうれつsquare matrixが面積めんせきarea・体積たいせきvolumeをどれだけ伸縮しんしゅくし、向むきorientationを保たもつか反転はんてんするかを測はかる量りょうquantityである。行列式ぎょうれつしきdeterminantが 0 でないことは、空間くうかんspaceを潰つぶさず、入力にゅうりょくinputを復元ふくげんreconstructionできることと対応たいおうする。

5. 内積ないせきinner product・直交ちょっこうorthogonality・射影しゃえいprojection

線型性せんけいせいlinearityだけでは、長ながさlengthや角度かくどangleは扱あつかえない。内積ないせきinner productを入いれると、ベクトルvectorの長ながさlength、角度かくどangle、直交ちょっこうorthogonality、射影しゃえいprojectionを測はかれるようになる。直交射影ちょっこうしゃえいorthogonal projectionは、部分空間ぶぶんくうかんsubspaceへ最もっとも近ちかい点てんpointを選えらぶ操作そうさoperationであり、最小二乗法さいしょうにじょうほうleast squares methodの幾何的きかてきgeometricな理由りゆうになる。

6. 固有値こゆうちeigenvalue・固有こゆうベクトルeigenvector・対角化たいかくかdiagonalization

固有値こゆうちeigenvalueは、固有こゆうベクトルeigenvectorの方向ほうこうdirectionを変かえずに伸縮しんしゅくする倍率ばいりつscale factorである。対角化たいかくかdiagonalizationは、固有こゆうベクトルeigenvectorからなる基底きていbasisを選択せんたくして線型写像せんけいしゃぞうlinear mapを方向ほうこうdirectionごとの倍率ばいりつscale factorに分解ぶんかいする方法ほうほうmethodである。

7. 内積ないせきinner productと固有値こゆうちeigenvalueの交点こうてん

対称行列たいしょうぎょうれつsymmetric matrixとエルミート行列ぎょうれつHermitian matrixでは、固有こゆうベクトルeigenvectorを正規直交基底せいきちょっこうきていorthonormal basisとして選択せんたくできる。二次形式にじけいしきquadratic formと正定値行列せいていちぎょうれつpositive definite matrixは、固有値こゆうちeigenvalueが符号ふごうsign・凸性とつせいconvexity・最適化さいてきかoptimizationに接続せつぞくすることを確認かくにんする内容ないようである。

複素ふくそcomplexでは、正規行列せいきぎょうれつnormal matrixがユニタリ対角化たいかくかunitary diagonalizationの基準きじゅんcriterionになる。エルミート行列ぎょうれつHermitian matrixは正規行列せいきぎょうれつnormal matrixのうち固有値こゆうちeigenvalueが実数じっすうreal numberとなる特別とくべつな場合ばあいであり、二次形式にじけいしきquadratic formや正定値性せいていちせいpositive definitenessへ接続せつぞくしやすい。

複素ふくそcomplexの流ながれでは、共役転置きょうやくてんちconjugate transpose・随伴ずいはんadjointを確認かくにんしてから、エルミート行列ぎょうれつHermitian matrix、ユニタリ行列ぎょうれつunitary matrix、正規行列せいきぎょうれつnormal matrixへ進すすむと理解りかいしやすい。

8. 発展はってんへの入口いりぐち

最小多項式さいしょうたこうしきminimal polynomialとジョルダン標準形ひょうじゅんけいJordan normal formは、対角化たいかくかdiagonalizationできない行列ぎょうれつmatrixの構造こうぞうstructureを記述きじゅつする。特異値分解とくいちぶんかいsingular value decompositionSVDと擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、長方行列ちょうほうぎょうれつrectangular matrixや階数落かいすうおちrank deficientの行列ぎょうれつmatrixを射影しゃえいprojection・最小二乗法さいしょうにじょうほうleast squares methodと接続せつぞくする。発展はってんでは、ジョルダン標準形ひょうじゅんけいJordan normal formの一意性いちいせいuniqueness、コンパクト SVDcompact SVD、Eckart-Young の定理ていりEckart-Young theorem、ペンローズの条件じょうけんPenrose conditionsまで確認かくにんする。

演習えんしゅうリンク

講義こうぎで定義ていぎdefinitionと理由りゆうを確認かくにんしたら、演習えんしゅうexerciseでは計算けいさんcalculationできるかだけでなく、何なにを保存ほぞんpreservationし、何なにを変かえる操作そうさoperationなのかを診断しんだんする。具体例ぐたいれいworked exampleは理解りかいを固定こていするためのもの、演習問題えんしゅうもんだいexercise problemは自分じぶんで判断はんだんできるかを確認かくにんするためのものである。

推奨順序すいしょうじゅんじょ