線型代数せんけいだいすうlinear algebraポータル

1導入どうにゅう

このノートは、線型代数せんけいだいすうlinear algebraの講義こうぎを、まず「線型性せんけいせいlinearityとは何なにか」「行列ぎょうれつmatrixの列れつcolumnは何なにを記録きろくしているか」から整理せいりし、その後あとで連立一次方程式れんりついちじほうていしきsystem of linear equations、階数かいすうrank、内積ないせきinner product、固有値こゆうちeigenvalueへ接続せつぞくするための入口いりぐちである。

日本語にほんごの経路けいろも英語版えいごばんと同おなじ講義地図こうぎちずとして読よむ。要約版ようやくばんではなく、線型性せんけいせいlinearityと線型写像せんけいしゃぞうlinear mapから始はじめ、ベクトル、行列ぎょうれつmatrix、行基本変形ぎょうきほんへんけいrow operation、階数かいすうrank、行列式ぎょうれつしきdeterminant、逆行列ぎゃくぎょうれつinverse matrix、内積ないせきinner product、固有値こゆうちeigenvalue、発展項目はってんこうもくへ接続せつぞくする。後あとの項目こうもくは、前まえに導入どうにゅうした不変量ふへんりょうを使つかう。階数かいすうrankは次元じげんdimensionを測はかり、行列式ぎょうれつしきdeterminantは可逆性かぎゃくせいinvertibilityを判定はんていし、内積ないせきinner productは直交ちょっこうorthogonalityを定義ていぎし、固有ベクトルeigenvectorは線型写像せんけいしゃぞうlinear mapで方向ほうこうが保たもたれる軸じくを示しめす。

次つぎに読よむページを選えらぶときは、答こたえたい質問しつもんの種類しゅるいを確認かくにんする。計算けいさんの質問しつもんなら、掃はき出だし、行列式ぎょうれつしきdeterminant、逆行列ぎゃくぎょうれつinverse matrix、行列積ぎょうれつせきmatrix productへ進すすむ。構造こうぞうの質問しつもんなら、基底きていbasis、核かくkernel、像ぞうimage、階数かいすうrank、相似そうじsimilarity、対角化たいかくかdiagonalizationを使つかう。長ながさや近ちかさの質問しつもんでは、内積ないせきinner product、射影しゃえいprojection、最小二乗法さいしょうにじょうほうleast squares method、直交対角化ちょっこうたいかくかorthogonal diagonalization、SVD、擬似逆行列ぎじぎゃくぎょうれつpseudoinverseが関係かんけいする。

2学習がくしゅうの全体像ぜんたいぞう

線型代数せんけいだいすうlinear algebraは、計算手順けいさんてじゅんcomputational procedureだけの集合しゅうごうsetではない。中心ちゅうしんにあるのは、ベクトルvectorの和わsumとスカラー倍ばいscalar multiplicationを保たもつ線型写像せんけいしゃぞうlinear mapである。線型性せんけいせいlinearityがあるから、基底きていベクトルbasis vectorの像ぞうimageだけで空間くうかんspace全体ぜんたいの行ゆき先さきが決きまる。そして、その基底きていベクトルbasis vectorの像ぞうimageを列れつcolumnとして並ならべたものが行列ぎょうれつmatrixである。

この見方みかたを先さきに持もつと、行列積ぎょうれつせきmatrix productは写像しゃぞうmapの合成ごうせいcompositionになり、階数かいすうrankは像ぞうimageの次元じげんdimensionになり、核かくkernelは零れいzeroへ潰つぶれる入力方向にゅうりょくほうこうinput directionになる。内積ないせきinner productを追加ついかすると長ながさlength・角度かくどangle・射影しゃえいprojectionが導入どうにゅうされ、固有値こゆうちeigenvalueと対角化たいかくかdiagonalizationは、線型写像せんけいしゃぞうlinear mapを方向ほうこうdirectionごとの倍率ばいりつscale factorとして読よみ直なおす道具どうぐになる。

3前提ぜんていと射程しゃてい

この系列けいれつでは、有限次元ゆうげんじげんfinite-dimensionalの実じつrealまたは複素ふくそcomplexのベクトル空間くうかんvector spaceを基本対象きほんたいしょうbasic objectにする。内積ないせきinner product、特異値分解とくいちぶんかいsingular value decompositionSVD、擬似逆行列ぎじぎゃくぎょうれつpseudoinverseでは、実行列じつぎょうれつreal matrixの転置てんちtranspose $$A^T$$A^T と複素行列ふくそぎょうれつcomplex matrixの共役転置きょうやくてんちconjugate transpose $$A^{*}$$A^* を区別くべつする。正方行列せいほうぎょうれつsquare matrixだけで成立せいりつする主張しゅちょうstatementと、長方行列ちょうほうぎょうれつrectangular matrixにも拡張かくちょうできる主張しゅちょうstatementも分離ぶんりして確認かくにんする。

重要じゅうようなのは、定理ていりの結論けつろんだけでなく、その前提条件ぜんていじょうけんを保持ほじすることである。たとえば対称行列たいしょうぎょうれつsymmetric matrixの直交対角化ちょっこうたいかくかは任意にんいの対角化可能行列たいかくかかのうぎょうれつには成立せいりつしない。二次形式にじけいしきquadratic formによる極値判定きょくちはんていでは停留点ていりゅうてんであることが必要ひつようである。このような条件じょうけんを明示めいじすると、発展項目はってんこうもくへ移行いこうしても記述きじゅつの厳密性げんみつせいが保たもたれる。

4直感的ちょっかんてきな見取みとり図ず

線型代数せんけいだいすうlinear algebraの直感ちょっかんは、行列ぎょうれつmatrixを数表すうひょうarray of numbersとして眺ながめるより、空間くうかんspaceを動うごかす線型変換せんけいへんかんlinear transformationとして見みると統一とういつしやすい。

この見取みとり図ずoverviewを先さきに持もつと、掃はき出だしelimination、行列式ぎょうれつしきdeterminant、対角化たいかくかdiagonalization、直交化ちょっこうかorthogonalizationが別々べつべつの計算手順けいさんてじゅんcomputational procedureではなく、空間くうかんspaceをどう保たもち、どこを潰つぶし、どの方向ほうこうdirectionを見みやすくするかという一連いちれんseriesの操作そうさoperationとして接続せつぞくする。

5変かわるものと保存ほぞんされるもの

線型代数せんけいだいすうでは、計算けいさんそのものよりも「その操作そうさoperationで何なにを変かえ、何なにを変かえないか」を追跡ついせきすることが重要じゅうようである。同おなじ行列ぎょうれつmatrixの見みた目めが変かわっても、写像しゃぞうmapそのものや解集合かいしゅうごうが変かわらない場合ばあいがある。逆ぎゃくに、階数かいすうrankは変かわらなくても、未知数みちすうunknownの意味いみが変かわる場合ばあいもある。

この表ひょうは、後あとの講義こうぎで証明しょうめいする性質せいしつを先取さきどりしている。順序じゅんじょとしては少すこし先さきを見みることになるが、「なぜその操作そうさoperationを考かんがえるのか」は、保存ほぞんされる量りょうを知しると理解りかいしやすい。

60. 線型性せんけいせいlinearity・線型写像せんけいしゃぞうlinear map・行列ぎょうれつmatrixの列れつcolumn

最初さいしょに置おくのは、線型性せんけいせいlinearityそのものである。線型性せんけいせいlinearityとは、加法性かほうせいadditivityと同次性どうじせいhomogeneityにより、線型結合せんけいけつごうlinear combinationを作つくってから写うつしても、写うつしてから同おなじ係数けいすうcoefficientで線型結合せんけいけつごうlinear combinationしても一致いっちするという性質せいしつpropertyである。

この見方みかたを先さきに置おくと、基底きていベクトルbasis vectorの像ぞうimageだけで線型写像せんけいしゃぞうlinear mapが決きまる理由りゆうが分わかる。行列ぎょうれつmatrixの列れつcolumnは、その基底きていベクトルbasis vectorの像ぞうimageを記録きろくしたものである。以後いごの行列積ぎょうれつせきmatrix product、階数かいすうrank、可逆性かぎゃくせいinvertibility、固有値こゆうちeigenvalueは、すべてこの見方みかたの上うえに積つみ上あげる。

71. 計算道具けいさんどうぐcomputational toolの基礎きそ

線型写像せんけいしゃぞうlinear mapとしての見方みかたを持もったら、つぎに行列ぎょうれつmatrixを実際じっさいに扱あつかうための計算道具けいさんどうぐcomputational toolを整ととのえる。行列ぎょうれつmatrixの和わsum、スカラー倍ばいscalar multiplication、積せきproduct、単位行列たんいぎょうれつidentity matrix、零行列れいぎょうれつzero matrix、転置てんちtransposeは、線型写像せんけいしゃぞうlinear mapを座標表示ざひょうひょうじcoordinate representationで扱あつかうための基本語彙きほんごいbasic vocabularyである。

ここでの注意点ちゅういてんは、計算けいさんcalculationを線型写像せんけいしゃぞうlinear mapから切きり離はなさないことである。行列積ぎょうれつせきmatrix productは写像しゃぞうmapの合成ごうせいcompositionであり、単位行列たんいぎょうれつidentity matrixは何なにも変かえない写像しゃぞうmapであり、零行列れいぎょうれつzero matrixは全すべてを零れいzeroへ潰つぶす写像しゃぞうmapである。この意味いみを保たもったまま成分計算せいぶんけいさんcomponent calculationへ入はいると、計算規則けいさんきそくcalculation ruleが暗記あんきではなく構造こうぞうstructureとして見みえる。

82. 連立一次方程式れんりついちじほうていしきsystem of linear equations・基本変形きほんへんけいelementary operation・可逆性かぎゃくせいinvertibility

行列ぎょうれつmatrixを線型写像せんけいしゃぞうlinear mapとして見みると、連立一次方程式れんりついちじほうていしきsystem of linear equations $Ax=b$Ax=b は「出力しゅつりょくoutput $b$b に到達とうたつする入力にゅうりょくinput $x$x を探さがす問題もんだい」になる。掃はき出だし法ほうGaussian eliminationは解法かいほうsolution methodであると同時どうじに、階数かいすうrank、像ぞうimage、核かくkernel、自由度じゆうどdegree of freedomを判定はんていする方法ほうほうmethodである。

行基本変形ぎょうきほんへんけいelementary row operationは方程式ほうていしきequationの同値性どうちせいequivalenceを保たもつ。列基本変形れつきほんへんけいelementary column operationは列空間れつくうかんcolumn spaceと階数かいすうrankを保たもつが、未知数みちすうunknownの座標ざひょうcoordinateを変かえる。逆行列ぎゃくぎょうれつinverse matrixは、情報じょうほうinformationが失うしなわれず任意にんいの出力しゅつりょくoutputから入力にゅうりょくinputを一意いちいuniqueに復元ふくげんreconstructionできる条件じょうけんconditionとして理解りかいする。

93. 基底変換きていへんかんchange of basis・相似そうじsimilarity

基底変換きていへんかんchange of basisでは、ベクトルvectorや線型写像せんけいしゃぞうlinear mapそのものではなく、座標表示ざひょうひょうじcoordinate representationが変かわる。相似そうじsimilarityは同おなじ線型写像せんけいしゃぞうlinear mapを別べつの基底きていbasisで表あらわす関係かんけいrelationであり、対角化たいかくかdiagonalizationの準備じゅんびになる。

104. 行列式ぎょうれつしきdeterminant・体積倍率たいせきばいりつvolume scale factor・可逆性かぎゃくせいinvertibility

行列式ぎょうれつしきdeterminantは、正方行列せいほうぎょうれつsquare matrixが面積めんせきarea・体積たいせきvolumeをどれだけ伸縮しんしゅくし、向むきorientationを保たもつか反転はんてんするかを測はかる量りょうquantityである。行列式ぎょうれつしきdeterminantが 0 でないことは、空間くうかんspaceを潰つぶさず、入力にゅうりょくinputを復元ふくげんreconstructionできることと対応たいおうする。

115. 内積ないせきinner product・直交ちょっこうorthogonality・射影しゃえいprojection

線型性せんけいせいlinearityだけでは、長ながさlengthや角度かくどangleは扱あつかえない。内積ないせきinner productを入いれると、ベクトルvectorの長ながさlength、角度かくどangle、直交ちょっこうorthogonality、射影しゃえいprojectionを測はかれるようになる。直交射影ちょっこうしゃえいorthogonal projectionは、部分空間ぶぶんくうかんsubspaceへ最もっとも近ちかい点てんpointを選えらぶ操作そうさoperationであり、最小二乗法さいしょうにじょうほうleast squares methodの幾何的きかてきgeometricな理由りゆうになる。

126. 固有値こゆうちeigenvalue・固有ベクトルeigenvector・対角化たいかくかdiagonalization

固有値こゆうちeigenvalueは、固有ベクトルeigenvectorの方向ほうこうdirectionを変かえずに伸縮しんしゅくする倍率ばいりつscale factorである。対角化たいかくかdiagonalizationは、固有ベクトルeigenvectorからなる基底きていbasisを選択せんたくして線型写像せんけいしゃぞうlinear mapを方向ほうこうdirectionごとの倍率ばいりつscale factorに分解ぶんかいする方法ほうほうmethodである。

137. 内積ないせきinner productと固有値こゆうちeigenvalueの交点こうてん

対称行列たいしょうぎょうれつsymmetric matrixとエルミート行列ぎょうれつHermitian matrixでは、固有ベクトルeigenvectorを正規直交基底せいきちょっこうきていorthonormal basisとして選択せんたくできる。二次形式にじけいしきquadratic formと正定値行列せいていちぎょうれつpositive definite matrixは、固有値こゆうちeigenvalueが符号ふごうsign・凸性とつせいconvexity・最適化さいてきかoptimizationに接続せつぞくすることを確認かくにんする内容ないようである。

複素ふくそcomplexでは、正規行列せいきぎょうれつnormal matrixがユニタリ対角化たいかくかunitary diagonalizationの基準きじゅんcriterionになる。エルミート行列ぎょうれつHermitian matrixは正規行列せいきぎょうれつnormal matrixのうち固有値こゆうちeigenvalueが実数じっすうreal numberとなる特別とくべつな場合ばあいであり、二次形式にじけいしきquadratic formや正定値性せいていちせいpositive definitenessへ接続せつぞくしやすい。

複素ふくそcomplexの流ながれでは、共役転置きょうやくてんちconjugate transpose・随伴ずいはんadjointを確認かくにんしてから、エルミート行列ぎょうれつHermitian matrix、ユニタリ行列ぎょうれつ (unitary matrix)、正規行列せいきぎょうれつnormal matrixへ進すすむと理解りかいしやすい。

148. 発展はってんへの入口いりぐち

特異値分解とくいちぶんかいsingular value decompositionSVDと擬似逆行列ぎじぎゃくぎょうれつpseudoinverseは、長方行列ちょうほうぎょうれつrectangular matrixや階数落かいすうおちrank deficientの行列ぎょうれつmatrixを射影しゃえいprojection・最小二乗法さいしょうにじょうほうleast squares methodと接続せつぞくする。最小多項式さいしょうたこうしきminimal polynomialと同伴行列どうはんぎょうれつcompanion matrixは、多項式たこうしきpolynomialと行列ぎょうれつmatrixの関係かんけいを明示めいじし、ジョルダン標準形ひょうじゅんけいJordan normal formは、対角化たいかくかdiagonalizationできない行列ぎょうれつmatrixの構造こうぞうstructureを記述きじゅつする。

15演習えんしゅうリンク

講義こうぎで定義ていぎdefinitionと理由りゆうを確認かくにんしたら、演習えんしゅうexerciseでは計算けいさんcalculationできるかだけでなく、何なにを保存ほぞんpreservationし、何なにを変かえる操作そうさoperationなのかを診断しんだんする。具体例ぐたいれいworked exampleは理解りかいを固定こていするためのもの、演習問題えんしゅうもんだいexercise problemは自分じぶんで判断はんだんできるかを確認かくにんするためのものである。

16推奨順序すいしょうじゅんじょ

16.1線型性せんけいせいlinearityから入はいる推奨経路すいしょうけいろ

1. 線型性せんけいせいlinearityを加法性かほうせいadditivityと同次性どうじせいhomogeneityから確認かくにんする。
2. ベクトルvectorの基本演算きほんえんざんbasic operationを、線型性せんけいせいlinearityによって保存ほぞんpreservationされる操作そうさoperationとして確認かくにんする。
3. 線型結合せんけいけつごうlinear combinationと生成空間せいせいくうかんspanを確認かくにんする。
4. 基底きていbasisにより任意にんいarbitraryのベクトルvectorを一意いちいuniqueに表あらわせることを確認かくにんする。
5. 線型写像せんけいしゃぞうlinear mapを、基底きていベクトルbasis vectorの像ぞうimageで決きまる変換へんかんtransformationとして理解りかいする。
6. 行列ぎょうれつmatrixの列れつcolumnを、基底きていベクトルbasis vectorの像ぞうimageとして読よむ。
7. 行列ぎょうれつmatrixの積せきproductを、線型写像せんけいしゃぞうlinear mapの合成ごうせいcompositionとして整理せいりする。
8. 階数かいすうrankを像ぞうimageの次元じげんdimension、核かくkernelを零れいzeroへ潰つぶれる入力方向にゅうりょくほうこうinput directionとして読よむ。
9. 連立一次方程式れんりついちじほうていしきsystem of linear equations、行基本変形ぎょうきほんへんけいelementary row operation、可逆性かぎゃくせいinvertibilityを写像しゃぞうmapの情報保存じょうほうほぞんinformation preservationとして理解りかいする。
10. 基底変換きていへんかんchange of basisで表示ひょうじrepresentationだけを変かえる感覚かんかくを確認かくにんする。
11. 行列式ぎょうれつしきdeterminantを体積倍率たいせきばいりつvolume scale factor、内積ないせきinner productを長ながさlengthと角度かくどangle、固有値こゆうちeigenvalueを方向ほうこうdirectionごとの倍率ばいりつscale factorとして接続せつぞくする。

16.2計算けいさんから入はいる補助経路ほじょけいろ

1. 行列ぎょうれつmatrixの基本演算きほんえんざんbasic operationとサイズ条件じょうけんsize conditionを確認かくにんする。
2. 行基本変形ぎょうきほんへんけいelementary row operationと階段形かいだんけいechelon formを用もちいて掃はき出だし法ほうGaussian eliminationへ進行しんこうする。
3. 逆行列ぎゃくぎょうれつinverse matrixの計算手順けいさんてじゅんcomputational procedureと行列式ぎょうれつしきdeterminantの計算規則けいさんきそくcalculation ruleを確認かくにんする。
4. 計算けいさんcalculationで得えたピボットpivot、階数かいすうrank、行列式ぎょうれつしきdeterminantを、線型写像せんけいしゃぞうlinear mapの像ぞうimage・核かくkernel・体積倍率たいせきばいりつvolume scale factorとして読よみ直なおす。