内積空間ないせきくうかんinner product spaceの基本きほん

Basics of inner product spaces内積空間ないせきくうかん

1導入どうにゅう

この講義こうぎで中心ちゅうしんに置おく発想はっそうは、内積ないせきinner productを導入どうにゅうすると、ただのベクトル空間くうかんに長ながさと角度かくどの概念がいねんが加くわわり、直交ちょっこうorthogonalや最短さいたんといった幾何学的きかがくてきな概念がいねんを扱あつかえるようになることである。

ベクトル空間くうかんvector spaceだけでは、「加法かほうadditionが可能かのうである」「実数じっすうreal number倍ばいが可能かのうである」という代数的だいすうてきな構造こうぞうstructureしか存在そんざいしない。しかし内積ないせきinner productがあると、「この 2 つはどれだけ同おなじ向むきを向むいているか」「この長ながさはどれくらいか」を数値すうちnumberで表現ひょうげんできる。ここから直交基底ちょっこうきていorthogonal basisや最小二乗法さいしょうにじょうほうleast squares methodへ接続せつぞくする。

1Introduction

The central point of this lecture is that introducing an inner product内積ないせき adds length長さ and angle角度かくど to an ordinary vector spaceベクトル空間くうかん. Once this structure構造こうぞう is present, we can discuss orthogonality直交ちょっこう, shortest distance, orthogonal bases直交基底ちょっこうきてい, and the least squares method最小二乗法さいしょうにじょうほう.

A vector space by itself only has addition加法かほう and scalar multiplicationスカラー倍. An inner product lets us measure how much two vectors point in the same direction and how long a vector is.

2用語ようごと定義ていぎ

内積空間ないせきくうかんInner product space とは、ベクトル空間くうかんvector spaceに内積ないせきinner productが定義ていぎされたものである。

実内積じつないせきReal inner product とは、2 つのベクトル $$u,v$$u,v に実数じっすうreal number $$⟨u,v⟩$$\langle u,v\rangle を対応たいおうさせ、双線型性そうせんけいせい、対称性たいしょうせい、正定値性せいていちせいを満みたす写像しゃぞうmapである。

複素内積ふくそないせきComplex inner product とは、複素ふくそcomplexベクトル空間くうかんvector spaceで共役対称性きょうやくたいしょうせいconjugate symmetryと半線型性はんせんけいせいsemilinearityを含ふくむ内積ないせきinner productである。このノートでは第だい 1 変数へんすうvariableを線型せんけい、第だい 2 変数へんすうvariableを共役線型きょうやくせんけいconjugate-linearとする。

エルミート内積ないせきHermitian inner product は、複素内積ふくそないせきComplex inner productとほぼ同おなじ意味いみで使つかわれる用語ようごである。以後いごの共役転置きょうやくてんちconjugate transpose、随伴ずいはんadjoint、ユニタリ行列ぎょうれつ (unitary matrix)では、この規約きやくが前提ぜんていになる。

ノルムNorm とは、内積ないせきinner productから

で定義ていぎされる長ながさである。

2Terms and definitions

An inner product space内積空間ないせきくうかん is a vector spaceベクトル空間くうかん equipped with an inner product内積ないせき.

A real inner product実内積じつないせき assigns a real number実数じっすう $⟨u,v⟩$\langle u,v\rangle to two vectors and satisfies bilinearity双線型性そうせんけいせい, symmetry対称性たいしょうせい, and positive definiteness正定値性せいていちせい.

A complex inner product複素内積ふくそないせき on a complex複素ふくそ vector space uses conjugate symmetry共役対称性きょうやくたいしょうせい and sesquilinearity半線型性はんせんけいせい. In this series, the first variable変数へんすう is linear線型せんけい and the second variable is conjugate-linear共役線型きょうやくせんけい.

A Hermitian inner productエルミート内積ないせき is another name for the complex inner product used with conjugate transpose, adjoints, and unitary matrices.

The normノルム induced by an inner product is

3方針ほうしん

まず高校こうこうの内積ないせきinner product $$u·v$$u\cdot v で、どの性質せいしつが長ながさや直交ちょっこうorthogonalを支ささえていたかを抽出ちゅうしゅつする。そのあと、実数じっすうreal numberの場合ばあいと複素数ふくそすうcomplex numberの場合ばあいで公理こうりがどう変化へんかするかを確認かくにんする。

3Plan

We first extract the properties of the ordinary dot product点積てんせき that support length and orthogonality. Then we compare the real実じつ and complex cases, especially where complex conjugation複素共役ふくそきょうやく enters.

4直感的ちょっかんてきな説明せつめい

高校こうこうで学まなぶ内積ないせきinner product $$u·v$$u\cdot v は、「長ながさの積せきに、向むきの類似度るいじどを掛かけたもの」と解釈かいしゃくできる。同おなじ向むきなら大おおきく、直角ちょっかくなら 0、逆向ぎゃくむきなら負ふになる。この性質せいしつだけを抽象化ちゅうしょうかしたものが内積空間ないせきくうかんinner product spaceである。

4Intuitive explanation

The dot product $u·v$u\cdot v can be read as "the product of lengths times the similarity of direction." It is large and positive when vectors point in the same direction, zero at a right angle, and negative in opposite directions. An inner product space内積空間ないせきくうかん abstracts the properties needed for this interpretation.

5厳密げんみつな説明せつめい

5.11. 内積ないせきinner productの公理こうり

内積ないせきinner productの定義ていぎで重要じゅうようなのは、「平面へいめんの点積てんせきで成立せいりつしていた、長ながさと角度かくどを扱あつかうのに必要ひつような性質せいしつだけを抽出ちゅうしゅつする」ことである。

線型性せんけいせいlinearityがあると、和わや実数じっすうreal number倍ばいに対たいする計算けいさんが容易よういになる。対称性たいしょうせいがあると、「$$u$$u と $$v$$v の関係かんけい」を向むきを交換こうかんしても同おなじ量りょうとして測定そくていできる。正定値性せいていちせいがあると、$$⟨v,v⟩$$\langle v,v\rangle を長ながさの 2 乗じょうとして解釈かいしゃくしても矛盾むじゅんしない。

実じつreal内積空間ないせきくうかんinner product spaceでは、任意にんいのベクトル $$u,v,w$$u,v,w と実数じっすうreal number $$a$$a に対たいして

が成立せいりつする。

5.22. 複素ふくそcomplex内積空間ないせきくうかんinner product space

複素ふくそcomplexベクトル空間くうかんでは、対称性たいしょうせいをそのまま用もちいない。単純たんじゅんな対称性たいしょうせいでは $$⟨iv,iv⟩$$\langle iv,iv\rangle の正定値性せいていちせいと整合せいごうしないため、共役きょうやくを含ふくむ定義ていぎを採用さいようする。

このノートの規約きやくでは、

が成立せいりつする。実内積じつないせきは、この複素ふくそcomplex内積ないせきinner productから共役きょうやくが不要ふようになった場合ばあいとして理解りかいできる。

5.33. 長ながさと直交ちょっこうorthogonal

内積ないせきinner productがあれば

で長ながさを定義ていぎできる。ここで正定値性せいていちせいがあるため、根号こんごうの中なかは 0 以上いじょうで、しかも $$v\ne 0$$v\ne 0 なら正せいになる。したがってこの定義ていぎは長ながさとして自然しぜんである。

また

のとき、$$u$$u と $$v$$v は直交ちょっこうorthogonalするという。これは高校こうこうで $$u·v=\left|u\right|\left|v\right|\cos \theta$$u\cdot v=|u||v|\cos\theta だったことを想起そうきすると自然しぜんである。$$\cos \theta =0$$\cos\theta=0 の状況じょうきょうを抽象化ちゅうしょうかすると、「内積ないせきinner productが 0 なら直交ちょっこうorthogonal」という定義ていぎになる。

5.44. 高校こうこうの内積ないせきinner productとの関係かんけい

$$u=(u_1,u_2),v=(v_1,v_2)$$u=(u_1,u_2),\ v=(v_1,v_2) とすると

は高校こうこうで用もちいる内積ないせきinner productそのものである。したがって内積空間ないせきくうかんinner product spaceは、高校こうこうの図形的ずけいてきな感覚かんかくを一般化いっぱんかした概念がいねんとして理解りかいできる。

5.55. 内積ないせきinner productから導出どうしゅつされる重要じゅうような不等式ふとうしき

内積ないせきinner productがあると、コーシー・シュワルツの不等式ふとうしき

が成立せいりつする。これは角度かくどを定義ていぎしたり、射影しゃえいprojectionを考察こうさつしたりするときの土台どだいである。

証明しょうめいの発想はっそうは、「長ながさの 2 乗じょうは負ふにならない」という正定値性せいていちせいを用もちいることである。まず実内積空間じつないせきくうかんでは、任意にんいの実数じっすうreal number $$t$$t に対たいして

は 0 以上いじょうである。これを展開てんかいすると

となる。これは $$t$$t の 2 次式じしきで、すべての $$t$$t で 0 以上いじょうであるため、判別式はんべつしきは 0 以下いかである。したがって

すなわち

である。ここで $$⟨u,u⟩=\parallel u{\parallel }^2$$\langle u,u\rangle=\|u\|^2、$$⟨v,v⟩=\parallel v{\parallel }^2$$\langle v,v\rangle=\|v\|^2 を用もちいれば

を得える。

複素内積空間ふくそないせきくうかんでは、判別式はんべつしきによる実数じっすうreal number $$t$$t の議論ぎろんだけでは不十分ふじゅうぶんである。このノートの規約きやくでは第だい 1 変数へんすうが線型せんけいなので、$$v\ne 0$$v\ne0 のとき

と置おく。すると

である。分母ぶんぼの $⟨v,v⟩$\langle v,v\rangle は、$v\ne 0$v\ne0 と正定値性せいていちせいにより正せいの実数じっすうreal numberなので、0 除算じょさんは起おきない。また、このノートでは第だい 1 変数へんすうを線型せんけいにしているため、$\alpha$\alpha は上うえの形かたちになる。第だい 2 変数へんすうを線型せんけいとする流儀りゅうぎでは共役きょうやくの位置いちが変かわる。

この選えらび方かたにより $u-\alpha v$u-\alpha v は $v$v に直交ちょっこうorthogonalする。つまり、$u$u を $v$v 方向ほうこうの成分せいぶんcomponentと、それに直交ちょっこうorthogonalする成分せいぶんcomponentへ分わけている。直交分解ちょっこうぶんかいにより

を得える。したがって

となり、同おなじ不等式ふとうしきが成立せいりつする。$$v=0$$v=0 の場合ばあいは自明じめいである。

実内積空間じつないせきくうかんでは、$$u\ne 0,v\ne 0$$u\ne 0,\ v\ne 0 なら

と定義ていぎしても、コーシー・シュワルツの不等式ふとうしきによって右辺うへんright-hand sideはかならず $$-1$$-1 から $$1$$1 の間あいだに入はいる。したがって逆余弦ぎゃくよげんを用もちいて角度かくど $$\theta$$\theta を定義ていぎできる。つまりコーシー・シュワルツの不等式ふとうしきは、外形上がいけいじょうは単たんなる評価式ひょうかしきであるが、内積空間ないせきくうかんinner product spaceで角度かくどを記述きじゅつするための基礎きそそのものである。

複素内積空間ふくそないせきくうかんでは $$⟨u,v⟩$$\langle u,v\rangle が一般いっぱんに複素数ふくそすうcomplex numberであるため、$$⟨u,v⟩/(\parallel u\parallel \parallel v\parallel )$$\langle u,v\rangle/(\|u\|\|v\|) をそのまま $$\cos \theta$$\cos\theta として使用しようしない。複素数ふくそすうcomplex numberそのものは大小関係だいしょうかんけいを持もたず、逆余弦ぎゃくよげんの入力にゅうりょくとして扱あつかえないためである。複素ふくそcomplexの場合ばあいは、まず

と直交性ちょっこうせい $$⟨u,v⟩=0$$\langle u,v\rangle=0 を基本きほんにする。角度かくどを導入どうにゅうする場合ばあいは、実部じつぶを用もちいるか、実内積空間じつないせきくうかんとして扱あつかい直なおすかを明示めいじする必要ひつようがある。

5Precise explanation

5.11. Axioms of an inner product内積ないせき

For a real inner product space, for all vectors $u,v,w$u,v,w and real scalar $a$a,

and

Linearity線型性せんけいせい makes algebraic calculation possible, symmetry measures the relation between $u$u and $v$v independently of order, and positive definiteness lets $⟨v,v⟩$\langle v,v\rangle behave as squared length長さの二乗.

5.22. Complex inner product spaces

In a complex vector space, ordinary symmetry is not compatible with positivity. For example, a length squared must not become negative when a vector is multiplied by $i$i. Therefore the definition uses complex conjugation.

With the convention in this series,

and

The real case is the special case in which conjugation has no visible effect.

5.33. Length and orthogonality直交ちょっこう

An inner product defines length by

Positive definiteness ensures the expression under the square root is nonnegative and is positive for $v\ne 0$v\ne0.

Vectors $u$u and $v$v are orthogonal直交ちょっこう if

This abstracts the condition $\cos \theta =0$\cos\theta=0 from the familiar formula $u·v=\left|u\right|\left|v\right|\cos \theta$u\cdot v=|u||v|\cos\theta.

5.44. Relation to the high-school dot product

For $u=(u_1,u_2)$u=(u_1,u_2) and $v=(v_1,v_2)$v=(v_1,v_2),

is exactly the usual dot product in the plane. Inner product spaces generalize this geometric intuition.

5.55. Cauchy-Schwarz inequality

Every inner product satisfies the Cauchy-Schwarz inequalityコーシー・シュワルツの不等式ふとうしき

In a real inner product space, the proof uses the fact that

for all real $t$t. Expanding gives a quadratic in $t$t whose discriminant is nonpositive, hence

In a complex inner product space, one may take

for $v\ne 0$v\ne0 under the convention that the first variable is linear. Then $u-\alpha v$u-\alpha v is orthogonal to $v$v, and the orthogonal decomposition gives the same inequality. The case $v=0$v=0 is immediate.

For real inner product spaces, Cauchy-Schwarz justifies defining

for nonzero $u,v$u,v, because the right-hand side lies between $-1$-1 and $1$1. In complex inner product spaces, $⟨u,v⟩$\langle u,v\rangle is generally complex, so one does not use that quotient directly as $\cos \theta$\cos\theta without further conventions.

6どこまで成立せいりつするか

この講義こうぎの角度かくどの式しきは実内積空間じつないせきくうかんを基本きほんにする。複素ふくそcomplex内積空間ないせきくうかんinner product spaceでは、どちらの変数へんすうを線型せんけいとするかの規約きやくに応おうじて射影しゃえいprojectionや直交展開ちょっこうてんかいの係数けいすうcoefficientに共役きょうやくが現あらわれる。定義ていぎの段階だんかいで実じつrealと複素ふくそcomplexを区別くべつすることが重要じゅうようである。

6Scope and limitations

The angle formula in this lecture is primarily for real inner product spaces. In complex inner product spaces, projection coefficients and orthogonal expansions depend on which variable is chosen to be linear. It is important to distinguish the real and complex definitions at the start.

7判定基準はんていきじゅん

• 長ながさ、角度かくど、直交ちょっこうorthogonal、射影しゃえいprojectionのような概念がいねんが表あらわれたら、内積ないせきinner productを導入どうにゅうした空間くうかんとして解釈かいしゃくする必要ひつようがある。
• 線型代数せんけいだいすうで「基底きていbasisを選択せんたくする」とき、ただ一次独立いちじどくりつlinear independenceなだけでなく直交ちょっこうorthogonalまで要求ようきゅうするなら、内積空間ないせきくうかんinner product spaceの議論ぎろんである。
• 最小二乗さいしょうにじょうやフーリエ級数きゅうすうの入口いりぐちにおいても、背景はいけいにあるのは内積ないせきinner productである。

7Criteria

• If length, angle, orthogonality直交ちょっこう, or projection appears, work in an inner product space.
• If a basis is required to be orthogonal or orthonormal, ordinary linear independence is not enough; inner product structure is being used.
• Least squares and Fourier expansions both rely on inner products.

8最終形さいしゅうけい

8Final forms

9一言ひとことでいうと

• 内積空間ないせきくうかんinner product spaceは、ベクトル空間くうかんに長ながさと角度かくどを導入どうにゅうするための枠組わくぐみである。

内積ないせきinner productは、代数的だいすうてきなベクトルに長ながさ、角度かくど、直交ちょっこうorthogonalityという幾何的きかてきな意味いみをあたえる規則きそくである。重要じゅうようなのは公式こうしきだけでなく公理こうりである。正値性せいちせいは非零ひれいベクトルの長ながさが 0 にならないことを保証ほしょうし、線型性せんけいせいは計算けいさんをささえ、複素ふくそでは共役対称性きょうやくたいしょうせいが必要ひつようになる。

コーシー・シュワルツの不等式ふとうしきは、公理こうりから幾何きかへ移うつる橋はしである。$$|⟨x,y⟩|\text{[PARSE ERROR: Undefined("Command("le")")]}\parallel x\parallel \parallel y\parallel$$|\langle x,y\rangle|\le \|x\|\|y\| をあたえ、次つぎのノルムの講義こうぎで扱あつかう三角不等式さんかくふとうしきにつながり、等号とうごうが成立せいりつするのは 2 つのベクトルが一次従属いちじじゅうぞくlinearly dependentな場合ばあいだと示しめす。等号条件とうごうじょうけんや境界きょうかいケースは、定理ていりのおまけではなく内容ないようの一部いちぶである。

9In one sentence

An inner product space内積空間ないせきくうかん is the framework that adds length, angle, and orthogonality to a vector space.

An inner product内積ないせき is a rule that turns algebraic vectors into geometric objects with length, angle, and orthogonality直交ちょっこう. The important point is not only the formula but the axioms: positivity prevents nonzero vectors from having zero length, linearity controls calculation, and conjugate symmetry is essential over complex scalars.

Cauchy-Schwarz is the bridge from the axioms to geometry. It proves the estimate $|⟨x,y⟩|\text{[PARSE ERROR: Undefined("Command("le")")]}\parallel x\parallel \parallel y\parallel$|\langle x,y\rangle| \le \|x\|\|y\|, leads to the triangle inequality for the induced norm developed in the next norm lecture, and identifies equality as the case where the two vectors are linearly dependent. These equality and boundary cases are part of the theorem, not optional details.

10定理ていりと証明しょうめい：Cauchy-Schwarz の不等式ふとうしき

内積空間ないせきくうかんで、任意にんいの $u,v$u,v について

が成立せいりつする。

$v=0$v=0 の場合ばあいは両辺りょうへんが 0 なので成立せいりつする。以下いかでは $v\ne 0$v\ne0 とする。

任意にんいのスカラーscalar $t$t について

である。ここで

とおく。$v\ne 0$v\ne0 なので $⟨v,v⟩=\parallel v{\parallel }^2\ne 0$\langle v,v\rangle=\|v\|^2\ne0 であり、ここでの除算じょざんは正当せいとうである。展開てんかいすると

となる。両辺りょうへんに $\parallel v{\parallel }^2>0$\|v\|^2>0 を掛かけて

を得える。両辺りょうへんは非負ひふなので平方根へいほうこんを取とって結論けつろんが従したがう。

10Theorem and proof: Cauchy-Schwarz inequality

For all $u,v$u,v in an inner product space,

If $v=0$v=0, both sides are $0$0. Assume $v\ne 0$v\ne0. With the convention used here, take

Since $⟨v,v⟩=\parallel v{\parallel }^2>0$\langle v,v\rangle=\|v\|^2>0, this is valid. From

and expansion, we obtain

Multiplying by $\parallel v{\parallel }^2>0$\|v\|^2>0 gives

Taking square roots gives the conclusion.

11演習えんしゅうリンク

11Exercise link

12関連かんれんリンク

12Related links