Introduction to Linear Algebra Chapter 3

2019/05/12

この記事では世界標準MIT教科書 ストラング:線形代数イントロダクションの第3章をまとめる。

3.1 ベクトルの空間

ベクトル空間の定義

ベクトル空間の定義において、ベクトル和$x + y$とスカラー積$cx$は以下の8つの規則に従う必要がある。

  1. $x + y = y + x$
  2. $x + (y + z) = (x + y) + z$
  3. 零ベクトルが唯一存在し、任意の$x$について$x + 0 = x$
  4. 各$x$についてベクトル$-x$が唯一存在し、$x + (-x) = 0$
  5. $1$と$x$の積は$x$に等しい
  6. $(c_1c_2)x = c_1(c_2x)$
  7. $c(x + y) = cx + cy$
  8. $(c_1 + c_2)x = c_1x + c_2x$

これら8つの規則を満たす時、ベクトル和とスカラー積はそのベクトル空間について閉じている。つまり、空間内のベクトルを用いた線形結合の結果は同じ空間内にある。

ベクトル空間$\R^n$

$\R^n$は、$n$個の実数要素を持つ列ベクトル$v$の全てから成る。

値が0の要素も1つとして数えられる。$v = (1, 2, 0)$は$\R^3$に含まれ、決して$\R^2$には含まれない。

部分空間の定義

ベクトル空間$V$に含まれるベクトルの集合$S$を考える。 $S$の任意のベクトル$v$と$w$, 任意のスカラー$c$と$d$について、$cv + dw$が$S$に含まれる時、$S$は$V$の部分空間と呼ばれる。

Aの列空間

$m \times n$の行列$A$について、列ベクトルの線形結合の全てから成る集合を$A$の列空間を呼び、$C(A)$と表す。この時$C(A)$は$\R^m$の部分空間となる。

$C(A)$は$Ax$が取り得る解の全ての集合である。$Ax = b$が解を持つのは$b$が$C(A)$に含まれる時であり、その時に限る。

3.2 Aの零空間: Ax = 0を解く

階段行列$U$

行列$A$について消去を行う。この際、ピボットが0となり行の交換による非零化が行えなかった場合、その列のピボットは無いものとして次の列へ進む。

これによりピボットの下方向の値が全て0になったものを階段行列$U$と呼ぶ。

行簡約階段行列$R$

行列$A$を階段行列$U$に変形させ、更に以下の手順で消去を続けたものを行簡約階段行列$R$と呼ぶ。

  1. ピボットの上方向について消去を行う
  2. 各行をピボットの値で割る

$A$を$R$に変形させることを$rref(A)$と表す。

$A$が可逆行列である時、$rref(A) = I$となる。

ピボット列・ピボット行

行列$A$を$U$または$R$に変形するとピボットの位置が判明する。ピボットを持つ列をピボット列、行をピボット行と呼ぶ。

自由変数・ピボット変数

$Ax$は、$A$の各列の$x_i$による線形結合である。$A$のピボット列が判明した時、ピボット列の$x_i$をピボット変数、それ以外の列の$x_j$を自由変数と呼ぶ。

零空間

$m \times n$の行列Aについて、$Ax = 0$の解すべての集合を$A$の零空間と呼び、$N(A)$と表す。この時$N(A)$は$\R^n$の部分空間となる。

$A$が可逆行列であるとき、$N(A)$には零ベクトルのみが存在する。非可逆行列については非零ベクトルが存在する。

特解の求め方

$Ax = 0$となる、ある$x$を$A$の特解と呼ぶ。

特解は以下の手順で求める。

  1. $A$を行簡約階段行列$R$にする
  2. 自由変数から1つの変数$x_i$を選び、$x_i = 1$とする
  3. 2で選ばなかった自由変数を全て0とする
  4. 後進代入によりピボット変数の値を求める

自由変数がN個ある時、手順2でどの変数を選ぶのかにより特解がN個得られる。$N(A)$はこれらの特解すべての線形結合から成る。

$Ax = 0$を消去によって解く

行列$A$の行簡約階段行列$R$を求め、$n$個の自由変数$x_i$に対する特解$s_i$を求める。この時$Ax = 0$に対する一般解$x_n$が以下のように求まる。

$$ x_n = \sum_{i=1}^{n}x_is_i $$

3.3 階数と行簡約階段行列

階数$r$

行列$A$のピボットの個数を、$A$の階数$r$と呼ぶ。

ピボット列の特徴

行列$A$を$U$や$R$に変形した際、ピボット列の位置は変化しない。

各ピボット列は線形独立である。つまり、ピボット列はそれ以前の列ベクトルの線形結合ではない。逆に、自由変数はそれ以前の列ベクトルの線形結合である。

自由変数とピボット変数の数

$m \times n$の行列$A$の階数が$r$である時、ピボット変数は$r$個、自由変数は$n - r$個存在する。

零空間行列$N$

行列$A$の特解を列ベクトルとした行列を、零空間行列$N$と呼ぶ。$AN = 0$となる。

$A$の最初のr列がピボット列である時、$R$は以下のようになる。

$$ R = \begin{bmatrix} I_{r \times r} & F_{r \times (n - r)} \\ 0_{(m - r) \times r} & 0_{(m - r) \times (n - r)} \end{bmatrix} $$

また、$N$は以下のようになる。

$$ N = \begin{bmatrix} -F_{r \times (n - r)} \\ I_{(n - r) \times (n - r)} \end{bmatrix} $$

3.4 Ax = bの一般解

$Ax = b$についても$R$に変形することで解ける。ただし、変形する行列は拡大行列$[A\ b]$である。

$Ax = b$が解を持つ条件

$A$が$m \times n$, 階数が$r$であるとき、$[R\ d]$への変形により$A$の部分が零からのみ成る行が$m - r$行発生する。この時、その行の$b$の部分が0であることが解を持つ条件である。

$Ax = b$の特殊解$x_p$

$[A\ b]$を変形により$[R\ d]$にし、自由変数の値を全て0として後進代入を行った結果を$A$の特殊解$x_p$と呼ぶ。

$Ax = b$の一般解

$Ax = b$の一般解は、特殊解$x_p$とn - r個の特解$x_n$の和である。

列について非退化

$m \times n$の行列$A$について、$r = n$である時に「列について非退化」と呼ぶ。

$A$が列について非退化である場合、以下の性質の全てを満たす。

  1. $A$の全ての列はピボット列
  2. 自由変数や特解が無い
  3. 零空間$N(A)$は零ベクトルのみから成る
  4. $Ax = b$が解を持つならば、それは唯一解である (解を持たない場合もある)

つまり、$A$は線形独立な列ベクトルから成る。

行について非退化

$m \times n$の行列$A$について、$r = m$である時に「行について非退化」と呼ぶ。

$A$が行について非退化である場合、以下の性質の全てを満たす。

  1. 全ての行にピボットがあり、$R$には零からなる行がない
  2. $Ax = b$は任意の右辺$b$に対して解を持つ
  3. 列空間は$\R^m$の空間全体である
  4. $A$の零空間には$n - r$個の特解がある

m, n, rの関係

行列$A$の行数$n$, 列数$m$, 階数$r$が判明している時、解の個数が推測できる。

3.5 線形独立、基底、次元

線形独立の定義

1.3 行列で述べたとおり、$Ax = 0$に1つの解を持つ時、その列ベクトルは線形独立となる。そしてその解とは零ベクトルである。

様々な表現により線形独立・従属を言い表せる。

「張る」の定義

ベクトルの集合の線形結合によって空間が満たされる時、その集合は空間を張る

この時、ベクトルの集合は線形独立・従属を問わない。

$A$の行空間

3.1 ベクトルの空間で列空間を定義し、$C(A)$と表した。

同様に行ベクトルによって張られる$\R^n$の部分空間を行空間と呼び、$C(A^T)$と表す。

ベクトル空間の基底

ある空間を張るために必要十分なベクトルを基底と呼ぶ。基底ベクトルは以下の2つの性質を持つ。

  1. 空間を張る
  2. 線形独立である

部分空間において、基底は1つに定まらない。ただし基底を1つ得た時、部分空間内のベクトル$v$をその基底の線形結合として表す方法は1通りしかない。

ある部分空間のどの基底においても、ベクトルの個数は同じである。(後述)

標準基底

$n \times n$の単位行列の列ベクトルを$\R^n$の標準基底と呼ぶ。

基底の求め方

行列$A$について、$A$のピボット列はその列空間の基底である。同様にピボット行はその行空間の基底である。

$A$と$R$の列空間は異なることに注意せよ。$R$の基底は$A$の基底になり得ない。

$A$と$R$の行空間は等しいため、基底もまた等しい。

ベクトル空間の次元

各基底に含まれるベクトルの個数を空間の次元と呼ぶ。

ピボット列が列空間$C(A)$の基底であるため、$C(A)$の次元は階数$r$である。

行列空間の基底

列ベクトル以外に対しても基底は存在する。

例えば$2 \times 2$の行列から成る空間は4次元であり、以下の標準基底を持つ。

$$ \begin{bmatrix} 1 & 0 \\ 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 1 \\ 0 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 \\ 1 & 0 \end{bmatrix}, \begin{bmatrix} 0 & 0 \\ 0 & 1 \end{bmatrix} $$

より一般的に、$n \times n$について以下が言える。

3.6 4つの部分空間の次元

4つの基本部分空間

これまでに述べた基本的な部分空間をまとめ、更に1つの部分空間を追加する。

  1. 行空間 $C(A^T)$ ($\R^n$の部分空間)
  2. 列空間 $C(A)$ ($\R^m$の部分空間)
  3. 零空間 $N(A)$ ($\R^n$の部分空間)
  4. 左零空間 $N(A^T)$ ($\R^m$の部分空間)

Rに対する4つの基本部分空間

行簡約階段行列$R$に対する4つの基本部分空間の次元と基底をまとめる。

次元 基底
$C(R^T)$ $r$ $R$の非零行
$C( R )$ $r$ $R$のピボット列
$N( R )$ $n-r$ $R$の特解
$N(R^T)$ $m-r$ $I$の最後の$m-r$行

Aに対する4つの基本部分空間

行列$A$に対する4つの基本部分空間の次元と基底をまとめる。

次元 基底
$C(A^T)$ $r$ $rref(A)$の非零行
$C(A)$ $r$ $A$のピボット列
$N(A)$ $n-r$ $rref(A)$の特解
$N(A^T)$ $m-r$ $E$の最後の$m-r$行

線形代数の第1基本定理

4つの基本部分空間の次元をまとめたものを、第1基本定理と呼ぶ。

  1. 列空間と行空間の次元はいずれも$r$
  2. 零空間の次元は$n-r$と$m-r$

階数1の行列

階数が1の場合、行列$A$は2つのベクトルの積$uv^T$として表せる。