信号処理のための線形代数入門―特異値解析から機械学習への応用まで [単行本]

第1章　ベクトルと行列
1.1　行列に関する基礎的な事柄
　　1.1.1　行列の定義
　　1.1.2　列ベクトルと行ベクトル
　　1.1.3　正方行列
　　1.1.4　行列の和と積
　　1.1.5　逆行列と直交行列
1.2　行列式に関する基礎的な事柄
　　1.2.1　行列式の定義
　　1.2.2　行列式の持つ特性
1.3　ベクトルに関する基礎的な事柄
　　1.3.1　内積，外積およびノルム
　　1.3.2　行列の列ベクトルおよび行ベクトルによる表記
1.4　ベクトルの線形独立および直交性
　　1.4.1　ベクトルの線形結合と線形独立
　　1.4.2　ベクトルの正規直交性
1.5　行列に関する計算規則
　　1.5.1　基本的な計算規則
　　1.5.2　分割された行列に関する計算規則
1.6　ベクトルと行列のノルム
　　1.6.1　ベクトルのノルム
　　1.6.2　行列のノルム
　問題

第2章　行列の特異値展開
2.1　行列の固有値と固有ベクトル
　　2.1.1　定義と基本的な事柄
　　2.1.2　固有ベクトルの線形独立性
　　2.1.3　行列の対角化
　　2.1.4　実対称行列の固有値と固有ベクトル
2.2　半正定値行列の固有値と固有ベクトル
　　2.2.1　半正定値行列とは
　　2.2.2　FTFとFFTの固有値と固有ベクトルの関係
　2.3　行列の特異値展開
　　2.3.1　特異値展開の導入
　　2.3.2　行列の特異値展開による表現
　　2.3.3　行列のランク
2.4　正方行列の特異値展開
　　2.4.1　半正定値行列の場合：固有値展開との関係
　　2.4.2　逆行列の特異値展開による表現
2.5　特異値の性質と行列のノルム
2.6　補遺：実対称行列の固有ベクトルの直交性
問題

第3章　ベクトル空間
3.1　ベクトル空間の定義
3.2　部分空間
3.3　線形結合，スパンおよび基底
3.4　行列に関する4つの部分空間
　　3.4.1　行列の列空間と行空間
　　3.4.2　行列の2つの零空間
3.5　特異値展開と行列の4つの部分空間
　3.5.1　分割行列に対する列空間と零空間の関係
　3.5.2　特異値ベクトルで表した4つの部分空間
3.6　ベクトル空間の次元
　　3.6.1　列（行）ベクトルの線形独立性
　　3.6.2　ベクトル空間に含まれる線形独立なベクトルの数
　　3.6.3　次元の定義と一意性
3.7　共通部分空間と部分空間の和
3.8　部分空間の角度
3.9　直和と補空間
　　3.9.1　部分空間の直和
　　3.9.2　補空間と直交補空間
問題

第4章　線形方程式と最小二乗法
4.1　最小二乗解
4.2　正射影と射影行列
　　4.2.1　正射影
　　4.2.2　射影行列
4.3　正射影を用いた最小二乗法の解釈
4.4　ミニマムノルム解
4.5　係数行列Hが特異行列に近い場合への対応
　　4.5.1　Hの特異値スペクトルとランクの推定
　　4.5.2　条件数
　　4.5.3　擬似逆行列解
　　4.5.4　正則化
問題

第5章　センサーアレイデータにおける信号とノイズの分離
5.1　センサーアレイを用いた計測
5.2　計測データの表現
　　5.2.1　信号の表現と基本的な定義
　　5.2.2　センサー応答ベクトル
　　5.2.3　低ランク信号モデリングと信号部分空間
　　5.2.4　時系列計測データの行列表現
5.3　信号部分空間の推定
　　5.3.1　ES=C(BS)の証明
　　5.3.2　C(BS)=C(B)の証明
5.4　信号とノイズの分離：信号部分空間投影
　　5.4.1　ノイズ除去への応用
　　5.4.2　妨害信号除去への応用
5.5　補遺：信号部分空間の最尤推定
　問題

第6章　時間領域での信号とノイズの分離
6.1　時間領域における信号部分空間の定義
6.2　時間領域の信号部分空間投影
6.3　妨害信号の除去
　　6.3.1　妨害信号に対する信号部分空間投影
　　6.3.2　適応ノイズ除去
　　6.3.3　適応ノイズ除去：従来の導出
6.4　共通部分空間投影
　　6.4.1　共通部分空間とは
　　6.4.2　部分空間の角度と角度ベクトルの計算
　　6.4.3　共通部分空間投影による妨害信号の除去
　　6.4.4　共通部分空間投影の妥当性
　問題

第7章　信号源推定
7.1　問題の定式化
7.2　非線形最小二乗法を用いた解
7.3　ノイズ部分空間の性質を用いた信号源推定法
　　7.3.1　ノイズ部分空間の性質
　　7.3.2　MUSICアルゴリズム
　　7.3.3　多次元MUSICアルゴリズム
7.4　ビームフォーミング
　　7.4.1　空間フィルター
　　7.4.2　ミニマムノルムフィルター
　　7.4.3　ビームフォーマー重みベクトルの導出
　　7.4.4　重みベクトルの特性
　　7.4.5　ビームフォーマーパワー出力とMUSICメトリックの関係
　　7.4.6　信号源の相関の影響
　　7.4.7　出力のSN比とアレイミスマッチ
問題

第8章　ベイズ機械学習の基礎
8.1　ベクトル確率変数と多変量正規分布
　　8.1.1　ベクトル確率変数
　　8.1.2　多変量正規分布
8.2　ガウス確率モデルとベイズ線形回帰
　　8.2.1　ガウス確率モデル
　　8.2.2　事後確率分布の導出
　　8.2.3　周辺分布の導出
　　8.2.4　ハイパーパラメータの学習
　　8.2.5　スパースベイズ学習
8.3　混合ガウスモデルとハイパーパラメータの学習
　　8.3.1　混合正規分布
　　8.3.2　ハイパーパラメータの学習
問題

第9章　数値実験
9.1　コンピュータシミュレーションの設定
9.2　ノイズ除去実験
9.3　妨害信号除去
　　9.3.1　空間的な信号部分空間投影による妨害信号除去
　　9.3.2　時間的な信号部分空間投影による妨害信号除去
9.4　信号源推定
9.5　スパースベイズ学習に関するコンピュータシミュレーション
9.6　到来方向推定
9.7　混合ガウスモデルを用いたクラスター分離
9.8　ベイズ線形回帰のコンピュータシミュレーション

付録　数学的補足
A.1　確率と統計についての補足
　　A.1.1　確率分布・期待値・分散
　　A.1.2　最尤推定法
　　A.1.3　ベイズ推定
A.2　逆行列と微分の公式
　　A.2.1　スカラーの行列・ベクトルでの微分
　　A.2.2　行列に関するいくつかの公式

問題の解答

信号処理や機械学習等の応用の立場から線形代数を学び直すための再入門書。応用で重要となる，固有値や特異値の持つ意味を徹底解説。

信号処理や機械学習において，重要な手法が線形代数を用いて導出され，線形代数の言葉で記述されている。それにもかかわらず，応用を想定して書かれた線形代数の教科書はあまり存在しないため，応用を目指して線形代数を学ぼうとする読者は，定理と証明が延々と続く中で「今何を目指しているのか」わからなくなり興味を失ってしまうこともある。
　本書はこのような方たちを対象とした線形代数の再入門書である。道具としての線形代数を考えた場合，事柄の重要度は通常の線形代数の教科書とは異なる。例えば，行列の固有値や特異値を計算する場合でも，これらの計算法そのものは重要ではなく，固有値や特異値がその応用においてどんな意味を持っているのかを考えられることが重要である。
　本書では1～3章を線形代数の基礎にあて，4～8章では信号処理と機械学習において特異値展開やベクトル空間の概念がどのように現実世界の問題解決に用いられるかを解説する。これらの章で述べたアルゴリズムについての数値実験を9章で行う（コードは共立出版ホームページからダウンロード可）。

関原 謙介(セキハラ ケンスケ)
首都大学東京名誉教授、工学博士。１９７６年東京工業大学物理情報工学修士課程卒業後、日立製作所中央研究所メディカルシステム部にてＸ線ＣＴやＭＲＩ、生体磁気イメージング等の画像診断機器の研究・開発に従事する。１９９６年より２０００年まで科学技術振興事業団「心表象」プロジェクトにおいて認知グループ研究リーダー。同プロジェクトにおいて脳機能イメージングの研究を行う。２０１５年まで首都大学東京システムデザイン学部教授。２０１５年４月より東京医科歯科大学ジョイントリサーチ講座客員教授。株式会社シグナルアナリシス代表。ＩＥＥＥ　ｆｅｌｌｏｗ、ＩＳＦＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｏｃｉｅｔｙ　ｏｆ　Ｆｕｎｃｔｉｏｎａｌ　Ｓｏｕｒｃｅ　Ｉｍａｇｉｎｇ）ｆｅｌｌｏｗ。専門：逆問題、信号源再構成法。特に脳や心臓、脊髄等からの生体磁場信号の計測と処理の研究