計画行列

最小二乗問題
回帰モデル

定式化
minimize 

計画行列( design matrix )

正規方程式( normal equation )

計画行列の見方1


基底関数は入力を特徴空間へ写像していると考えると，

として，問題は 空間の入力をとる線形回帰モデル

による線形回帰に帰着する。
このとき計画行列は単に

となる。
つまり，入力データを行順に詰めた行列である。

計画行列の見方2


関数を並べたものだと思うと，以下はグラム行列とみなせる。

計画行列の見方3


添字付けられた関数の「集合」とみなす。

「データ」を実数全体からとると，一本一本は完全に関数を記述することになる。

添字集合にも実数全体をとると，関数族は新たに一つの関数とみなすのが自然である。


逆に，「行列」を関数とみなすこともできる。


上記の連続拡張において，グラム行列は内積(カーネル)に拡張されると考えるのが自然である。