再生核ヒルベルト空間（まとめその１）

Reproducing Kernel Hilbert Spaces in Probability and Statistics

の勉強（Exercise）のまとめその１です．

定義（再生核ヒルベルト空間）
$E$を集合としその上の複素数値関数の全体を$\mathbf{C}^E$とする．
\begin{eqnarray*}
K:E\times E&\to &\mathbf{C}\\
(s,t)&\mapsto &K(s,t)
\end{eqnarray*}
がヒルベルト空間$\mathcal{H}\subset \mathbf{C}^E$の再生核(reproducing kernel)であるとは
\begin{eqnarray*}
&{\rm i)}&~ \forall{t}\in E,\quad K(\cdot,t)\in\mathcal{H}\\
&{\rm ii)}&~ \forall{t}\in E,\quad \forall{\varphi}\in\mathcal{H}, \quad \langle \varphi, K(\cdot,t)\rangle_{\mathcal{H}}=\varphi(t)
\end{eqnarray*}
を満たすことをいう．また再生核$K$をもつヒルベルト空間$\mathcal{H}_K$を再生核ヒルベルト空間(Reproducing Kernel Hilbert Space, RKHS)という．

RKHSの性質
RKHSの定義自体はシンプルですが，色々な数学的な性質が導けます．

[性質1]
$u_n \to u$ in $\mathcal{H}_K$ $\Rightarrow$ $u_n(t)\to u(t)\quad (\forall{t}\in E)$
（ノルムの意味での収束が各点収束を意味します）

[証明]
$|u_n(t)-u(t)|=|\langle u_n-u, K(\cdot, t)\rangle_{\mathcal{H}_K}|\leq ||u_n-u||_{\mathcal{H}_K}||K(\cdot, t)||_{\mathcal{H}_K}$,
で$||K(\cdot,t)||_{\mathcal{H}_K}=[K(t,t)]^{1/2}<\infty$なので各点収束する．（終）

[性質2]
部分空間$\mathcal{H}_0\subset \mathcal{H}_K$を
\begin{eqnarray*}
\mathcal{H}_0\stackrel{\rm def}{=}\bigg\{ \sum_{i=1}^n a_iK(\cdot, t_i)\in \mathcal{H}_K \bigg| (a_1,\ldots,a_n)\in\mathbf{C}^n, (t_1,\ldots, t_n)\in E^n, n\in \mathbf{N}\bigg\}
\end{eqnarray*}
とする．つまり$\mathcal{H}_0$を$\{K(\cdot, t),t\in E\}$の張る線形空間とする．

このとき$\mathcal{H}_0$は$\mathcal{H}_K$の中で稠密である．つまり$\forall{\varphi}\in\mathcal{H}_K$は$K(\cdot, t)$の線形和で近似できる．

[性質3]
再生核$K$は正定値な関数である．逆に正定値な関数$K$があれば，$K$を再生核に持つRKHS$\mathcal{H}_K$が一意に存在する．
つまり
\begin{eqnarray*}
K({\rm positive~ definite}) \leftrightarrow \mathcal{H}_K
\end{eqnarray*}
は一対一対応である．

これら以外にも$K$と$\mathcal{H}_K$の関係がいろいろと存在します．つまり$K$が何らかの条件を満たすと$\mathcal{H}_K$の元である$f$についてもある程度の性質がわかります（たとえば$K$の連続性及び有界性と$f$の連続性など）．