再生核ヒルベルト空間（演習その１）

演習問題のまとめその１（第１章）です．

[9]

$K$を$E\times E$上の正定値関数とする．$E$上の関数$f$が$K$を再生核に持つRKHS$\mathcal{H}_K$の元であることと，ある正の定数$\lambda$が存在して$K(s,t)-\lambda f(s)\overline{f(t)}$が正定値関数であることは同値であることを示せ．

[証明]
($\Rightarrow$)
$0<\lambda <1/||f||$を固定する．
任意の$(a_1,\ldots, a_n)\in\mathbf{C}^n$と$(t_1,\ldots,t_n)\in E^n$に対して再生核の性質とコーシー・シュワルツの不等式から
\begin{eqnarray*}
&&\sum_{i=1}^n\sum_{j=1}^n a_i\overline{a_j}(K(t_i,t_j)-\lambda f(t_i)\overline{f(t_j)})\\
&=&\sum_{i,j} a_i\overline{a_j}\langle K(\cdot, t_j), K(\cdot, t_i)\rangle -\sum_{i,j}(\sqrt{\lambda}a_if(t_i))\overline{(\sqrt{\lambda}a_jf(t_j))}\\
&=&\bigg\|\sum_i \overline{a_i}K(\cdot, t_i)\bigg\|^2-\bigg|\sum_i \sqrt{\lambda}a_if(t_i) \bigg|^2\\
&=&\bigg\|\sum_i \overline{a_i}K(\cdot, t_i)\bigg\|^2-\bigg|\sum_i \sqrt{\lambda}a_i\langle f, K(\cdot, t_i)\rangle \bigg|^2\\
&=&\bigg\|\sum_i \overline{a_i}K(\cdot, t_i)\bigg\|^2-\bigg|\langle f, \sum_i \sqrt{\lambda}\overline{a_i}K(\cdot, t_i)\rangle \bigg|^2\\
&\geq & \bigg\|\sum_i \overline{a_i}K(\cdot, t_i)\bigg\|^2-\lambda \|f\|\bigg\|\sum_i \overline{a_i}K(\cdot, t_i)\bigg\|^2\\
&\geq &0.
\end{eqnarray*}

($\Leftarrow$)
$K_f(s,t)\stackrel{\rm def}{=}f(s)\overline{f(t)}$とする．明らかに$K_f$は正定値であり，$K_f$を再生核に持つRKHSは$\{\alpha f|\alpha \in \mathbf{C}\}$に等しい．何故ならば$\mathcal{H}_0\stackrel{\rm def}{=}\{\sum_i a_iK_f(\cdot, t_i)|a_i\in\mathbf{C},t_i\in E\}=\{af|a\in \mathbf{C}\}$とすると$\mathcal{H}_0$は完備である．実際$\{u_n=\sum_{i=1}^{k_n}a_i^{(n)} f\stackrel{\rm def}{=}\alpha_n f\}\subset\mathcal{H}_0$をコーシー列とすると，$\|u_m-u_n\|_{\mathcal{H}_0}=|\sum_{j=1}^{k_m}a_j^{(m)}-\sum_{i=1}^{k_n}a_i^{(n)}|=|\alpha_m-\alpha_n|$．$\{u_m\}$はコーシー列であり$\mathbf{C}$は完備なので，$\alpha_n \to\exists{\alpha} \in \mathbf{C}$．$u\stackrel{\rm def}{=}\alpha f\in\mathcal{H}_0$とすると$||u_n-u||_{\mathcal{H}_0}=|\alpha_n-\alpha|\to 0$より$\mathcal{H}_0$は完備．これより$\bar{\mathcal{H}}_0=\mathcal{H}_{K_f}=\{\alpha f|\alpha\in\mathbf{C}\}$．

ここで仮定から$\frac{1}{\lambda}K-K_f$は正定値であるから，Aronszajn(1950)の結果（p30, THEOREM12）から$\mathcal{H}_{K_f}\subset \mathcal{H}_{K}$．よって$f\in\mathcal{H}_K$．（終）

[10]
$l^2(\mathbf{N})$（数列空間）と$L^2(0,1)$を考えることによって，RKHSという性質はヒルベルト空間の同型に関して不変ではないことを示せ．

[証明]
$l^2(\mathbf{N})$と$L^2(0,1)$は共に可分なヒルベルト空間であるから同型である（互いの完全正規直交系を$\{e_i\}$と$\{f_i\}$とすれば$e_i\mapsto f_i$が同型を与える）．

$l^2(\mathbf{N})$はRKHSである．実際$K(i,j)\stackrel{\rm def}{=}\delta_{ij}$（クロネッカーのデルタ）とすれば再生核の定義を満たす．

一方$L^2(0,1)$はRKHSでない．これを背理法で示す．$L^2(0,1)$がRKHSとすると，再生核$K$が存在する．再生核の定義から
\[
\forall{\varphi}\in L^2(0,1),\quad \int_0^1 \varphi(x){\overline{K(x, y)}}\mathrm{d}x=\varphi(y).
\]
この積分作用素$\mathcal{K}\varphi(y)\stackrel{\rm def}{=}\int_0^1 \varphi(x){\overline{K(x, y)}}\mathrm{d}x$はコンパクト作用素であり（関数解析の本参照），再生核の定義から恒等作用素ということになる．このことから$L^2(0,1)$は有限次元でなければならない．何故ならばコンパクト作用素でかつ恒等作用素が存在することから，$L^2(0,1)$の単位閉球はコンパクト，つまり$L^2(0,1)$は局所コンパクトである．局所コンパクトなバナッハ空間は有限次元であるから$L^2(0,1)$は有限次元である．これは$L^2(0,1)$が無限次元であることに矛盾する．よって$L^2(0,1)$はRKHSでない．（終）

[11]
[任意のヒルベルト空間はあるRKHSに等長同型である]

$\mathcal{E}$をヒルベルト空間とし，内積を$K(\alpha, \beta)\stackrel{\rm def}{=}\langle \alpha, \beta\rangle_{\mathcal{E}}$とする．このとき明らかに$K$は$\mathcal{E}\times\mathcal{E}$上の正定値な関数である．従って$K$を再生核に持つRKHS$\mathcal{H}_K \subset \mathbf{C}^{\mathcal{E}}$が存在する．このとき次の二つが成立する:

1. $\mathcal{H}_K=\{K(\cdot,\beta)|\beta\in\mathcal{E}\}$
2. $\mathcal{E}$と$\mathcal{H}_K$は等長同型である．

[証明]
(1)
$\mathcal{H}_0\stackrel{\rm def}{=}\bigg\{\sum_{i=1}^n a_iK(\cdot,\beta_i) \bigg| a_i\in\mathbf{C},\beta_i\in\mathcal{E}, n\in\mathbf{N}\bigg\}$とすると，
RKHSの性質から$\bar{\mathcal{H}}_0$($\mathcal{H}_0$の$\mathcal{H}_K$での閉包)は$\mathcal{H}_K$に等しい．

内積の線形性から
\begin{eqnarray*}
\sum_{i=1}^n a_iK(\cdot,\beta_i)=K(\cdot, \sum_{i=1}^n\bar{a}_i\beta_i),
\end{eqnarray*}
より$\mathcal{H}_0\subset \{K(\cdot,\beta)|\beta\in\mathcal{E}\}$．

つぎに$\{K(\cdot,\beta)|\beta\in\mathcal{E}\}$が閉であることを示す．点列$\{u_n\}\subset \{K(\cdot,\beta)|\beta\in\mathcal{E}\}$で$u_n\to u$ in $\mathcal{H}_K$とする．このときある点列$\beta_n\in \mathcal{E}$で$u_n=K(\cdot, \beta_n)$となるものが存在する．内積の線形性と再生核の定義から

\begin{eqnarray*}
||u_m-u_n||_{\mathcal{H}_K}&=&||K(\cdot, \beta_m)-K(\cdot, \beta_n)||_{\mathcal{H}_K}\\
&=&||K(\cdot, \beta_m-\beta_n)||_{\mathcal{H}_K}\\
&=&[K(\beta_m-\beta_n,\beta_m-\beta_n)]^{1/2}\\
&=&||\beta_m-\beta_n||_{\mathcal{E}}.
\end{eqnarray*}

$\{u_n\}$は$\mathcal{H}_K$内のコーシー列であるから，$\{\beta_n\}$は$\mathcal{E}$内のコーシー列である．$\mathcal{E}$は完備であるから$\{\beta_m\}$は収束列であり，$\exists{\beta}\in\mathcal{E}$ s.t. $\beta_n\to\beta$ in $\mathcal{E}$．

任意の$\varepsilon>0$に対し，ある$n_0$が存在して$n\geq n_0$ならば
\begin{eqnarray*}
||u_n-u||_{\mathcal{H}_K}<\varepsilon/2, \quad ||\beta_n-\beta||_{\mathcal{E}}<\varepsilon/2,
\end{eqnarray*}
となる．よってこの$n$に対し
\begin{eqnarray*}
||u-K(\cdot, \beta)||_{\mathcal{H}_K}&\leq &||u-u_n||_{\mathcal{H}_K}+||u_n-K(\cdot, \beta)||_{\mathcal{H}_K}\\
&=&||u-u_n||_{\mathcal{H}_K}+||K(\cdot, \beta_n-\beta)||_{\mathcal{H}_K}\\
&=&||u-u_n||_{\mathcal{H}_K}+||\beta_n-\beta||_{\mathcal{E}}\\
&<& \varepsilon.
\end{eqnarray*}
よって$u=K(\cdot,\beta)$．以上から$\mathcal{H}_K=\bar{\mathcal{H}}_0\subset \{K(\cdot,\beta)|\beta\in\mathcal{E}\}$．
再生核の定義から明らかに$\mathcal{H}_K\supset \{K(\cdot,\beta)|\beta\in\mathcal{E}\}$なので
\[
\mathcal{H}_K=\{K(\cdot,\beta)|\beta\in\mathcal{E}\}.
\]

(2)
(1)より$\Psi:\mathcal{E}\to \mathcal{H}_K$を
\[
\Psi(\beta)=K(\cdot, \beta) \quad (\beta\in \mathcal{E})
\]
と定める．このとき
\[
||\beta||_{\mathcal{E}}=[K(\beta,\beta)]^{1/2}=||K(\cdot,\beta)||_{\mathcal{H}_K}=||\Psi(\beta)||_{\mathcal{H}_K}.
\]
明らかに$\Psi$は線形で全射なので，$\Psi$は$\mathcal{E}$と$\mathcal{H}_K$の間の等長同型を与える．（終）

この問題より任意のヒルベルト空間はあるRKHSに等長同型である．

[12]
[再生核の性質から再生核ヒルベルト空間の元の性質が分かる例]

$K$が$E\times E$の対角線上で有界ならば，$K$を再生核に持つRKHS$\mathcal{H}_K$の任意の元は$E$上有界な関数であることを示せ．また$\mathcal{H}_K$の点列がノルムの意味で収束すれば，一様ノルムの意味でも収束する（つまり一様収束）ことを示せ．

[証明]
$K$が$E\times E$の対角線上で有界なので
\[
\sup_{t\in E} K(t,t)\stackrel{\rm def}{=}M<\infty.
\]
$\forall{\varphi}\in\mathcal{H}_K$に対し
\[
|\varphi(t)|=|\langle \varphi, K(\cdot,t)\rangle|\leq ||\varphi||[K(t,t)]^{1/2}\leq \sqrt{M}||\varphi||,
\]
なので
\[
\sup_{t\in E} |\varphi(t)|<\infty.
\]
よって有界．また$\{\varphi_n\}\subset\mathcal{H}_K$を$\varphi\in \mathcal{H}_K$に収束する収束列とすると，上と同様にして
\[
\sup_{t}|\varphi_n(t)-\varphi(t)|\leq \sqrt{M}||\varphi_n-\varphi||
\]
なので，$\varphi_n\to \varphi$ uniformly on $E$となる．（終）