Ridge回帰とLassoの簡単な方法の紹介です（メモ）．Rのパッケージglmnetを使って簡単にできます*1． Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…

ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので． 設定はシンプルです．以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます．\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので，そのまとめです． Contrastive Divergence 法とは （確率的な）最適化方法です．正確には正規化定数が分からない（求めるのが困難）確率分布のためのパラメータの最尤法です．特にBoltzma…

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強まとめ（４章）…

演習問題のまとめその１（第１章）です．[9]$K$を$E\times E$上の正定値関数とする．$E$上の関数$f$が$K$を再生核に持つRKHS$\mathcal{H}_K$の元であることと，ある正の定数$\lambda$が存在して$K(s,t)-\lambda f(s)\overline{f(t)}$が正定値関数であること…

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強（Exercise）の…

Rのパッケージ，library(sde)の紹介です．このパッケージでは確率過程のシミュレーションが簡単にできます．たとえばブラウン運動を発生させたければ > BM function (x = 0, t0 = 0, T = 1, N = 100) という関数を使うことで， 初期値$x$，初期時刻$t_0$，最…