Ridge回帰とLassoの簡単な方法の紹介です（メモ）．Rのパッケージglmnetを使って簡単にできます*1． Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…

ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので． 設定はシンプルです．以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます．\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので，そのまとめです． Contrastive Divergence 法とは （確率的な）最適化方法です．正確には正規化定数が分からない（求めるのが困難）確率分布のためのパラメータの最尤法です．特にBoltzma…

Rのパッケージ，library(sde)の紹介です．このパッケージでは確率過程のシミュレーションが簡単にできます．たとえばブラウン運動を発生させたければ > BM function (x = 0, t0 = 0, T = 1, N = 100) という関数を使うことで， 初期値$x$，初期時刻$t_0$，最…

PRML(12章)のまとめです． 観測値 $\{x_n\}_{n=1}^N\subset \mathbf{R}^D$ があるとき，$u_1\in\mathbf{R}^D$への観測値の射影が最大になるような $u_1\in\mathbf{R}^D$ を探すことを考えます．$u_1$ は観測値 $\{x_n\}_{n=1}^N$ の一番の【特徴】を表す方向…

Rのライブラリ multicore を試した結果です． mclappy()という関数を使いました． この関数は lapply() を並列でできるようにしたもので， 独立に繰り返し計算する必要がある場合（乱数や初期値を変えた結果が欲しいときなど） に簡単に並列で計算できます．…