統計
Ridge回帰とLassoの簡単な方法の紹介です(メモ).Rのパッケージglmnetを使って簡単にできます*1. Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…
ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので. 設定はシンプルです.以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます.\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…
Contrastive Divergence法 (Hinton, 2002)について少し勉強したので,そのまとめです. Contrastive Divergence 法とは (確率的な)最適化方法です.正確には正規化定数が分からない(求めるのが困難)確率分布のためのパラメータの最尤法です.特にBoltzma…