突然終わるかもしれないブログ

確率や統計の内容について記事を書く予定です.

統計

Ridge回帰とLasso

Ridge回帰とLassoの簡単な方法の紹介です(メモ).Rのパッケージglmnetを使って簡単にできます*1. Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…

混合正規モデルに対するジェフリーズ事前分布

ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので. 設定はシンプルです.以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます.\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…

Contrastive Divergence 法

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので,そのまとめです. Contrastive Divergence 法とは (確率的な)最適化方法です.正確には正規化定数が分からない(求めるのが困難)確率分布のためのパラメータの最尤法です.特にBoltzma…