ブートストラップ法についてまとめたいと思います． ブートストラップ法とは モチベーション シンプルな例を通して，ブートストラップ法のモチベーションを説明します．今，平均 $\theta$ 分散1の正規分布 $\mathcal{N}(\theta,1)$ から以下のような５つの標…

Ridge回帰とLassoの簡単な方法の紹介です（メモ）．Rのパッケージglmnetを使って簡単にできます*1． Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…

ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので． 設定はシンプルです．以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます．\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので，そのまとめです． Contrastive Divergence 法とは （確率的な）最適化方法です．正確には正規化定数が分からない（求めるのが困難）確率分布のためのパラメータの最尤法です．特にBoltzma…

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強まとめ（４章）…

演習問題のまとめその１（第１章）です．[9]$K$を$E\times E$上の正定値関数とする．$E$上の関数$f$が$K$を再生核に持つRKHS$\mathcal{H}_K$の元であることと，ある正の定数$\lambda$が存在して$K(s,t)-\lambda f(s)\overline{f(t)}$が正定値関数であること…

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強（Exercise）の…

Rのパッケージ，library(sde)の紹介です．このパッケージでは確率過程のシミュレーションが簡単にできます．たとえばブラウン運動を発生させたければ > BM function (x = 0, t0 = 0, T = 1, N = 100) という関数を使うことで， 初期値$x$，初期時刻$t_0$，最…

PRML(12章)のまとめです． 観測値 $\{x_n\}_{n=1}^N\subset \mathbf{R}^D$ があるとき，$u_1\in\mathbf{R}^D$への観測値の射影が最大になるような $u_1\in\mathbf{R}^D$ を探すことを考えます．$u_1$ は観測値 $\{x_n\}_{n=1}^N$ の一番の【特徴】を表す方向…

Rのライブラリ multicore を試した結果です． mclappy()という関数を使いました． この関数は lapply() を並列でできるようにしたもので， 独立に繰り返し計算する必要がある場合（乱数や初期値を変えた結果が欲しいときなど） に簡単に並列で計算できます．…

統計にでてくるContiguityの概念についての問題(van der Vaart: Asymptotic Statistics. Chap 6.)を解いたので，そのまとめです．問題(1) を標準正規分布， を平均 分散1の正規分布とする．このとき と が互いにcontiguousであることと，は同値であることを…

Ostrowski-Taussky Inequality Aを正方行列とし，が正定値行列であるとする．このとき以下の不等式が成立する:証明 は正定値対称行列であるから，ある直交行列Pがあってとなる．とすれば (P:直交)であり，である．これよりBの(i,j)成分 はとなっている．この…

主張X,Yは独立にゼータ分布に従うものとする．つまりとする．このとき(gcdは最大公約数)とすると，となる．[D.Williams: Probability with martingales, p226] 証明とすると， 達は独立．何故ならばであるため．これよりとなる．次に つまりX,Yが互いに疎に…

主張 を可分なヒルベルト空間とし， を から へのHilbert-Schmidt作用素とする．このとき はコンパクト作用素である．証明事実1 をコンパクト作用素とし，であるならば， はコンパクトである(コンパクト作用素の全体はバナッハ空間なので)．事実2有界線形作…

Problem5.4.4 連続で適合している確率過程 がd次元のブラウン運動であることの必要十分条件はが任意の に対して連続な局所マルチンゲールになることである．ただし とする．証明 がd次元のブラウン運動であれば， が連続な局所マルチンゲールであることは伊…

Problem5.3.13 はd×d行列で，任意の(t,x)に対して正則であるとする．また は一様に有界であり， の最小固有値は(t,x)によらずに下から正の値で抑えられているとする．さらには初期分布 の弱解を持つとする．このとき確率微分方程式は初期分布 の弱解を持つこ…

Exercise3.5.11 ν>0, c>1 に対して次のような -stopping time を定義する．このとき[証明]よって . またより ・・・(1)あとは であることを示せば十分である．なぜならばこれが成立すればWaldの恒等式からとなり，(1)の両辺の期待値をとって整理すればを得る…

Exercise3.5.10 Wをブラウン運動，, を前の記事と同じ確率測度とする． を での期待値とすればが成立する．[証明]あとは Exercise2.8.4 と同じように考えればλについての二次方程式 の解は であり， に注意してbの正負で場合分けしてλを選べば結論を得る．[…

Problem3.5.7 を一次元のブラウン運動とする．ただしフィルとレーションはWを可測にする最小のσ加法族とする．Tを -stopping time でかつ， を満たすものとする．このときWaldの恒等式が成立することと，が成立することは同地である．ここで確率測度 は とし…

Exercise2.8.4 とするとき，となることを，マルチンゲール とOptional Sampling Theoremを用いて示せ． [証明] まず大数の強法則からさらにOSTからここで よりルベーグの収束定理からまた単調収束定理から以上よりとなり結論を得る．[証明終] T_bの分布がわ…

ChapterIII Exercise(1.11) (Revuz-Yor) Xが時間に関して一様でないE値マルコフ過程とするとき，(t,X_t)は時間に関して一様なR_+×E値マルコフ過程となる(これを"time-space" processと呼ぶ)ことを示せ． またこのとき，推移関数(transition function)を書き…

主張 Eを局所コンパクトハウスドルフ(以下LCHと略す)かつ第2可算公理を満たす空間とし， をE上の非負値連続関数で無限遠点で消える関数全体とする．このとき関数列 で任意の相異なるEの2点x,yに対してあるf_nがあってf_n(x)≠f_n(y)となるものが存在する．補…

主張 正則(ハウスドルフ性を入れなくても良い)でかつ第2可算公理を満たす空間は，正規である．[証明] 内田先生の集合と位相の本の演習問題(p107)になっていて，そこにある方針で示します．以下A,Bを互いに交わらない閉集合とする． (1)開集合系{U_n}, {V_n}…

Exercise5.2.27 次の1次元確率微分方程式の解を陽に求めよ．ただし，Wは１次元ブラウン運動とする．[解] とすると，この確率微分方程式はの解となる．σ(x)は2階連続微分可能で1階微分，2階微分ともにR上で有界である．b(x)も同様であるから，特にLipschitz連…

主張 局所コンパクトハウスドルフ(以下LCHとする)X上では，ある連続関数の列でG-δコンパクト集合Kの定義関数に各点収束するものが存在する．[証明] 次の事実を用いる．事実 LCHのコンパクト集合Kと開集合OでK⊂Oならば，コンパクト台をもつ実数値連続関数で 0…

Exercise5.2.17 Wを標準ブラウン運動とする．以下の確率微分方程式は以下のような非可算無限個の強解が存在することを示せ．ただし，， とする．[証明] がargument化したfiltration(からしゅれp285)に適合するのは明らか．また初期条件はであり，さらにより…

Problem3.3.23 をd(≧3)次元のr(>0)を出発するベッセル過程とする． とするとき，となることを示せ．つまりYはベータ分布に従う．[証明] 伊藤の公式より， は局所連続マルチンゲールである．従ってあるstopping timeの列 で がマルチンゲールとなり， となる…

Problem3.3.24 をr(≧0)を出発するd(≧3)次元ベッセル過程とする．このときが成立することを示せ．証明 伊藤の公式から は非負値局所連続マルチンゲールである．よって連続な優マルチンゲールであるから が存在する．重複対数の法則より ．よって となる．これ…

Exercise(3.12),Chapter2(Revuz, Yor)[続き] (2) として とおいて(1)から つまりとなる． として結論を得る．(3) とすれば， より となる．(1)の結果からつまりとなる．(4) がマルチンゲールであることはすぐにわかる． であることを示す．非負のマルチンゲ…

Exercise(3.12),Chapter2(Revuz, Yor) Mを正の値を取る連続マルチンゲールとし， とする．また とおく． (1) に対して となることを示せ．(2) より一般に が 正の値を取る 可測な確率変数であるとき であることを示せ．(3) B を を出発する1次元のブラウン運…