突然終わるかもしれないブログ

確率や統計の内容について記事を書く予定です.

ブートストラップ法

ブートストラップ法についてまとめたいと思います. ブートストラップ法とは モチベーション シンプルな例を通して,ブートストラップ法のモチベーションを説明します.今,平均 $\theta$ 分散1の正規分布 $\mathcal{N}(\theta,1)$ から以下のような5つの標…

Ridge回帰とLasso

Ridge回帰とLassoの簡単な方法の紹介です(メモ).Rのパッケージglmnetを使って簡単にできます*1. Ridge回帰とLasso 線形回帰モデルとは \[ y=X\beta+\varepsilon,\quad y\in\mathbf{R}^n,\quad X\in\mathbf{R}^{n\times p},\quad \beta\in\mathbf{R}^p,\q…

混合正規モデルに対するジェフリーズ事前分布

ある論文を読んでいたらジェフリーズ事前分布に基づく事後分布がimproperな例が載っていたので. 設定はシンプルです.以下のような一次元のパラメトリックモデル$\{p(x|\theta)|\theta\in\mathbf{R}\}$を考えます.\[ p(x|\theta)=\frac{1}{2\sqrt{2\pi}} \…

Contrastive Divergence 法

Contrastive Divergence法 (Hinton, 2002)について少し勉強したので,そのまとめです. Contrastive Divergence 法とは (確率的な)最適化方法です.正確には正規化定数が分からない(求めるのが困難)確率分布のためのパラメータの最尤法です.特にBoltzma…

再生核ヒルベルト空間(その2)

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強まとめ(4章)…

再生核ヒルベルト空間(演習その1)

演習問題のまとめその1(第1章)です.[9]$K$を$E\times E$上の正定値関数とする.$E$上の関数$f$が$K$を再生核に持つRKHS$\mathcal{H}_K$の元であることと,ある正の定数$\lambda$が存在して$K(s,t)-\lambda f(s)\overline{f(t)}$が正定値関数であること…

再生核ヒルベルト空間(まとめその1)

Reproducing Kernel Hilbert Spaces in Probability and Statistics作者: Alain Berlinet,Christine Thomas-Agnan出版社/メーカー: Springer発売日: 2003/12/31メディア: ハードカバー クリック: 2回この商品を含むブログ (1件) を見るの勉強(Exercise)の…

library(sde) (R)

Rのパッケージ,library(sde)の紹介です.このパッケージでは確率過程のシミュレーションが簡単にできます.たとえばブラウン運動を発生させたければ > BM function (x = 0, t0 = 0, T = 1, N = 100) という関数を使うことで, 初期値$x$,初期時刻$t_0$,最…

主成分分析(R)

PRML(12章)のまとめです. 観測値 $\{x_n\}_{n=1}^N\subset \mathbf{R}^D$ があるとき,$u_1\in\mathbf{R}^D$への観測値の射影が最大になるような $u_1\in\mathbf{R}^D$ を探すことを考えます.$u_1$ は観測値 $\{x_n\}_{n=1}^N$ の一番の【特徴】を表す方向…

multicore (R)

R

Rのライブラリ multicore を試した結果です. mclappy()という関数を使いました. この関数は lapply() を並列でできるようにしたもので, 独立に繰り返し計算する必要がある場合(乱数や初期値を変えた結果が欲しいときなど) に簡単に並列で計算できます.…

Contiguity

統計にでてくるContiguityの概念についての問題(van der Vaart: Asymptotic Statistics. Chap 6.)を解いたので,そのまとめです.問題(1) を標準正規分布, を平均 分散1の正規分布とする.このとき と が互いにcontiguousであることと,は同値であることを…

Ostrowski-Taussky Inequality

Ostrowski-Taussky Inequality Aを正方行列とし,が正定値行列であるとする.このとき以下の不等式が成立する:証明 は正定値対称行列であるから,ある直交行列Pがあってとなる.とすれば (P:直交)であり,である.これよりBの(i,j)成分 はとなっている.この…

ゼータ分布に従う独立な確率変数が互いに素になる確率[D.Williams]

主張X,Yは独立にゼータ分布に従うものとする.つまりとする.このとき(gcdは最大公約数)とすると,となる.[D.Williams: Probability with martingales, p226] 証明とすると, 達は独立.何故ならばであるため.これよりとなる.次に つまりX,Yが互いに疎に…

Hilbert--Schmidt作用素はコンパクト作用素

Kuo

主張 を可分なヒルベルト空間とし, を から へのHilbert-Schmidt作用素とする.このとき はコンパクト作用素である.証明事実1 をコンパクト作用素とし,であるならば, はコンパクトである(コンパクト作用素の全体はバナッハ空間なので).事実2有界線形作…

Problem5.4.4

Problem5.4.4 連続で適合している確率過程 がd次元のブラウン運動であることの必要十分条件はが任意の に対して連続な局所マルチンゲールになることである.ただし とする.証明 がd次元のブラウン運動であれば, が連続な局所マルチンゲールであることは伊…

Problem5.3.13

Problem5.3.13 はd×d行列で,任意の(t,x)に対して正則であるとする.また は一様に有界であり, の最小固有値は(t,x)によらずに下から正の値で抑えられているとする.さらには初期分布 の弱解を持つとする.このとき確率微分方程式は初期分布 の弱解を持つこ…

Exercise3.5.11(Robins&Siegmund(1973))

Exercise3.5.11 ν>0, c>1 に対して次のような -stopping time を定義する.このとき[証明]よって . またより ・・・(1)あとは であることを示せば十分である.なぜならばこれが成立すればWaldの恒等式からとなり,(1)の両辺の期待値をとって整理すればを得る…

Exercise3.5.10

Exercise3.5.10 Wをブラウン運動,, を前の記事と同じ確率測度とする. を での期待値とすればが成立する.[証明]あとは Exercise2.8.4 と同じように考えればλについての二次方程式 の解は であり, に注意してbの正負で場合分けしてλを選べば結論を得る.[…

Problem3.5.7

Problem3.5.7 を一次元のブラウン運動とする.ただしフィルとレーションはWを可測にする最小のσ加法族とする.Tを -stopping time でかつ, を満たすものとする.このときWaldの恒等式が成立することと,が成立することは同地である.ここで確率測度 は とし…

Exercise2.8.4

Exercise2.8.4 とするとき,となることを,マルチンゲール とOptional Sampling Theoremを用いて示せ. [証明] まず大数の強法則からさらにOSTからここで よりルベーグの収束定理からまた単調収束定理から以上よりとなり結論を得る.[証明終] T_bの分布がわ…

Xを時間に関して一様でないマルコフ過程とするとき,(t,X_t)は時間に関して一様なマルコフ過程となる.

ChapterIII Exercise(1.11) (Revuz-Yor) Xが時間に関して一様でないE値マルコフ過程とするとき,(t,X_t)は時間に関して一様なR_+×E値マルコフ過程となる(これを"time-space" processと呼ぶ)ことを示せ. またこのとき,推移関数(transition function)を書き…

LCH,second countableな空間の点を分離する非負値C_0関数列

主張 Eを局所コンパクトハウスドルフ(以下LCHと略す)かつ第2可算公理を満たす空間とし, をE上の非負値連続関数で無限遠点で消える関数全体とする.このとき関数列 で任意の相異なるEの2点x,yに対してあるf_nがあってf_n(x)≠f_n(y)となるものが存在する.補…

正則+第2可算公理⇒正規

主張 正則(ハウスドルフ性を入れなくても良い)でかつ第2可算公理を満たす空間は,正規である.[証明] 内田先生の集合と位相の本の演習問題(p107)になっていて,そこにある方針で示します.以下A,Bを互いに交わらない閉集合とする. (1)開集合系{U_n}, {V_n}…

Exercise5.2.27

Exercise5.2.27 次の1次元確率微分方程式の解を陽に求めよ.ただし,Wは1次元ブラウン運動とする.[解] とすると,この確率微分方程式はの解となる.σ(x)は2階連続微分可能で1階微分,2階微分ともにR上で有界である.b(x)も同様であるから,特にLipschitz連…

局所コンパクトハウスドルフ空間上では,ある連続関数の列でG-δコンパクト集合の定義関数に各点収束するものが存在する.

主張 局所コンパクトハウスドルフ(以下LCHとする)X上では,ある連続関数の列でG-δコンパクト集合Kの定義関数に各点収束するものが存在する.[証明] 次の事実を用いる.事実 LCHのコンパクト集合Kと開集合OでK⊂Oならば,コンパクト台をもつ実数値連続関数で 0…

Exercise5.2.17(Ito-Watanabe(1978))

Exercise5.2.17 Wを標準ブラウン運動とする.以下の確率微分方程式は以下のような非可算無限個の強解が存在することを示せ.ただし,, とする.[証明] がargument化したfiltration(からしゅれp285)に適合するのは明らか.また初期条件はであり,さらにより…

Problem3.3.23

Problem3.3.23 をd(≧3)次元のr(>0)を出発するベッセル過程とする. とするとき,となることを示せ.つまりYはベータ分布に従う.[証明] 伊藤の公式より, は局所連続マルチンゲールである.従ってあるstopping timeの列 で がマルチンゲールとなり, となる…

d(≧3)次元ベッセル過程はt→∞でほとんど確実に無限大に発散する

Problem3.3.24 をr(≧0)を出発するd(≧3)次元ベッセル過程とする.このときが成立することを示せ.証明 伊藤の公式から は非負値局所連続マルチンゲールである.よって連続な優マルチンゲールであるから が存在する.重複対数の法則より .よって となる.これ…

Exercise(3.12),Chapter2(Revuz, Yor)続き

Exercise(3.12),Chapter2(Revuz, Yor)[続き] (2) として とおいて(1)から つまりとなる. として結論を得る.(3) とすれば, より となる.(1)の結果からつまりとなる.(4) がマルチンゲールであることはすぐにわかる. であることを示す.非負のマルチンゲ…

Exercise(3.12),Chapter2(Revuz, Yor)

Exercise(3.12),Chapter2(Revuz, Yor) Mを正の値を取る連続マルチンゲールとし, とする.また とおく. (1) に対して となることを示せ.(2) より一般に が 正の値を取る 可測な確率変数であるとき であることを示せ.(3) B を を出発する1次元のブラウン運…

一様可積分かつ局所連続マルチンゲールであるがマルチンゲールでない例2(M.Yor)

一様可積分かつ局所連続マルチンゲールであるがマルチンゲールでない例(M.Yor)上の記事で一様可積分かつ局所連続マルチンゲールであるがマルチンゲールでない例を調べたのですが,からしゅれでは次のExerciseでまたこれと同じ種類の例を挙げているので,証明…

exponential supermartingale

Problem3.2.28 をstandard Brownian motion とし をmeasurable,adaptedでを満たす確率過程とする.つまり確率積分は定義できるものとする.このときと定義する. は優マルチンゲールであることを示せ.また が単過程のときマルチンゲールであることを示せ.…

モーメント母関数の条件付き期待値

次の記事でKaratzasAndShreveのProblem3.2.28の証明をしたいと思いますが,そこで使う補題を示しておこうと思います.主張 を確率空間とし, を の部分σ加法族とする. また をほとんど確実に有界な 可測関数とし, を平均 0 分散 t の正規分布に従う と独立…

一様可積分かつ局所連続マルチンゲールであるがマルチンゲールでない例(M.Yor)

Exercise3.3.36 を0を出発するd(≧3)次元ベッセル過程とする. は(i) 局所マルチンゲールであり, (ii) に対して (従って一様可積分)を満たし, (iii) マルチンゲールでないことを示せ.[証明] (i)Rが有界な範囲で止めて伊藤の公式を用いると有界変動の項が消…

Levy's Characterization の反例っぽいもの(反例ではない)

Exercise3.3.17 を3次元の0を出発するブラウン運動とし,とおく.このとき,どの二つのペア も2次元のブラウン運動になるが, は3次元のブラウン運動にならないことを示せ.またこれが,Levy's Characterization Theoremに矛盾しない理由を説明せよ.つまり…

cross variation の一意性(つづきのつづき)

cross variation の一意性(つづき)cross variationの一意性はやはり言えることを,Doob-Meyer分解の証明(分解の一意性のところ)をみて思いました.[証明] はどちらもnatural,increasingな過程の差で表されるから,任意の有界右連続マルチンゲール にたいして…

cross variation の一意性(つづき)

cross variation の一意性 で書いた証明は間違っていることに気づきました.<X>+2A+<Y>がincreasing であることを言うときにcross variation の全変動を抑える不等式は,間違えでした.とりあえず調べてみるとIkeda-Watanabe(Stochastic Differential Eq…

cross variation の一意性

主張 (2乗可積分マルチンゲールでかつ)とする.このとき がマルチンゲールとなり,しかも という分解を持つものはindistinguishabilityを除いて一意である.ただしとする. 証明 をX,Yの二次変分過程とする. がマルチンゲールであるから,もマルチンゲール…

確率積分における部分積分の公式

Problem3.3.12, を連続セミマルチンゲールとし,とする.ただし,M,Nは連続局所マルチンゲール,B,Cは適合した連続で有界変動な過程とする.また とする.このとき以下のような部分積分の公式が成立する.[証明] , とし, とする.このとき伊藤の公式より同…

pathが右(左)連続でadaptedならprogressively measurable

一度証明を書いておこうかと思います.主張 を実数に値を取る,右(左)連続で -adapted な過程とする.このとき過程Xは発展的可測である.[証明] 右連続の場合のみ示す.左連続の場合も同様. を以下のように定義する. は に各点収束する.実際 は右連続であ…

マルコフ過程で発展的可測であるが,強マルコフ過程でない例

からしゅれにも参照の本が挙げられていたけれど,ぐぐったら出てきたので紹介を.The Strong Markov Property and Martingale Problemsこの関数fを見つけてきたのはすごいと思いました.

ベクトル束に同伴する主ファイバー束の位相

をn次元可微分多様体, をr次元ベクトル束, ( はファイバー)とし,とする.また を局所座標近傍系, に対し とする. を局所的切断とする.つまり 局所標構場とするとき, ( は標準基底)とする.ここでとすると,全単射となる.Proposition1 の部分集合 が…

可測写像が与えられたもとでの条件付き期待値

Definition を確率空間,を可測空間とする. を可測写像, を実確率変数とし可積分とする.このとき  とすると, は上の符号付き測度となる.また (像測度) とすると, は に関して絶対連続となる. よってRadon-Nykodim 導関数が存在し,それを と表…

class DL

からしゅれに右連続非負値submartingaleはclass DLであるという主張があって,同様に右連続martingaleもclass DLとなることが言える.証明 a>0を固定し,となるstopping timeの族をとする.定義よりが一様可積分であることを示せばよい.Jensenの不等式より…

可分距離空間上のtightでない確率測度の例(つづき)

可分距離空間上のtightでない確率測度の例 でルベーグ外測度1,ルベーグ内測度0の集合の存在を認めたのですが,[0,1]の部分集合A,Bでdisjointかつともにルベーグ外測度が1であるようなルベーグ非可測集合の存在を教えていただきました.詳しくはルベーグ非可…

共変微分と平行移動

を多様体Mの線形接続, (IはRの開区間)とする. を接空間 からへの写像で, は を に沿って平行移動したものとする.このとき に沿う共変微分はと表されることを示せ.という問題です.本によっては(野水,甘利など)平行移動から,上の式で曲線に沿う共変微…

可分距離空間上のtightでない確率測度の例

完備可分距離空間上では確率測度の族 がtightであることと,相対コンパクトであることは同値.けれども可分距離空間上の確率測度でtightでないものが存在する(よって相対コンパクトであるがtightでない例になっている).この例はBillingsleyの Convergence o…

多様体上の調和関数

Mをコンパクト,連結,向きづけられた境界付き可微分多様体とする. であるとする.M上の調和関数u,vが境界上で一致するときuとvはM上で一致する.という主張の証明のメモ.u-vを考えれば良いから,調和関数fで境界上で0となるものが,M上で恒等的に0になる…

X,Yは実確率変数とし,任意の実数aに対しP(X=a)=0,またXとYは独立で同分布に従うとする.このときP(X=Y)=0となる.

タイトルの主張は確率論のテストで必要だった主張です.テストの時は分かりませんでした. ですが,零集合の非可算和は零集合とは限らないのでこれではうまくいかないです.そこでFubiniの定理を使います.P^Xを像測度とするとき,XとYは独立であるから, で…

fully T_4 ⇒ T_4

fully T_4 ⇒ T_4 の証明を思いついたのでメモ. (fully T_4 の定義は任意の開被覆に対して open star refinementが存在する.)対遇をとって T_4 でない ⇒ fully T_4 でない ことを示す. T_4でないとするとある互いに素な閉集合F_1,F_2があって,F_1,F_2を含…