Clik here to view.
CRPのテーブルの数の分布
Chinese Restaurant Process (→ 以前の記事) でデータ数(レストランに来る人数/壺からボールを取り出す回数)や \(\alpha\) が変化した時に利用されるテーブルの数の分布がどうなるか実験してみた(下の図をクリックで拡大)。 一見、ポアソン分布っぽいが、どれも平均＞分散となっていて underdispersion ぎみ。 \(\alpha\)...
View ArticleClik here to view.
チューリングマシンと限定合理性 : 「行動ゲーム理論入門」を読んだ
この本「行動ゲーム理論入門」はたまたま本屋で見かけてパラパラと見ていたら、経済学の本にもかかわらず「チューリングマシン」だとか「強化学習」だとかいう一見経済学とは関連の薄そうな単語があったので、興味深いな、と思って脊髄反射的に購入した。僕はこの分野は全く知らない状態でこの本を読み始めたのだけど、非常に刺激的な本だったので記憶が鮮明なうちに書いておくことにする。 行動ゲーム理論入門 posted at...
View Article対数線形モデルとエントロピー最大化の関係
昔の勉強ノートを引っ張りだしてくるシリーズ． 機械学習の対数線形モデルが最大エントロピー法とも呼ばれる，みたいな記述は頻繁に目にするし，統計力学のボルツマン分布の話とか考慮すれば，なんとなくそうなってそうな気はするけど，実際どうなの？というのを (たんに好奇心を満たすために) 調べてみた．実用上は何の意味ないと思う． 対数尤度関数に L1...
View ArticleClik here to view.
ハイブリッドモンテカルロの実験
相関の強い二変量正規分布に対してハイブリッドモンテカルロを使ってみた。上から順に、サンプリング結果、x1の自己相関、x2の自己相関。 自己相関ほぼ完全になし、という結果になった。ギブスサンプラーだとこうはいかない。ただし、 微分方程式を解く時間のスケールが小さすぎると自己相関が出たので良い感じのスケールをちょっとだけ探索した。 ステップ幅を固定にしたら怪しげな自己相関の挙動がでた。...
View Articleモデル選択の周辺の話の整理
モデルを選択したり、変数を選択したり、というようなことに関係しそうなネタを簡単に整理してみた。 情報量基準 AIC / BIC / DIC / TIC のような。データのあてはまりのよさとモデルの複雑度を天秤に図るタイプのやつ。 たくさん種類があるのは確率モデルに関する仮定と汎化誤差の近似の仕方の違いによるものだと理解している。 検定...
View ArticleClik here to view.
モデル選択の実験 (AIC vs LOOCV)
最近読んだ「データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (→ amazon)」に感化されて、モデル選択基準である、AIC、LOOCV (Leave One-Out Cross Validation) について実験してみた（参考：モデル選択の周辺の話の整理）。 LOOCV と AIC はある意味で両極端だ。LOOCV...
View ArticleClik here to view.
モデル選択の実験 (AIC vs AICc / R の AICcmodavg パッケージ)
前回の「モデル選択の実験 (AIC vs LOOCV)」の続きです。 小標本の場合は、AIC じゃなくて AICc を使うといいよとのことなので、今回は、前回同様の方法で AIC と AICc を比較してみた。 真のモデルやその他のモデルの設定などは前回と全く同様。図の見方も前回と同様です。LOOCV の結果も並べてみたかったが計算量の関係で断念。 いろんな意味で手抜き気味です。あしからず。...
View ArticleClik here to view.
モデル選択の実験 (BIC を追加)
前回の記事 では AIC と AICc を比較した。今回はそれに BIC を追加してみた。BICはあまり使ったことがなかったが、個人的には結構おどろきの結果が得られた。 BIC は以下で定義される。n はデータ数、k はモデルのパラメータ数。 \begin{align} BIC=-2\times\{\text{Maximum Likelihood}\}+(\log n)\times k...
View ArticleClik here to view.
重点サンプリング
重点サンプリング (Importance Sampling) について。\(p(x)\) を密度関数として、物理量 \(f(x)\) の平均値 \begin{align} I=\int f(x)p(x)dx \end{align} を近似する問題。 モンテカルロ積分 ふつうのモンテカルロ法では \(p(x)\) からN個サンプリングしてきて \begin{align}...
View ArticleClik here to view.
重点サンプリング (2)
前回は正規分布の裾の積分をなんとなく決めた提案分布による重点サンプリングで求めた。今回は提案分布の違いがどのような誤差の違いを生むのかについて実験した。ただし、今回の積分範囲は [4,∞) とした。ようするに \(f\) を標準正規分布のpdfとして \begin{align} \int_4^\infty f(x)dx \end{align} を求める問題。 考える提案分布たち...
View Article
