MLaPP アドベントカレンダー2日目：Ch.2 Probability

ML 本

他のアドベントカレンダーのエントリタイトルみていたらみんな，ほにゃららAdvent Calendarってなってて，アドベントカレンダーってカタカナで書いてしまって恥ずかしい…．ということで，確率論の概要の章．ここらへんはまだ大丈夫そうです．

Some common discrete distributions

  • 二項分布・ベルヌーイ分布
  • 多項分布
  • ポアソン分布
  • 経験分布
    • 得られたデータの分布

Some common continuous distributions

  • ガウス分布
  • Degenerate pdf
    • の極限を考えると，正規分布はにおいて無限に高く無限に薄い"spike"となる
    • ここではディラックのデルタ関数と呼ばれる
    • デルタ関数の有用な性質はshifting propertyであり，sumやintegralの中から1つの項を抜き出せる(式2.50)
  • ラプラス分布
    • heavy tailをもつ分布．double sided exponential distributionとも呼ばれる
    • 外れ値に対してロバストであり，正規分布よりもにおける確率が高い
    • これはモデルにおけるsparsityを表現するのに有用(see Section 13.3)
  • ガンマ分布
    • 正の実数における柔軟な分布
    • ガンマ分布の特殊形に
    • などがある
  • ベータ分布
    • 区間[0,1]間で定義される
  • パレート分布
    • いわゆるlong tailを表現するための分布
    • 最も使われる単語("the")は二番目によく使われる単語("of")の約2倍使われる
    • 単語の頻度とランクをプロットするとZipf's lawと呼ばれる，冪乗則に従う

Joint probability distributions

  • 多次元になったバージョン
  • 共分散と相関
    • 共分散(covariance): XとYが(線形に)関連している度合い
    • 共分散は0から無限大の値をとるので，正規化したのが(Pearsonの)相関係数(correlation)
  • 多変量ガウス分布
    • multivariate Gaussian or multivariate normal (MVN)は最も良く使われる多変量分布
    • Ch 4で詳しくやる
    • 分散共分散行列をとしたとき，その逆行列は精度行列(precision matrix, concentration matrix)と呼ばれる
  • 多変量 スチューデントt分布
    • スチューデントのt分布の多変量版
  • ディリクレ分布
    • ベータ分布の多変量版
    • この分布はprobability simplex上で定義されるのでいろいろ使いやすい

Transformations of random variables

    • という確率変数があったとき，ならば，の分布はなんなんだろか問題
  • Linear transformations
    • が線形関数だったとき，期待値は線形．これはlinearity of expectationと呼ばれる．つまり
    • のとき，
    • 共分散は
  • General transformations
    • いわゆる変数変換
  • Central limit theorem

Monte Carlo approximation

Information theory

    • 情報理論はデータ圧縮(data compression)や情報源符号化(source coding)，誤り訂正(error correction)，通信路符号化(channel coding)に関連がある
    • この本では詳しく書けないのでCover and Thomas (2006)を読めとのこと
  • Entropy
  • KL divergence
  • Mutual information
    • 相互情報量は一方を知ることで他方をどれだけ知ることができるかを表す．

コメント

2章は確率論や確率分布の復習なので，そこらへんがきちんとわかっていれば特に詰まる部分もなく，読み進められると思います．ということでスキップ，スキップ．大切なこともいっぱい書かれているので読みながら戻ってくることもあると思います．