MLaPP アドベントカレンダー10日目：Ch.10 Directed graphical models

ということで10日目ですが，そろそろ力尽きそうな感じでDirected graphical modelです．この章のポイントがどこにあるのか，ざっと読んだだけでは理解しきれていません．当たり前のことが書いてあるような，重要なことが書いてあるような…．細かい部分については2週目に持ち越しですかね…．とりあえず11日目に繋ぐことだけを意識！（本末転倒とも言う）

Introduction

- 同時確率分布 $p(x|\theta)$ をどうコンパクトに表現するか？
Chain rule
- $p(x_{1:V}) = p(x_1)p(x_2|x_1) \cdots p(X_V|x_{1:V-1})$
- K個の状態があるとき $O(K^2)$ の $p(x_2=j|x_1=i)=T_{ij}$ のテーブルで表現できる
- このTをstochastic matrixという
- 同様に $p(x_3|x_1, x_2)$ の三次元テーブルをconditional probability tables (CPTS)という
- 各CPTの代わりにもっと節約的な方法としてconditional probability distribution (CPS)がある
- $p(x_t=k|x_{1:t-1}) = s(W_t x_{1:t-1})$
Conditional independence
- 大きな同時確率分布を効率的に表現するためにCIを仮定する
- これは（一次）マルコフ仮定といい，チェインルールを用いると
- $p(x_{1:V}) = p(x_1) \prod_{t=1}^V p(x_t|x_{t-1})$
- これをマルコフ連鎖といい， $p(x_t = j|x_{t-1} = i)$ は状態推移行列という

Graphical models
- CIを仮定することで同時確率分布を表現できる
- グラフのノードが確率変数，エッジ（がない部分）がCIを表す

Graph terminology
- グラフ表現時の用語説明

Directed graphical model
- DGMはDAG(directed acyclic graph)で表現されるモデル
- Bayesian networkという名で知られる（ただしここでのBayesianに本質的な意味はない）
- これらはbelief networkとも呼ばれるし，causal networkとも呼ばれる
- DAGの特徴はこの前に親が来るという順序でノードが並んでいること
- これはトポロジカルオーダーと呼ばれる
- この順序のもとではノードは直前の親にのみ依存するというordered Markov propertyが定義できる

Examples

Naive Bayes classifer
Markov and hidden Markov model
Medical diagnosis
Genetic linkage analysis
Directed Gaussian graphical model

Inference

- 同時確率の主な利用法は確率的推論
- 推論問題は $\theta$ 既知として $p(x_{1:V}|\theta)$ がわかっていて
- 観測変数x_v, 隠れ変数x_hとして
- $p(x_h|x_v, \theta) = \frac{p(x_h, x_v|\theta)}{p(x_v|\theta)} = \frac{p(x_h. x_v|\theta)}{\sum_{x$

Learning

- 学習はデータが与えられたときのパラメータのMAP推定
- $\hat \theta = \arg \max_{\theta} \sum_{i=1}^N \log p(x_{i,v}|\theta) + \log p(\theta)$
Plate notation
Learning from complete data
Learning with missing and/or latent variables

Conditional independence properties of DGMs

d-separation and the Bayes Ball algorithm (global Markov properties)
Other Markov properties of DGMs
Markov blanket and full conditionals

Influence (decision) diagrams

ただの目次の羅列やんけというのはやめましょう…凹みます．

Fire and Motion