共役事前分布とベイズ推定

ベータ分布・ガンマ分布などの共役事前分布から事後分布を求め、事後平均を計算できる

前提

ガンマ関数・ベータ関数とガンマ分布（大学数学確率・統計）
条件付き分布と全期待値の公式（大学数学確率・統計）
原因の確率（ベイズの定理）（数学A 場合の数と確率）

この技能までの道筋（67 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
定積分の計算（数学II 微分法と積分法）
連続型確率変数と確率密度関数（数学B 統計的な推測）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
広義積分（大学数学微分積分）
一様分布・指数分布（大学数学確率・統計）
ガンマ関数・ベータ関数とガンマ分布（大学数学確率・統計）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き確率と乗法定理（数学A 場合の数と確率）
条件付き分布と全期待値の公式（大学数学確率・統計）
原因の確率（ベイズの定理）（数学A 場合の数と確率）

説明

未知のパラメータ $θ$ （コインの表が出る確率、単位時間あたりの平均発生回数など）を、データを見る前の考え（事前分布）とデータから更新して推定する方法を学びます。事前分布にベータ分布やガンマ分布のような相性のよい分布（共役事前分布）を選ぶと、データを見た後の分布（事後分布）も同じ種類の分布になります。そのため、積分をほとんどせずにパラメータを書き換えるだけで事後分布が求まり、事後平均をパラメータの推定値として計算できます。成功率の推定や、事故件数・故障件数の平均の推定などに使います。

なぜそうしてよいのか

ベイズの定理を連続なパラメータに広げます。 $θ$ の事前の密度を $π (θ)$ 、 $θ$ が与えられたときのデータ $x$ の確率（尤度という）を $f (x ∣ θ)$ とすると、全確率の公式の和を積分に置き換えて、事後分布の密度は $π (θ ∣ x) = \frac{f ( x ∣ θ ) π ( θ )}{\int f ( x ∣ θ ^{'} ) π ( θ ^{'} ) d θ ^{'}}$ となります。分母は $θ$ を含まない定数なので、 $π (θ ∣ x) \propto f (x ∣ θ) π (θ)$ （ $\propto$ は「 $θ$ によらない正の定数倍を除いて等しい」の意味）です。定数は「全体の積分が 1」という条件で自動的に決まるので、 $θ$ を含む部分の形だけ見れば分布が特定できます。

例えば $n$ 回の独立な試行で成功が $x$ 回のとき、尤度は $(x n) θ^{x} (1 - θ)^{n - x}$ です。事前分布をベータ分布 $Beta (a, b)$ 、すなわち密度 $\frac{1}{B ( a , b )} θ^{a - 1} (1 - θ)^{b - 1}$ （ $0 < θ < 1$ , $a, b > 0$ ）とすると、積は $θ^{a + x - 1} (1 - θ)^{b + n - x - 1}$ に比例します。これは $Beta (a + x, b + n - x)$ の密度の形そのものなので、事後分布もベータ分布です。ベータ分布の平均は $E (θ) = \frac{B ( a + 1 , b )}{B ( a , b )} = \frac{Γ ( a + 1 ) Γ ( a + b )}{Γ ( a ) Γ ( a + b + 1 )} = \frac{a}{a + b}$ （ $Γ (s + 1) = s Γ (s)$ を使用）なので、事後平均は $\frac{a + x}{a + b + n}$ です。これは事前平均 $\frac{a}{a + b}$ と標本の成功割合 $\frac{x}{n}$ を重み $a + b$ と $n$ で平均したものになっており、データが増えるほど標本の割合に近づきます。

同様に、 $0$ 以上の整数値をとり $P (X = k) = e^{- λ} \frac{λ ^{k}}{k !}$ となる分布（ポアソン分布、平均 $λ > 0$ ）から独立に $x_{1}, \dots, x_{n}$ を得たとき、尤度は $λ^{\sum x_{i}} e^{- nλ}$ に比例します。事前分布をガンマ分布 $Gamma (α, β)$ 、密度 $\frac{β ^{α}}{Γ ( α )} λ^{α - 1} e^{- β λ}$ （ $λ > 0$ , $α, β > 0$ , 平均 $\frac{α}{β}$ ）とすると、事後分布は $Gamma (α + \sum x_{i}, β + n)$ 、事後平均は $\frac{α + \sum x _{i}}{β + n}$ となります。

手順

事前分布の密度を、 $θ$ を含む部分（核）だけ書く。例: $Beta (a, b)$ なら $θ^{a - 1} (1 - θ)^{b - 1}$ （ $0 < θ < 1$ ）、 $Gamma (α, β)$ なら $λ^{α - 1} e^{- β λ}$ （ $λ > 0$ ）
データの尤度 $f (x ∣ θ)$ を $θ$ の関数として書き、 $θ$ を含まない定数（ $(x n)$ や $k!$ など）を落とす
$π (θ ∣ x) \propto f (x ∣ θ) π (θ)$ として掛け合わせ、同じ底の指数をまとめる
まとめた形がどの分布の核かを読み取り、事後分布のパラメータを決める。二項-ベータ型: $Beta (a + x, b + n - x)$ 、ポアソン-ガンマ型: $Gamma (α + \sum x_{i}, β + n)$
事後分布の平均の公式で事後平均を計算する。ベータ分布 $Beta (p, q)$ の平均 $\frac{p}{p + q}$ 、ガンマ分布 $Gamma (p, q)$ の平均 $\frac{p}{q}$

例題

あるコインの表が出る確率 $θ$ の事前分布を、密度 $π (θ) = 6 θ (1 - θ)$ （ $0 < θ < 1$ ）のベータ分布 $Beta (2, 2)$ とする。このコインを独立に 10 回投げたところ、表が 7 回出た。 $θ$ の事後平均を求めよ。

例題の解答

手順1: 事前分布の核は $θ^{2 - 1} (1 - θ)^{2 - 1} = θ (1 - θ)$ （ $0 < θ < 1$ ）。
手順2: 尤度は $(7 10) θ^{7} (1 - θ)^{3}$ 。 $θ$ を含まない $(7 10)$ を落として $θ^{7} (1 - θ)^{3}$ 。
手順3: 掛け合わせて $π (θ ∣ x) \propto θ^{7} (1 - θ)^{3} \cdot θ (1 - θ) = θ^{8} (1 - θ)^{4}$ 。
手順4: $θ^{8} (1 - θ)^{4} = θ^{9 - 1} (1 - θ)^{5 - 1}$ はベータ分布 $Beta (9, 5)$ の核なので、事後分布は $Beta (9, 5)$ （公式 $Beta (2 + 7, 2 + 10 - 7)$ とも一致）。
手順5: 事後平均は $\frac{9}{9 + 5} = \frac{9}{14}$ 。事前平均 $\frac{1}{2}$ と標本割合 $\frac{7}{10}$ の間の値になっている。

答え: $\frac{9}{14}$

よくある誤り

失敗の回数ではなく試行回数 $n$ を第 2 パラメータに足して $Beta (a + x, b + n)$ としてしまう誤り。正しくは失敗回数 $n - x$ を足して $Beta (a + x, b + n - x)$ （例題なら $Beta (9, 5)$ で、 $Beta (9, 12)$ ではない）。
ガンマ分布の平均を $α β$ としたり、事後の第 2 パラメータを $β + \sum x_{i}$ としてしまう誤り。密度 $\propto λ^{α - 1} e^{- β λ}$ の形では平均は $\frac{α}{β}$ で、尤度の $e^{- nλ}$ から事後は $Gamma (α + \sum x_{i}, β + n)$ 、事後平均は $\frac{α + \sum x _{i}}{β + n}$ 。
事後平均と事後分布の最頻値を取り違える誤り。 $Beta (p, q)$ の密度を最大にする値は（ $p, q > 1$ のとき） $\frac{p - 1}{p + q - 2}$ で、例題では $\frac{8}{12} = \frac{2}{3}$ だが、事後平均は $\frac{p}{p + q} = \frac{9}{14}$ 。
$θ$ を含む因子まで定数として落としてしまう誤り。落としてよいのは $(x n)$ 、 $\frac{1}{x _{i} !}$ 、 $\frac{1}{B ( a , b )}$ など $θ$ を含まないものだけで、ポアソン分布の尤度の $e^{- nλ}$ は $λ$ を含むので残す必要がある。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

共役事前分布とベイズ推定

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題

この技能を使う問題