十分統計量と分解定理

同時確率（密度）関数を $f (x_{1}, \dots, x_{n} ∣ θ) = g (T (x), θ) h (x)$ と分解して、母数 $θ$ の十分統計量 $T$ を求められる

前提

最尤推定（大学数学確率・統計）

この技能までの道筋（62 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
対数微分法（数学III 微分法）
最尤推定（大学数学確率・統計）

説明

十分統計量とは、標本 $X = (X_{1}, \dots, X_{n})$ がもつ母数 $θ$ についての情報を、取りこぼさずに要約した統計量 $T (X)$ のことです。分解定理を使うと、同時確率（密度）関数を $f (x ∣ θ) = g (T (x), θ) h (x)$ の形に書き直すだけで十分統計量を見つけられます。最尤推定量や、のちに学ぶ良い推定量・検定を作るときに、データをどこまで要約してよいかを判断する基本の道具です。

なぜそうしてよいのか

まず定義です。統計量 $T (X)$ が $θ$ の十分統計量であるとは、 $T (X) = t$ が与えられたときの $X$ の条件付き分布が $θ$ によらないことをいいます。 $T$ の値を知ってしまえば、データの残りの細かい情報は $θ$ と無関係なばらつきにすぎない、という意味です。分解定理（フィッシャー・ネイマンの分解定理）は、 $T$ が十分統計量であることと、すべての $x$ と $θ$ について $f (x ∣ θ) = g (T (x), θ) h (x)$ と書けることが同値だと述べます。ここで $g$ は $x$ に $T (x)$ を通してだけ依存する関数、 $h$ は $θ$ を含まない $0$ 以上の関数です。

離散分布の場合に「分解できれば十分」となる理由を確かめます。 $T (x) = t$ を満たし $f (x ∣ θ) > 0$ となる $x$ について、条件付き確率の定義より $P (X = x ∣ T = t) = \frac{P ( X = x )}{P ( T = t )}$ です。分母は $T (y) = t$ となる $y$ すべてについての和なので $P (T = t) = \sum_{y : T (y) = t} g (t, θ) h (y) = g (t, θ) \sum_{y : T (y) = t} h (y)$ となります。したがって $P (X = x ∣ T = t) = \frac{h ( x )}{\sum _{y : T (y) = t} h ( y )}$ となり、 $g (t, θ)$ が約分されて $θ$ が消えます。逆向き（十分なら分解できる）や連続分布の場合も同じ考え方で成り立ちますが、ここでは結果を使います。

最尤推定とのつながりも見ておきます。尤度関数 $L (θ) = g (T (x), θ) h (x)$ のうち、 $θ$ を含むのは $g (T (x), θ)$ だけです。 $h (x) > 0$ である限り、 $L$ を最大にする $θ$ は $T (x)$ だけで決まります。つまり「尤度の $θ$ に関わる部分がデータのどんな要約に依存しているか」を読み取ることが、十分統計量を見つけることにほかなりません。

手順

独立性を使って同時確率（密度）関数を各観測値の積 $f (x ∣ θ) = \prod_{i = 1}^{n} f (x_{i} ∣ θ)$ で書く。値をとる範囲（台）が $θ$ によるときは、指示関数 $1 {\dots}$ （条件が成り立てば $1$ 、そうでなければ $0$ ）も掛けておく。
指数法則でまとめ、 $θ$ を含む部分をデータの要約で表す。例: $\prod θ^{x_{i}} = θ^{\sum x_{i}}$ 、 $\prod e^{- θ x_{i}} = e^{- θ \sum x_{i}}$ 、 $\prod 1 {x_{i} < θ} = 1 {max_{i} x_{i} < θ}$ 。
$θ$ を含む因子をすべて集めて $g (T (x), θ)$ とする。このとき $x$ は $T (x)$ を通してしか現れないことを確認する。
残りの $θ$ を含まない因子を $h (x)$ とする。 $h$ に $θ$ が1つでも残っていたら分け方をやり直す。
$g$ の中に現れた $T (x)$ （ベクトルでもよい）を読み取り、これが $θ$ の十分統計量であると結論する。

例題

$X_{1}, X_{2}, X_{3}, X_{4}$ は独立に平均 $θ > 0$ のポアソン分布 $P (X_{i} = k) = \frac{e ^{- θ} θ ^{k}}{k !}$ （ $k = 0, 1, 2, \dots$ ）に従う。分解定理を用いて $θ$ の十分統計量 $T$ を求め、その分解を $g (t, θ) = θ^{t} e^{- 4 θ}$ の形にとったとき、観測値 $x = (1, 0, 2, 3)$ における $h (x)$ の値を求めよ。

例題の解答

手順1: 各 $x_{i}$ は $0$ 以上の整数で、台は $θ$ によらない。独立性より $f (x ∣ θ) = \prod_{i = 1}^{4} \frac{e ^{- θ} θ ^{x_{i}}}{x _{i} !}$ である。
手順2: 指数法則でまとめると $f (x ∣ θ) = e^{- 4 θ} θ^{x_{1} + x_{2} + x_{3} + x_{4}} \cdot \frac{1}{x _{1} ! x _{2} ! x _{3} ! x _{4} !}$ となる。
手順3: $θ$ を含む因子は $e^{- 4 θ} θ^{\sum x_{i}}$ で、 $x$ は $\sum x_{i}$ を通してだけ現れる。 $T (x) = \sum_{i = 1}^{4} x_{i}$ とおけば $g (T (x), θ) = θ^{T (x)} e^{- 4 θ}$ と書ける。
手順4: 残りは $h (x) = \frac{1}{x _{1} ! x _{2} ! x _{3} ! x _{4} !}$ で、 $θ$ を含まない。
手順5: よって $T = X_{1} + X_{2} + X_{3} + X_{4}$ が $θ$ の十分統計量である。
観測値 $x = (1, 0, 2, 3)$ では $T (x) = 6$ であり、 $h (x) = \frac{1}{1 ! \cdot 0 ! \cdot 2 ! \cdot 3 !} = \frac{1}{1 \cdot 1 \cdot 2 \cdot 6} = \frac{1}{12}$ となる（ $0! = 1$ に注意）。

答え: $\frac{1}{12}$

よくある誤り

$θ$ を含む因子を $h$ に入れてしまう誤り。たとえばポアソン分布で $h (x) = \frac{e ^{- n θ}}{\prod x _{i} !}$ とするのは不可です。正しくは $h$ は $θ$ を一切含まず、 $e^{- n θ}$ は $g (t, θ) = θ^{t} e^{- n θ}$ の側に入れます。
台が $θ$ による分布で指示関数を書き忘れる誤り。一様分布 $U (0, θ)$ で $f (x ∣ θ) = θ^{- n}$ とだけ書くと、データに依存しないように見えてしまいます。正しくは $f (x ∣ θ) = θ^{- n} 1 {max_{i} x_{i} < θ} \cdot 1 {min_{i} x_{i} > 0}$ と書きます。前の2つの因子が $g$ 、最後の因子が $h$ となり、十分統計量は $max_{i} X_{i}$ です。
母数が複数あるのに十分統計量を1つの和だけにしてしまう誤り。正規分布 $N (μ, σ^{2})$ で $μ, σ^{2}$ がともに未知のとき、 $\sum x_{i}$ だけでは足りません。 $\prod f (x_{i}) = (2 π σ^{2})^{- n /2} exp (- \frac{\sum x _{i}^{2} - 2 μ \sum x _{i} + n μ ^{2}}{2 σ ^{2}})$ なので、正しくは組 $(\sum X_{i}, \sum X_{i}^{2})$ が十分統計量です。
十分統計量はただ1つに決まると思い込む誤り。 $T$ が十分なら、 $T$ と1対1に対応する関数も十分です。たとえばポアソン分布では $\sum X_{i}$ も $X ˉ = \frac{1}{n} \sum X_{i}$ も十分統計量です。同様に、分解 $g, h$ も定数倍のやりとりなどで何通りもあります。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

十分統計量と分解定理

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題