最尤推定

尤度関数（対数尤度）を最大にして、パラメータの最尤推定量を求められる

前提

同時分布・周辺分布と独立性（大学数学確率・統計）
対数微分法（数学III 微分法）

この技能までの道筋（61 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
対数微分法（数学III 微分法）

説明

最尤推定は、確率分布の形はわかっているがパラメータ（指数分布の $λ$ 、ポアソン分布の平均など）がわからないとき、観測データからそのパラメータを推定する方法です。「手元のデータがいちばん出やすくなるパラメータの値」を推定値として採用します。実際の計算では、尤度関数の対数をとって微分し、最大になる点を求めます。統計モデルの当てはめ、機械学習の学習、信頼性工学での寿命推定など、データからモデルの定数を決める場面で広く使います。

なぜそうしてよいのか

確率変数 $X_{1}, \dots, X_{n}$ が互いに独立で、どれも確率（密度）関数 $f (x; θ)$ に従うとします。独立なので同時確率（密度）関数は積 $\prod_{i = 1}^{n} f (x_{i}; θ)$ です。ここでデータ $x_{1}, \dots, x_{n}$ を観測済みの数として固定し、 $θ$ だけを動かす関数とみなしたものを尤度関数 $L (θ) = \prod_{i = 1}^{n} f (x_{i}; θ)$ と呼びます。 $L (θ)$ が大きいほど、その $θ$ のもとで実際のデータが出やすい（離散なら確率が大きく、連続なら密度が大きい）ことになります。そこで、 $L (θ)$ を最大にする $θ$ を推定値とします。これが最尤推定値です。

積のままでは微分が面倒なので、対数微分法と同じ発想で対数をとり、対数尤度 $ℓ (θ) = lo g L (θ) = \sum_{i = 1}^{n} lo g f (x_{i}; θ)$ を考えます。 $lo g$ は単調増加なので、 $L (θ) > 0$ である範囲では $L$ を最大にする $θ$ と $ℓ$ を最大にする $θ$ は同じです。しかも積が和に変わるので、項ごとに微分できます。

最大値の候補は $ℓ^{'} (θ) = 0$ を満たす点です。ただし、 $ℓ^{'} (θ) = 0$ の点が本当に最大を与えるかどうかは、増減（ $ℓ^{'}$ の符号の変化）で確かめる必要があります。また、パラメータのとりうる範囲（例: $λ > 0$ ）の端で最大になる場合もあるので、その確認も欠かせません。最後にデータ $x_{i}$ を確率変数 $X_{i}$ に置き換えたものを最尤推定量と呼びます。

手順

データが独立に同じ分布に従うことを使って、尤度関数を積で書く: $L (θ) = \prod_{i = 1}^{n} f (x_{i}; θ)$ 。あわせてパラメータの範囲（例: $λ > 0$ ）を確認する
対数をとって和にする: $ℓ (θ) = \sum_{i = 1}^{n} lo g f (x_{i}; θ)$
$θ$ で微分して $ℓ^{'} (θ) = 0$ を解き、最大値の候補を求める
$ℓ^{'} (θ)$ の符号の変化（または $ℓ^{''} (θ) < 0$ ）とパラメータの範囲の端を調べ、その候補で本当に最大になることを確かめる
求めた値が最尤推定値になる。式の中のデータ $x_{i}$ を確率変数 $X_{i}$ に置き換えると最尤推定量になる

例題

ある部品の寿命 $X$ （単位: 年）は、確率密度関数 $f (x; λ) = λ e^{- λ x} (x \geq 0)$ 、 $f (x; λ) = 0 (x < 0)$ の指数分布に従うとする。ただし $λ > 0$ は未知のパラメータである。独立に 4 個の部品を観測したところ、寿命は $0.5, 1.5, 2, 4$ であった。 $λ$ の最尤推定値を求めよ。

例題の解答

手順1（尤度関数を書く）: 4 個の観測は独立なので、尤度関数は
$L (λ) = i = 1 \prod 4 λ e^{- λ x_{i}} = λ^{4} e^{- λ (0.5 + 1.5 + 2 + 4)} = λ^{4} e^{- 8 λ} (λ > 0)$
となる。

手順2（対数をとる）: $L (λ) > 0$ なので対数をとってよく、
$ℓ (λ) = lo g L (λ) = 4 lo g λ - 8 λ$
となる。

手順3（微分して 0 とおく）:
$ℓ^{'} (λ) = \frac{4}{λ} - 8$
であり、 $ℓ^{'} (λ) = 0$ を解くと $λ = \frac{1}{2}$ を得る。

手順4（最大であることの確認）: $0 < λ < \frac{1}{2}$ では $ℓ^{'} (λ) > 0$ 、 $λ > \frac{1}{2}$ では $ℓ^{'} (λ) < 0$ である。よって $ℓ$ は $λ = \frac{1}{2}$ まで増加し、その後は減少する。したがって $ℓ$ は $λ > 0$ の範囲で $λ = \frac{1}{2}$ において最大になる。 $lo g$ は単調増加なので、 $L$ もこの点で最大になる。

手順5（結論）: 最尤推定値は $λ^= \frac{1}{2}$ である。一般に $n$ 個のデータでは $λ^= \frac{n}{\sum _{i = 1}^{n} x _{i}} = \frac{1}{x ˉ}$ （標本平均の逆数）となる。ここでは $x ˉ = 2$ なので、この式からも $\frac{1}{2}$ が得られる。

答え: $\frac{1}{2}$

よくある誤り

対数尤度を、データ $x_{i}$ について微分してしまう誤り。データは観測済みの定数である。正しくは、パラメータについて微分する（例: $ℓ (λ) = 4 lo g λ - 8 λ$ を $λ$ で微分して $ℓ^{'} (λ) = \frac{4}{λ} - 8$ ）。
積の対数を対数の積にしてしまう誤り（例: $lo g \prod_{i} f (x_{i}; θ) = \prod_{i} lo g f (x_{i}; θ)$ ）。正しくは和になり、 $lo g \prod_{i} f (x_{i}; θ) = \sum_{i} lo g f (x_{i}; θ)$ 。たとえば $lo g (λ^{n} e^{- λ \sum x_{i}}) = n lo g λ - λ \sum_{i} x_{i}$ である。
どんな場合でも $ℓ^{'} (θ) = 0$ を解けば済むと考える誤り。たとえば区間 $[0, θ]$ 上の一様分布では、 $L (θ) = θ^{- n}$ が成り立つのは $θ \geq max_{i} x_{i}$ のときだけで、それ以外では $L (θ) = 0$ である。 $ℓ^{'} (θ) = - \frac{n}{θ}$ は 0 にならない。正しくは、 $L$ が減少関数であることから範囲の端で最大になり、 $θ^= max_{i} x_{i}$ となる。
正規分布 $N (μ, σ^{2})$ の分散の最尤推定量を $\frac{1}{n - 1} \sum_{i} (X_{i} - X ˉ)^{2}$ としてしまう誤り。対数尤度を最大にすると $μ^= X ˉ$ と $σ^^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - X ˉ)^{2}$ が得られ、分母は $n$ になる。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

最尤推定

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題

この技能を使う問題

この技能の次に学べること