を正の整数とし、 は互いに独立に、確率密度関数
( では )の指数分布に従う確率変数とする。ここで は未知の母数である。 にもとづく の不偏推定量の分散に対するクラメール・ラオの下限を、 と を用いて求めよ。
フィッシャー情報量とクラメール・ラオの下限
フィッシャー情報量を計算し、不偏推定量の分散の下限(クラメール・ラオの下限)を求められる
前提
- 推定量のバイアスと平均二乗誤差 (大学数学 数理統計)
- 最尤推定 (大学数学 確率・統計)
この技能までの道筋(69 技能)
読み込み中…
右端(太枠)がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。
一覧で見る(前提が先)
- 樹形図で数え上げる (算数 場合の数)
- 積の法則と和の法則 (算数 場合の数)
- 和の法則・積の法則と樹形図 (数学A 場合の数と確率)
- 順列・円順列・重複順列 (数学A 場合の数と確率)
- 組合せ (数学A 場合の数と確率)
- 確率の定義と和事象・余事象 (数学A 場合の数と確率)
- 期待値 (数学A 場合の数と確率)
- 確率変数と確率分布 (数学B 統計的な推測)
- 平均と合計 (算数 いろいろな文章題)
- 平均値・中央値・最頻値 (中学数学 データの活用)
- 代表値(平均値・中央値・最頻値) (数学I データの分析)
- 分散と標準偏差 (数学I データの分析)
- 変量の変換と平均・分散 (数学I データの分析)
- 確率変数の期待値・分散と (数学B 統計的な推測)
- 確率変数の和と積(独立な場合) (数学B 統計的な推測)
- 分数のたし算・ひき算 (算数 計算と数のきまり)
- 小数の四則計算 (算数 計算と数のきまり)
- 正負の数の加法・減法 (中学数学 数と式)
- 分数のかけ算・わり算 (算数 計算と数のきまり)
- 四則の混じった計算の順序 (算数 計算と数のきまり)
- 正負の数の乗除・累乗と四則混合 (中学数学 数と式)
- 分配法則を使った計算のくふう (算数 計算と数のきまり)
- 文字式の計算(同類項・分配法則) (中学数学 数と式)
- 乗法公式による展開 (中学数学 数と式)
- 因数分解 (中学数学 数と式)
- 3 次式までの展開と因数分解 (数学I 数と式)
- 微分係数と導関数の定義 (数学II 微分法と積分法)
- 多項式の微分 (数学II 微分法と積分法)
- 多項式の不定積分 (数学II 微分法と積分法)
- 等間隔にならんだ数の和 (算数 計算と数のきまり)
- 等差・等比数列の和と Σ (数学B 数列)
- 数列の極限 (数学III 極限)
- 関数の極限 (数学III 極限)
- 積と商の微分 (数学III 微分法)
- 合成関数の微分 (数学III 微分法)
- 円の周の長さと面積 (算数 平面図形)
- おうぎ形の弧の長さと面積 (算数 平面図形)
- 弧の長さからおうぎ形の中心角と面積を求める (中学数学 平面図形)
- 三角形・四角形の面積 (算数 平面図形)
- 約数の見つけ方 (算数 整数の性質)
- 素因数分解と約数の個数 (算数 整数の性質)
- 平方根の意味と根号の簡単化 (中学数学 数と式)
- 三平方の定理 (中学数学 相似と三平方の定理)
- 特別な直角三角形の辺の比 (中学数学 相似と三平方の定理)
- 弧度法と単位円による三角関数 (数学II 三角関数)
- の極限 (数学III 極限)
- 加法定理と 2 倍角・半角・積和の公式 (数学II 三角関数)
- 三角関数の導関数 (数学III 微分法)
- 根号の乗除と加減 (中学数学 数と式)
- 指数の拡張と指数関数 (数学II 指数関数と対数関数)
- 対数の定義と性質 (数学II 指数関数と対数関数)
- 自然対数の底 (数学III 極限)
- 指数関数・対数関数の導関数 (数学III 微分法)
- 基本的な関数の不定積分 (数学III 積分法)
- 置換積分 (数学III 積分法)
- 部分積分 (数学III 積分法)
- 定積分の計算 (数学II 微分法と積分法)
- 定積分の置換・部分積分と偶関数・奇関数 (数学III 積分法)
- 重積分と累次積分 (大学数学 微分積分)
- 同時分布・周辺分布と独立性 (大学数学 確率・統計)
- 共分散と相関係数 (数学I データの分析)
- 確率変数の共分散と相関係数 (大学数学 確率・統計)
- 連続型確率変数と確率密度関数 (数学B 統計的な推測)
- 正規分布と標準化 (数学B 統計的な推測)
- 標本平均の分布 (数学B 統計的な推測)
- 不偏推定量 (大学数学 確率・統計)
- 推定量のバイアスと平均二乗誤差 (大学数学 数理統計)
- 対数微分法 (数学III 微分法)
- 最尤推定 (大学数学 確率・統計)
説明
フィッシャー情報量とは、1 回の観測がパラメータ について「どれだけ多くの手がかりを含むか」を表す数です。これを計算すると、 のどんな不偏推定量も、分散をある値より小さくできないという下限が決まります。この下限をクラメール・ラオの下限と呼びます。手元の推定量の分散がこの下限に一致すれば、その推定量は不偏推定量の中で分散が最小、つまり最良だとわかります。
なぜそうしてよいのか
の確率密度関数(離散なら確率関数)を とし、 とおきます。これをスコアと呼びます。以下では、 となる の範囲が によらず、 による微分と積分(離散なら和)の順序を入れ替えてよい、という正則条件を仮定します。 の両辺を で微分すると です。 なので、これは を意味します。そこでフィッシャー情報量を と定めます。もう一度微分すると となるので、 とも書けます。対数尤度のグラフが最尤推定値のまわりで鋭く尖っているほど を絞り込みやすく、情報量は大きくなります。
次に を の不偏推定量とします。 を で微分すると 、つまり です。 なので となります。相関係数の絶対値は 1 以下なので が成り立ち、、すなわち が得られます。
が独立に同じ分布に従うとき、対数尤度は各観測の対数密度の和になります。スコアも各観測のスコアの和になり、それらは独立で分散が等しいので、標本全体の情報量は です。したがって、 個の観測による不偏推定量について が成り立ちます。
手順
1 個の観測の対数密度(対数確率関数) を書き、 のとりうる範囲が によらないこと(正則条件)を確認する。
で 2 回微分して を求める。1 回微分したスコア を使って を計算してもよい。
を含む項に などを代入して期待値をとり、 を求める。
独立同分布の 個の観測なら、標本全体の情報量を とする。
不偏推定量 の分散の下限(クラメール・ラオの下限)を として求める。
例題
は独立に、()のベルヌーイ分布に従う。 の不偏推定量の分散に対するクラメール・ラオの下限を求めよ。
例題の解答
手順 1:1 個の観測の確率関数は ()です。とりうる値 は によりません。対数をとると です。
手順 2: で微分すると、スコアは です。もう一度微分すると となります。
手順 3: を代入して期待値をとると、 です。
手順 4:観測は 個なので です。
手順 5:下限は です。
(確認)標本平均 は不偏で、 です。これは下限に一致するので、 は不偏推定量の中で分散が最小です。
答え:
よくある誤り
1 個分の情報量 だけで下限を としてしまう誤り。正しくは、 個の独立な観測では なので、下限は です(ベルヌーイ分布なら ではなく )。
2 階微分の期待値に負号を付け忘れ、 としてしまう誤り。正しくは です。たとえばベルヌーイ分布では、負号を忘れると となり、情報量が負になって矛盾します。
期待値をとらずに を残したまま、 を情報量としてしまう誤り。正しくは、 などを代入して だけの式にします。
のとりうる範囲が によって変わる分布(例:一様分布 、密度 , )にもそのまま適用してしまう誤り。この場合は微分と積分の入れ替えが成り立たないので、下限 は保証されません。実際に、その値より分散の小さい不偏推定量が存在します。
この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。
入口の問題
を正の整数とし、 は互いに独立に、確率密度関数
( では )の指数分布に従う確率変数とする。ここで は未知の母数である。なお、 の期待値は である。クラメール・ラオの不等式が成り立つための正則条件は満たされているものとする。 に基づく の不偏推定量の分散について、クラメール・ラオの下限を と の式で求めよ。
を正の整数とし、 は互いに独立に、確率関数
のベルヌーイ分布に従う確率変数とする。ここで は未知の母数である。 の不偏推定量の分散に対するクラメール・ラオの下限を、 と を用いて表せ。
この技能を使う問題
を正の整数とし、 は互いに独立に、確率関数
の幾何分布に従う確率変数とする。ここで は未知の母数である。この分布の平均 の不偏推定量の分散に対するクラメール・ラオの下限を、 と を用いて表せ。を正の整数とする。 は互いに独立に、確率関数 のポアソン分布に従う確率変数である。ここで は未知の母数である。1 回の観測で値が となる確率 を、 にもとづく不偏推定量で推定したい。 の不偏推定量の分散に対するクラメール・ラオの下限を、 と を用いて表せ。ただし、クラメール・ラオの不等式が成り立つための正則条件は満たされているものとする。
を未知の母数とし、( は 以上の整数)は互いに独立に、確率密度関数
をもつ分布に従うとする。 とおき、
と定める。1 標本あたりのフィッシャー情報量を とし、 の不偏推定量に対するクラメール・ラオの下限を とする。このとき、 は の不偏推定量であり、すべての に対して が成り立つ(すなわち の分散はクラメール・ラオの下限に達しない)ことを証明せよ。
ただし、互いに独立で、いずれも確率密度関数 をもつ 個の確率変数の和は、確率密度関数 をもつこと(ガンマ分布の再生性)と、正の整数 に対して であることは用いてよい。
を正の整数とし、 は互いに独立に正規分布 (平均 、分散 )に従う確率変数とする。ここで は未知の母数である。
の推定量として
を考える。ここで定数 は、 が の不偏推定量になるように定める。の不偏推定量の分散に対するクラメール・ラオの下限を とするとき、比
の値を求めよ(この値は と によらない)。ただし、この分布族はクラメール・ラオの不等式が成り立つための正則条件を満たすものとしてよい。を正の整数とし、 は互いに独立に、確率密度関数
をもつ分布に従うとする。ここで は未知の母数である。 の推定量として
を考える( は の不偏推定量である)。 の不偏推定量の分散に対するクラメール・ラオの下限を とするとき、 の効率 を求めよ。ただし、クラメール・ラオの不等式が成り立つための正則条件は満たされているものとし、必要なら を用いてよい。を 以上の整数とし、 は互いに独立に、確率密度関数
( 以外では )に従う確率変数とする。ここで は未知の母数である。とおき、 の推定量
を考える( は の不偏推定量である)。 の不偏推定量の分散に対するクラメール・ラオの下限を とするとき、比 を の式で求めよ。を正の整数とし、 は互いに独立に、確率密度関数
( 以外では )をもつ分布に従う確率変数とする。ここで は未知の母数である。とおくと、標本平均 は の不偏推定量である。 の不偏推定量の分散に対するクラメール・ラオの下限を とするとき、比
を の式で求めよ。ただし、この分布族はクラメール・ラオの不等式が成り立つための正則条件を満たすものとしてよい。
この技能の次に学べること
- 母数の関数の推定とクラメール・ラオの下限・効率 (大学数学 数理統計)