技能一覧 › 大学数学 数理統計

フィッシャー情報量とクラメール・ラオの下限

フィッシャー情報量を計算し、不偏推定量の分散の下限(クラメール・ラオの下限)を求められる

前提

この技能までの道筋(69 技能)
算数中学高校大学大学院

読み込み中…

右端(太枠)がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る(前提が先)
  1. 樹形図で数え上げる (算数 場合の数)
  2. 積の法則と和の法則 (算数 場合の数)
  3. 和の法則・積の法則と樹形図 (数学A 場合の数と確率)
  4. 順列・円順列・重複順列 (数学A 場合の数と確率)
  5. 組合せ (数学A 場合の数と確率)
  6. 確率の定義と和事象・余事象 (数学A 場合の数と確率)
  7. 期待値 (数学A 場合の数と確率)
  8. 確率変数と確率分布 (数学B 統計的な推測)
  9. 平均と合計 (算数 いろいろな文章題)
  10. 平均値・中央値・最頻値 (中学数学 データの活用)
  11. 代表値(平均値・中央値・最頻値) (数学I データの分析)
  12. 分散と標準偏差 (数学I データの分析)
  13. 変量の変換と平均・分散 (数学I データの分析)
  14. 確率変数の期待値・分散と (数学B 統計的な推測)
  15. 確率変数の和と積(独立な場合) (数学B 統計的な推測)
  16. 分数のたし算・ひき算 (算数 計算と数のきまり)
  17. 小数の四則計算 (算数 計算と数のきまり)
  18. 正負の数の加法・減法 (中学数学 数と式)
  19. 分数のかけ算・わり算 (算数 計算と数のきまり)
  20. 四則の混じった計算の順序 (算数 計算と数のきまり)
  21. 正負の数の乗除・累乗と四則混合 (中学数学 数と式)
  22. 分配法則を使った計算のくふう (算数 計算と数のきまり)
  23. 文字式の計算(同類項・分配法則) (中学数学 数と式)
  24. 乗法公式による展開 (中学数学 数と式)
  25. 因数分解 (中学数学 数と式)
  26. 3 次式までの展開と因数分解 (数学I 数と式)
  27. 微分係数と導関数の定義 (数学II 微分法と積分法)
  28. 多項式の微分 (数学II 微分法と積分法)
  29. 多項式の不定積分 (数学II 微分法と積分法)
  30. 等間隔にならんだ数の和 (算数 計算と数のきまり)
  31. 等差・等比数列の和と Σ (数学B 数列)
  32. 数列の極限 (数学III 極限)
  33. 関数の極限 (数学III 極限)
  34. 積と商の微分 (数学III 微分法)
  35. 合成関数の微分 (数学III 微分法)
  36. 円の周の長さと面積 (算数 平面図形)
  37. おうぎ形の弧の長さと面積 (算数 平面図形)
  38. 弧の長さからおうぎ形の中心角と面積を求める (中学数学 平面図形)
  39. 三角形・四角形の面積 (算数 平面図形)
  40. 約数の見つけ方 (算数 整数の性質)
  41. 素因数分解と約数の個数 (算数 整数の性質)
  42. 平方根の意味と根号の簡単化 (中学数学 数と式)
  43. 三平方の定理 (中学数学 相似と三平方の定理)
  44. 特別な直角三角形の辺の比 (中学数学 相似と三平方の定理)
  45. 弧度法と単位円による三角関数 (数学II 三角関数)
  46. の極限 (数学III 極限)
  47. 加法定理と 2 倍角・半角・積和の公式 (数学II 三角関数)
  48. 三角関数の導関数 (数学III 微分法)
  49. 根号の乗除と加減 (中学数学 数と式)
  50. 指数の拡張と指数関数 (数学II 指数関数と対数関数)
  51. 対数の定義と性質 (数学II 指数関数と対数関数)
  52. 自然対数の底 (数学III 極限)
  53. 指数関数・対数関数の導関数 (数学III 微分法)
  54. 基本的な関数の不定積分 (数学III 積分法)
  55. 置換積分 (数学III 積分法)
  56. 部分積分 (数学III 積分法)
  57. 定積分の計算 (数学II 微分法と積分法)
  58. 定積分の置換・部分積分と偶関数・奇関数 (数学III 積分法)
  59. 重積分と累次積分 (大学数学 微分積分)
  60. 同時分布・周辺分布と独立性 (大学数学 確率・統計)
  61. 共分散と相関係数 (数学I データの分析)
  62. 確率変数の共分散と相関係数 (大学数学 確率・統計)
  63. 連続型確率変数と確率密度関数 (数学B 統計的な推測)
  64. 正規分布と標準化 (数学B 統計的な推測)
  65. 標本平均の分布 (数学B 統計的な推測)
  66. 不偏推定量 (大学数学 確率・統計)
  67. 推定量のバイアスと平均二乗誤差 (大学数学 数理統計)
  68. 対数微分法 (数学III 微分法)
  69. 最尤推定 (大学数学 確率・統計)

説明

フィッシャー情報量とは、1 回の観測がパラメータ について「どれだけ多くの手がかりを含むか」を表す数です。これを計算すると、 のどんな不偏推定量も、分散をある値より小さくできないという下限が決まります。この下限をクラメール・ラオの下限と呼びます。手元の推定量の分散がこの下限に一致すれば、その推定量は不偏推定量の中で分散が最小、つまり最良だとわかります。

なぜそうしてよいのか

の確率密度関数(離散なら確率関数)を とし、 とおきます。これをスコアと呼びます。以下では、 となる の範囲が によらず、 による微分と積分(離散なら和)の順序を入れ替えてよい、という正則条件を仮定します。 の両辺を で微分すると です。 なので、これは を意味します。そこでフィッシャー情報量を と定めます。もう一度微分すると となるので、 とも書けます。対数尤度のグラフが最尤推定値のまわりで鋭く尖っているほど を絞り込みやすく、情報量は大きくなります。

次に を の不偏推定量とします。 を で微分すると 、つまり です。 なので となります。相関係数の絶対値は 1 以下なので が成り立ち、、すなわち が得られます。

が独立に同じ分布に従うとき、対数尤度は各観測の対数密度の和になります。スコアも各観測のスコアの和になり、それらは独立で分散が等しいので、標本全体の情報量は です。したがって、 個の観測による不偏推定量について が成り立ちます。

手順

  1. 1 個の観測の対数密度(対数確率関数) を書き、 のとりうる範囲が によらないこと(正則条件)を確認する。

  2. で 2 回微分して を求める。1 回微分したスコア を使って を計算してもよい。

  3. を含む項に などを代入して期待値をとり、 を求める。

  4. 独立同分布の 個の観測なら、標本全体の情報量を とする。

  5. 不偏推定量 の分散の下限(クラメール・ラオの下限)を として求める。

例題

は独立に、()のベルヌーイ分布に従う。 の不偏推定量の分散に対するクラメール・ラオの下限を求めよ。

例題の解答

手順 1:1 個の観測の確率関数は ()です。とりうる値 は によりません。対数をとると です。
手順 2: で微分すると、スコアは です。もう一度微分すると となります。
手順 3: を代入して期待値をとると、 です。
手順 4:観測は 個なので です。
手順 5:下限は です。
(確認)標本平均 は不偏で、 です。これは下限に一致するので、 は不偏推定量の中で分散が最小です。

答え:

よくある誤り

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

この技能を使う問題

この技能の次に学べること