技能一覧 › 大学数学 数理統計

推定量のバイアスと平均二乗誤差

平均二乗誤差を「分散 + バイアスの 2 乗」に分けて、推定量どうしを比べられる

前提

この技能までの道筋(66 技能)
算数中学高校大学大学院

読み込み中…

右端(太枠)がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る(前提が先)
  1. 樹形図で数え上げる (算数 場合の数)
  2. 積の法則と和の法則 (算数 場合の数)
  3. 和の法則・積の法則と樹形図 (数学A 場合の数と確率)
  4. 順列・円順列・重複順列 (数学A 場合の数と確率)
  5. 組合せ (数学A 場合の数と確率)
  6. 確率の定義と和事象・余事象 (数学A 場合の数と確率)
  7. 期待値 (数学A 場合の数と確率)
  8. 確率変数と確率分布 (数学B 統計的な推測)
  9. 平均と合計 (算数 いろいろな文章題)
  10. 平均値・中央値・最頻値 (中学数学 データの活用)
  11. 代表値(平均値・中央値・最頻値) (数学I データの分析)
  12. 分散と標準偏差 (数学I データの分析)
  13. 変量の変換と平均・分散 (数学I データの分析)
  14. 確率変数の期待値・分散と (数学B 統計的な推測)
  15. 確率変数の和と積(独立な場合) (数学B 統計的な推測)
  16. 分数のたし算・ひき算 (算数 計算と数のきまり)
  17. 小数の四則計算 (算数 計算と数のきまり)
  18. 正負の数の加法・減法 (中学数学 数と式)
  19. 分数のかけ算・わり算 (算数 計算と数のきまり)
  20. 四則の混じった計算の順序 (算数 計算と数のきまり)
  21. 正負の数の乗除・累乗と四則混合 (中学数学 数と式)
  22. 分配法則を使った計算のくふう (算数 計算と数のきまり)
  23. 文字式の計算(同類項・分配法則) (中学数学 数と式)
  24. 乗法公式による展開 (中学数学 数と式)
  25. 因数分解 (中学数学 数と式)
  26. 3 次式までの展開と因数分解 (数学I 数と式)
  27. 微分係数と導関数の定義 (数学II 微分法と積分法)
  28. 多項式の微分 (数学II 微分法と積分法)
  29. 多項式の不定積分 (数学II 微分法と積分法)
  30. 等間隔にならんだ数の和 (算数 計算と数のきまり)
  31. 等差・等比数列の和と Σ (数学B 数列)
  32. 数列の極限 (数学III 極限)
  33. 関数の極限 (数学III 極限)
  34. 積と商の微分 (数学III 微分法)
  35. 合成関数の微分 (数学III 微分法)
  36. 円の周の長さと面積 (算数 平面図形)
  37. おうぎ形の弧の長さと面積 (算数 平面図形)
  38. 弧の長さからおうぎ形の中心角と面積を求める (中学数学 平面図形)
  39. 三角形・四角形の面積 (算数 平面図形)
  40. 約数の見つけ方 (算数 整数の性質)
  41. 素因数分解と約数の個数 (算数 整数の性質)
  42. 平方根の意味と根号の簡単化 (中学数学 数と式)
  43. 三平方の定理 (中学数学 相似と三平方の定理)
  44. 特別な直角三角形の辺の比 (中学数学 相似と三平方の定理)
  45. 弧度法と単位円による三角関数 (数学II 三角関数)
  46. の極限 (数学III 極限)
  47. 加法定理と 2 倍角・半角・積和の公式 (数学II 三角関数)
  48. 三角関数の導関数 (数学III 微分法)
  49. 根号の乗除と加減 (中学数学 数と式)
  50. 指数の拡張と指数関数 (数学II 指数関数と対数関数)
  51. 対数の定義と性質 (数学II 指数関数と対数関数)
  52. 自然対数の底 (数学III 極限)
  53. 指数関数・対数関数の導関数 (数学III 微分法)
  54. 基本的な関数の不定積分 (数学III 積分法)
  55. 置換積分 (数学III 積分法)
  56. 部分積分 (数学III 積分法)
  57. 定積分の計算 (数学II 微分法と積分法)
  58. 定積分の置換・部分積分と偶関数・奇関数 (数学III 積分法)
  59. 重積分と累次積分 (大学数学 微分積分)
  60. 同時分布・周辺分布と独立性 (大学数学 確率・統計)
  61. 共分散と相関係数 (数学I データの分析)
  62. 確率変数の共分散と相関係数 (大学数学 確率・統計)
  63. 連続型確率変数と確率密度関数 (数学B 統計的な推測)
  64. 正規分布と標準化 (数学B 統計的な推測)
  65. 標本平均の分布 (数学B 統計的な推測)
  66. 不偏推定量 (大学数学 確率・統計)

説明

推定量 が母数 からどれだけずれやすいかを、平均二乗誤差 という 1 つの数で表します。MSE は「推定値のばらつき(分散)」と「平均的なずれ(バイアス)の 2 乗」の和に分けられます。この分解を使うと、不偏でない推定量も含めて、どの推定量がより正確かを比べられます。わざとバイアスを入れて分散を小さくし、MSE を下げるという考え方の土台にもなります。

なぜそうしてよいのか

推定量 の期待値を とし、バイアスを と定めます。不偏推定量は となる推定量のことです。誤差 を「 がその平均からずれる分」と「平均が真の値からずれる分」に分けると となります。両辺を 2 乗して期待値をとると、 です。 は確率変数ではなく定数なので、期待値の外に出せます。

ここで なので、真ん中の項は消えます。また、 は分散 の定義そのものです。したがって が成り立ちます( が有限であるとします)。不偏推定量なら なので、MSE は分散に一致します。

直観的には、的当てにたとえられます。分散は「矢がどれだけ散らばるか」、バイアスは「矢の集まりの中心が的の中心からどれだけ離れているか」を表します。中心が少しずれていても散らばりが十分小さければ、全体としては的に近い、ということが起こり得ます。そのため、不偏であることだけでは推定量の良さは決まりません。

手順

  1. 推定量 の期待値 を計算し、バイアス を求める

  2. 推定量の分散 を計算する。定数倍は 、独立な確率変数の和は を使う

  3. に代入して整理する

  4. 推定量どうしを比べるときは MSE の小さい方を良いとする。大小が母数の値によって変わることがあるので、どの範囲でどちらが小さいかを調べる

例題

( は正の整数)は互いに独立で、どれも平均 、分散 の同じ分布に従う。母平均 の推定量 の平均二乗誤差 を、 で表せ。

例題の解答

【手順1】期待値の線形性より である。よってバイアスは となる。
【手順2】 は独立なので、和の分散は各分散の和になる。 である。
【手順3】 となる。
【手順4(参考)】標本平均 は不偏なので、その MSE は分散 に等しい。 の分母を払うと となる。これを整理すると である。つまり のときは、バイアスのある の方が MSE が小さい。

答え:

よくある誤り

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

この技能を使う問題

この技能の次に学べること