を正の実数(未知の母数)とします。 は互いに独立に、区間 上の一様分布に従う確率変数です。各 について
が成り立つことを用いてかまいません。 の推定量として
を考えます。 の平均二乗誤差 を の式で求めてください。
推定量のバイアスと平均二乗誤差
平均二乗誤差を「分散 + バイアスの 2 乗」に分けて、推定量どうしを比べられる
前提
- 不偏推定量 (大学数学 確率・統計)
この技能までの道筋(66 技能)
読み込み中…
右端(太枠)がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。
一覧で見る(前提が先)
- 樹形図で数え上げる (算数 場合の数)
- 積の法則と和の法則 (算数 場合の数)
- 和の法則・積の法則と樹形図 (数学A 場合の数と確率)
- 順列・円順列・重複順列 (数学A 場合の数と確率)
- 組合せ (数学A 場合の数と確率)
- 確率の定義と和事象・余事象 (数学A 場合の数と確率)
- 期待値 (数学A 場合の数と確率)
- 確率変数と確率分布 (数学B 統計的な推測)
- 平均と合計 (算数 いろいろな文章題)
- 平均値・中央値・最頻値 (中学数学 データの活用)
- 代表値(平均値・中央値・最頻値) (数学I データの分析)
- 分散と標準偏差 (数学I データの分析)
- 変量の変換と平均・分散 (数学I データの分析)
- 確率変数の期待値・分散と (数学B 統計的な推測)
- 確率変数の和と積(独立な場合) (数学B 統計的な推測)
- 分数のたし算・ひき算 (算数 計算と数のきまり)
- 小数の四則計算 (算数 計算と数のきまり)
- 正負の数の加法・減法 (中学数学 数と式)
- 分数のかけ算・わり算 (算数 計算と数のきまり)
- 四則の混じった計算の順序 (算数 計算と数のきまり)
- 正負の数の乗除・累乗と四則混合 (中学数学 数と式)
- 分配法則を使った計算のくふう (算数 計算と数のきまり)
- 文字式の計算(同類項・分配法則) (中学数学 数と式)
- 乗法公式による展開 (中学数学 数と式)
- 因数分解 (中学数学 数と式)
- 3 次式までの展開と因数分解 (数学I 数と式)
- 微分係数と導関数の定義 (数学II 微分法と積分法)
- 多項式の微分 (数学II 微分法と積分法)
- 多項式の不定積分 (数学II 微分法と積分法)
- 等間隔にならんだ数の和 (算数 計算と数のきまり)
- 等差・等比数列の和と Σ (数学B 数列)
- 数列の極限 (数学III 極限)
- 関数の極限 (数学III 極限)
- 積と商の微分 (数学III 微分法)
- 合成関数の微分 (数学III 微分法)
- 円の周の長さと面積 (算数 平面図形)
- おうぎ形の弧の長さと面積 (算数 平面図形)
- 弧の長さからおうぎ形の中心角と面積を求める (中学数学 平面図形)
- 三角形・四角形の面積 (算数 平面図形)
- 約数の見つけ方 (算数 整数の性質)
- 素因数分解と約数の個数 (算数 整数の性質)
- 平方根の意味と根号の簡単化 (中学数学 数と式)
- 三平方の定理 (中学数学 相似と三平方の定理)
- 特別な直角三角形の辺の比 (中学数学 相似と三平方の定理)
- 弧度法と単位円による三角関数 (数学II 三角関数)
- の極限 (数学III 極限)
- 加法定理と 2 倍角・半角・積和の公式 (数学II 三角関数)
- 三角関数の導関数 (数学III 微分法)
- 根号の乗除と加減 (中学数学 数と式)
- 指数の拡張と指数関数 (数学II 指数関数と対数関数)
- 対数の定義と性質 (数学II 指数関数と対数関数)
- 自然対数の底 (数学III 極限)
- 指数関数・対数関数の導関数 (数学III 微分法)
- 基本的な関数の不定積分 (数学III 積分法)
- 置換積分 (数学III 積分法)
- 部分積分 (数学III 積分法)
- 定積分の計算 (数学II 微分法と積分法)
- 定積分の置換・部分積分と偶関数・奇関数 (数学III 積分法)
- 重積分と累次積分 (大学数学 微分積分)
- 同時分布・周辺分布と独立性 (大学数学 確率・統計)
- 共分散と相関係数 (数学I データの分析)
- 確率変数の共分散と相関係数 (大学数学 確率・統計)
- 連続型確率変数と確率密度関数 (数学B 統計的な推測)
- 正規分布と標準化 (数学B 統計的な推測)
- 標本平均の分布 (数学B 統計的な推測)
- 不偏推定量 (大学数学 確率・統計)
説明
推定量 が母数 からどれだけずれやすいかを、平均二乗誤差 という 1 つの数で表します。MSE は「推定値のばらつき(分散)」と「平均的なずれ(バイアス)の 2 乗」の和に分けられます。この分解を使うと、不偏でない推定量も含めて、どの推定量がより正確かを比べられます。わざとバイアスを入れて分散を小さくし、MSE を下げるという考え方の土台にもなります。
なぜそうしてよいのか
推定量 の期待値を とし、バイアスを と定めます。不偏推定量は となる推定量のことです。誤差 を「 がその平均からずれる分」と「平均が真の値からずれる分」に分けると となります。両辺を 2 乗して期待値をとると、 です。 は確率変数ではなく定数なので、期待値の外に出せます。
ここで なので、真ん中の項は消えます。また、 は分散 の定義そのものです。したがって が成り立ちます( が有限であるとします)。不偏推定量なら なので、MSE は分散に一致します。
直観的には、的当てにたとえられます。分散は「矢がどれだけ散らばるか」、バイアスは「矢の集まりの中心が的の中心からどれだけ離れているか」を表します。中心が少しずれていても散らばりが十分小さければ、全体としては的に近い、ということが起こり得ます。そのため、不偏であることだけでは推定量の良さは決まりません。
手順
推定量 の期待値 を計算し、バイアス を求める
推定量の分散 を計算する。定数倍は 、独立な確率変数の和は を使う
に代入して整理する
推定量どうしを比べるときは MSE の小さい方を良いとする。大小が母数の値によって変わることがあるので、どの範囲でどちらが小さいかを調べる
例題
( は正の整数)は互いに独立で、どれも平均 、分散 の同じ分布に従う。母平均 の推定量 の平均二乗誤差 を、 で表せ。
例題の解答
【手順1】期待値の線形性より である。よってバイアスは となる。
【手順2】 は独立なので、和の分散は各分散の和になる。 である。
【手順3】 となる。
【手順4(参考)】標本平均 は不偏なので、その MSE は分散 に等しい。 の分母を払うと となる。これを整理すると である。つまり のときは、バイアスのある の方が MSE が小さい。
答え:
よくある誤り
バイアスを 2 乗せずに としてしまう誤り。正しくは である。たとえば例題で をそのまま足すと、MSE が負になることさえある。
定数倍の分散を としてしまう誤り。正しくは係数を 2 乗して である()。
偏りのある推定量でも MSE は分散 に等しいとしてしまう誤り。MSE は真の値 のまわりの 2 乗誤差 である。 なら MSE は分散より だけ大きい。
「不偏推定量の方が常に良い」と決めつけてしまう誤り。例題の は偏っているが、 のときは不偏な (MSE )より MSE が小さい。比べるときは MSE を計算し、母数のどの範囲でどちらが小さいかを確かめる。
この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。
入口の問題
は互いに独立で、いずれも平均 、分散 をもつ同じ分布に従う確率変数とする( は実数、)。 の推定量として
を考える。 の平均二乗誤差 を を用いて表せ。を正の実数とし、 は互いに独立に、区間 上の一様分布に従う確率変数とする。各 の期待値は 、分散は である。 の推定量として
を考える。 の平均二乗誤差 を を用いて表せ。
この技能を使う問題
は互いに独立に、成功確率 のベルヌーイ分布 に従う確率変数とする()。 の推定量として
を考える。 の平均二乗誤差 を の式で求めよ。は互いに独立で、いずれも平均 、分散 をもつ同じ分布に従う確率変数とする( は実数、)。 の推定量として
を考える。 の平均二乗誤差 を の式で求めよ。を未知の母数とし、( は 以上の整数)は互いに独立に、区間 上の一様分布に従うとする。 の 2 つの推定量
を考える。推定量 の平均二乗誤差を と定める。は の不偏推定量で、 は不偏推定量でない(バイアスが でない)にもかかわらず、すべての に対して
が成り立つことを証明せよ。を 以上の整数とし、 は互いに独立に正規分布 に従う確率変数とする( は未知の実数、 は未知の母数)。
とおく。このとき は自由度 のカイ二乗分布に従い、その平均は 、分散は であることを用いてよい。正の定数 に対して、 の推定量 を考える。平均二乗誤差 を、すべての , に対して最小にする を の式で求めよ。
を正の整数とし、 は互いに独立に、確率関数
のポアソン分布に従う確率変数とする。ここで は未知の母数である。 とし、 の推定量として を用いる。 の平均二乗誤差
を と の式で表せ。を 以上の整数とし、 は互いに独立に、確率密度関数
の指数分布に従う確率変数とする( は未知の母数)。 とおき、 によらない正の定数 ( には依存してよい)を用いた の推定量
を考える。平均二乗誤差 を最小にする の値はすべての に対して共通である。この値を とするとき、組 を と を用いて表せ。を 以上の整数とし、 は互いに独立に正規分布 に従う確率変数とする。ここで は実数、 は正の実数で、どちらも未知の母数である。標本平均と不偏分散を
とし、 の推定量
を考える。 の平均二乗誤差 を を用いて表せ。
この技能の次に学べること
- フィッシャー情報量とクラメール・ラオの下限 (大学数学 数理統計)