フィットによる推定値の誤差と相関

傾きと切片の共分散 $Cov (a, b) = - \frac{x ˉ σ ^{2}}{\sum ( x _{i} - x ˉ ) ^{2}}$ を含めて、直線上の推定値 $y^= a + b x_{0}$ の標準誤差 $σ \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{\sum ( x _{i} - x ˉ ) ^{2}}$ を求められる

前提

直線フィットの傾き・切片の誤差（大学物理物理実験・誤差論）
偏微分による一般の誤差伝播則（大学物理物理実験・誤差論）

この技能までの道筋（85 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
共分散と相関係数（数学I データの分析）
確率変数の共分散と相関係数（大学数学確率・統計）
偏微分と全微分（大学数学微分積分）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
2 次不等式（数学I 2次関数）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
増減表と極値（数学II 微分法と積分法）
第 2 次導関数とグラフの凹凸（数学III 微分法）
2 変数関数の極値（大学数学微分積分）
最小二乗法と回帰直線（大学数学数理統計）
連続型確率変数と確率密度関数（数学B 統計的な推測）
正規分布と標準化（数学B 統計的な推測）
標本平均の分布（数学B 統計的な推測）
不偏推定量（大学数学確率・統計）
平均値・標準偏差・平均の標準誤差（大学物理物理実験・誤差論）
和と差の誤差伝播（大学物理物理実験・誤差論）
直線フィットの傾き・切片の誤差（大学物理物理実験・誤差論）
対数微分法（数学III 微分法）
積・商・べき乗の相対誤差（大学物理物理実験・誤差論）
偏微分による一般の誤差伝播則（大学物理物理実験・誤差論）

説明

最小二乗法で直線 $y = a + b x$ を当てはめたあと、ある位置 $x_{0}$ での直線上の値 $y^= a + b x_{0}$ （内挿・外挿による推定値）の標準誤差を正しく求められるようになります。傾き $b$ と切片 $a$ は同じデータから決まるので互いに独立ではなく、その相関（共分散）を入れないと $y^$ の誤差を誤って見積もってしまいます。検量線から未知試料の値を読む、測定範囲の外の値を予測する、といった場面で使います。

なぜそうしてよいのか

前提として、 $x_{i}$ には誤差がなく、 $y_{i}$ は互いに独立で同じ標準偏差 $σ$ をもつとします。 $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ とおくと、傾きは $b = \sum \frac{x _{i} - x ˉ}{S _{xx}} y_{i}$ 、平均は $y ˉ = \sum \frac{1}{n} y_{i}$ と、どちらも $y_{i}$ の定数倍の和です。独立な $y_{i}$ についての 2 つの和の共分散は、係数の積の和に $σ^{2}$ をかけたものなので
$Cov (y ˉ, b) = σ^{2} \sum \frac{1}{n} \cdot \frac{x _{i} - x ˉ}{S _{xx}} = 0$
となり、 $y ˉ$ と $b$ は相関しません。一方、切片は $a = y ˉ - b x ˉ$ なので
$Cov (a, b) = Cov (y ˉ, b) - x ˉ Var (b) = - \frac{x ˉ σ ^{2}}{S _{xx}}$
です。 $x ˉ > 0$ なら、傾きが大きめに出ると切片は小さめに出る（直線がデータの重心 $(x ˉ, y ˉ)$ のまわりでシーソーのように回る）という負の相関です。

推定値 $y^= a + b x_{0}$ の分散は、相関のある 2 量の和の分散 $Var (a) + x_{0}^{2} Var (b) + 2 x_{0} Cov (a, b)$ です。偏微分による誤差伝播則 $\sum (\partial f / \partial x_{i})^{2} u (x_{i})^{2}$ は独立な量の場合で、相関があるときはこの共分散の項が加わります。代入して $\sum x_{i}^{2} = S_{xx} + n x ˉ^{2}$ を使うと
$σ_{y^}^{2} = σ^{2} (\frac{1}{n} + \frac{x ˉ ^{2}}{S _{xx}} + \frac{x _{0}^{2} - 2 x _{0} x ˉ}{S _{xx}}) = σ^{2} (\frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{S _{xx}})$
が得られます。もっと見通しよく、 $y^= y ˉ + b (x_{0} - x ˉ)$ と書き直せば $y ˉ$ と $b$ は無相関なので、 $\frac{σ ^{2}}{n} + (x_{0} - x ˉ)^{2} \frac{σ ^{2}}{S _{xx}}$ と同じ結果がすぐ出ます。

この式から、推定値の誤差はデータの重心 $x_{0} = x ˉ$ で最小 $σ / n$ になり、重心から離れるほど（特に外挿で）大きくなることがわかります。 $x_{0} = 0$ とおけば切片の標準誤差 $σ_{a}$ に一致します。

手順

残差から $σ = \frac{1}{n - 2} \sum r_{i}^{2}$ を推定する
$x ˉ$ と $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ を求める
推定したい位置 $x_{0}$ と重心とのずれ $x_{0} - x ˉ$ を求める
$σ_{y^} = σ \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{S _{xx}}$ を計算する（ $a, b$ の誤差を別々に 2 乗和するのではない）
必要なら共分散 $Cov (a, b) = - \frac{x ˉ σ ^{2}}{S _{xx}}$ や相関係数 $\frac{Cov ( a , b )}{σ _{a} σ _{b}}$ も求める

例題

$x_{i} = 1, 2, 3, 4, 5$ の 5 点で $y_{i}$ を測り、最小二乗法で直線 $y = 2.0 + 1.5 x$ を得た。残差の 2 乗和は $\sum r_{i}^{2} = 15$ であった。 $x_{i}$ には誤差がなく、 $y_{i}$ は互いに独立で同じ標準偏差をもつとする。 $x_{0} = 7$ における直線上の推定値 $y^= a + b x_{0}$ の標準誤差 $σ_{y^}$ を、傾きと切片の相関を考慮して求めよ。

例題の解答

手順 1: $n = 5$ なので $σ = \frac{15}{5 - 2} = 5$ 。

手順 2: $x ˉ = 3$ 、 $S_{xx} = 4 + 1 + 0 + 1 + 4 = 10$ 。

手順 3: $x_{0} - x ˉ = 7 - 3 = 4$ 。

手順 4: $σ_{y^} = 5 \frac{1}{5} + \frac{4 ^{2}}{10} = 5 \frac{2 + 16}{10} = 5 \cdot \frac{3}{5} = 3$

手順 5（確かめ）: $σ_{a}^{2} = 5 \cdot \frac{55}{50} = 5.5$ 、 $σ_{b}^{2} = \frac{5}{10} = 0.5$ 、 $Cov (a, b) = - \frac{3 \times 5}{10} = - 1.5$ より $σ_{y^}^{2} = 5.5 + 49 \times 0.5 + 2 \times 7 \times (- 1.5) = 5.5 + 24.5 - 21 = 9$ で一致する。推定値は $y^= 2.0 + 1.5 \times 7 = 12.5$ 。

答え: $3$

よくある誤り

$a$ と $b$ を独立とみなして $σ_{y^}^{2} = σ_{a}^{2} + x_{0}^{2} σ_{b}^{2}$ としてしまう誤り（例題なら $5.5 + 24.5 = 30$ で $σ_{y^} = 30 \approx 5.5$ と過大）。正しくは共分散の項 $2 x_{0} Cov (a, b) = - 21$ を加えて $σ_{y^}^{2} = 9$
共分散の符号を正にしてしまう誤り。 $a = y ˉ - b x ˉ$ なので $Cov (a, b) = - x ˉ σ_{b}^{2} = - \frac{x ˉ σ ^{2}}{S _{xx}}$ で、 $x ˉ > 0$ なら負
$(x_{0} - x ˉ)^{2}$ の代わりに $x_{0}^{2}$ を使って $σ \frac{1}{n} + \frac{x _{0}^{2}}{S _{xx}}$ としてしまう誤り（例題なら $5 0.2 + 4.9$ ）。誤差が最小になるのは原点ではなくデータの重心 $x_{0} = x ˉ$ なので、正しくは $σ \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{S _{xx}}$
推定値の標準誤差 $σ_{y^}$ を、 $x_{0}$ で新たに 1 回測ったときの $y$ のばらつきと混同してしまう誤り。新しい測定値 $y$ と直線の予測との差のばらつきには測定自体のばらつき $σ$ も加わり $σ 1 + \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{S _{xx}}$ になる。直線上の値そのものの誤差は $σ \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{S _{xx}}$

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

難易度 1（教科書の例題レベル）
時刻 $x = 1, 2, 3, 4, 5 s$ の $5$ 点で物体の位置 $y$ （単位 cm）を測定し、最小二乗法で直線 $y = a + b x$ を当てはめた。残差から推定した $y$ の測定誤差の大きさは $σ = 0.20 cm$ であった。 $x$ には誤差がなく、 $y$ の誤差は各点で独立で等しい大きさとする。
この直線を使って、時刻 $x_{0} = 7 s$ での位置を $y^= a + b x_{0}$ と推定する。傾きと切片の共分散 $Cov (a, b) = - \frac{x ˉ σ ^{2}}{\sum ( x _{i} - x ˉ ) ^{2}}$ を含めて計算すると、 $y^$ の標準誤差は
$σ_{y^} = σ \frac{1}{n} + \frac{( x _{0} - x ˉ ) ^{2}}{\sum ( x _{i} - x ˉ ) ^{2}}$
で与えられる（ $n$ はデータの数、 $x ˉ$ は $x_{i}$ の平均）。
$σ_{y^}$ は何 cm か。根号を用いた正確な値で答えよ。

フィットによる推定値の誤差と相関

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題

この技能を使う問題