直線フィットの傾き・切片の誤差

最小二乗法の直線 $y = a + b x$ について、残差から $σ = \frac{1}{n - 2} \sum r_{i}^{2}$ を推定し、傾きと切片の標準誤差 $σ_{b} = \frac{σ}{\sum ( x _{i} - x ˉ ) ^{2}}$ 、 $σ_{a} = σ \frac{\sum x _{i}^{2}}{n \sum ( x _{i} - x ˉ ) ^{2}}$ を求められる

前提

最小二乗法と回帰直線（大学数学数理統計）
和と差の誤差伝播（大学物理物理実験・誤差論）

この技能までの道筋（81 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
共分散と相関係数（数学I データの分析）
確率変数の共分散と相関係数（大学数学確率・統計）
偏微分と全微分（大学数学微分積分）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
2 次不等式（数学I 2次関数）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
増減表と極値（数学II 微分法と積分法）
第 2 次導関数とグラフの凹凸（数学III 微分法）
2 変数関数の極値（大学数学微分積分）
最小二乗法と回帰直線（大学数学数理統計）
連続型確率変数と確率密度関数（数学B 統計的な推測）
正規分布と標準化（数学B 統計的な推測）
標本平均の分布（数学B 統計的な推測）
不偏推定量（大学数学確率・統計）
平均値・標準偏差・平均の標準誤差（大学物理物理実験・誤差論）
和と差の誤差伝播（大学物理物理実験・誤差論）

説明

測定データ $(x_{i}, y_{i})$ に最小二乗法で直線 $y = a + b x$ を当てはめたとき、得られた傾き $b$ と切片 $a$ がどれくらい信頼できるか（標準誤差）を求められるようになります。ばねの伸びと荷重からばね定数を出す、電圧と電流の直線から抵抗を出すなど、「傾きや切片から物理量を決める」実験では、値と一緒にこの標準誤差を報告します。ここでは $x_{i}$ には誤差がなく、 $y_{i}$ だけが互いに独立で同じ大きさ $σ$ のばらつきをもつと考えます。

なぜそうしてよいのか

まず $σ$ の推定です。各点の残差 $r_{i} = y_{i} - (a + b x_{i})$ は $y_{i}$ のばらつきを反映するので、 $\sum r_{i}^{2}$ から $σ^{2}$ を見積もります。ただし $a, b$ は残差平方和が最小になるように選ばれているので、残差には $\sum r_{i} = 0$ と $\sum x_{i} r_{i} = 0$ の 2 つの制約がかかり、自由に動ける残差は $n - 2$ 個分しかありません。平均の周りの分散を $n - 1$ で割って不偏にしたのと同じ理由で、ここでは $n - 2$ で割って $σ^{2} = \frac{1}{n - 2} \sum r_{i}^{2}$ とします（したがって $n \geq 3$ が必要です）。

次に傾きです。 $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ とおくと、回帰直線の傾きは $b = \frac{\sum ( x _{i} - x ˉ ) ( y _{i} - y ˉ )}{S _{xx}}$ で、 $\sum (x_{i} - x ˉ) y ˉ = 0$ だから $b = \sum c_{i} y_{i}, c_{i} = \frac{x _{i} - x ˉ}{S _{xx}}$ と、独立な $y_{i}$ の定数倍の和に書けます。和と差の誤差伝播をそのまま使うと
$σ_{b}^{2} = \sum c_{i}^{2} σ^{2} = \frac{σ ^{2} \sum ( x _{i} - x ˉ ) ^{2}}{S _{xx}^{2}} = \frac{σ ^{2}}{S _{xx}}, σ_{b} = \frac{σ}{S _{xx}}$
です。 $x_{i}$ を広い範囲にとるほど $S_{xx}$ が大きくなり、傾きが精度よく決まることがわかります。

切片も同じです。 $a = y ˉ - b x ˉ = \sum (\frac{1}{n} - \frac{x ˉ ( x _{i} - x ˉ )}{S _{xx}}) y_{i}$ なので、係数の 2 乗和を計算すると（交差項は $\sum (x_{i} - x ˉ) = 0$ で消えます） $σ_{a}^{2} = σ^{2} (\frac{1}{n} + \frac{x ˉ ^{2}}{S _{xx}}) = σ^{2} \frac{S _{xx} + n x ˉ ^{2}}{n S _{xx}}$ 。 $S_{xx} + n x ˉ^{2} = \sum x_{i}^{2}$ を使うと $σ_{a} = σ \frac{\sum x _{i}^{2}}{n S _{xx}}$ になります。データが $x = 0$ から遠いほど $x ˉ^{2}$ が大きく、切片（ $x = 0$ への外挿値）の誤差は大きくなります。

手順

最小二乗法で直線 $y = a + b x$ の係数 $a, b$ を求める（与えられていればそれを使う）
各点の残差 $r_{i} = y_{i} - (a + b x_{i})$ を計算し、 $\sum r_{i}^{2}$ を求める
$σ = \frac{1}{n - 2} \sum r_{i}^{2}$ を計算する（ $n$ ではなく $n - 2$ で割る）
$x ˉ$ と $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ を求める
傾きの標準誤差 $σ_{b} = \frac{σ}{S _{xx}}$ を計算する
切片が必要なら $\sum x_{i}^{2}$ も求めて $σ_{a} = σ \frac{\sum x _{i}^{2}}{n S _{xx}}$ を計算する

例題

5 組の測定データ $(x_{i}, y_{i}) = (1, 4), (2, 3), (3, 8), (4, 9), (5, 11)$ に最小二乗法で直線を当てはめると $y = 1 + 2 x$ が得られた。 $x_{i}$ には誤差がなく、 $y_{i}$ は互いに独立で同じ標準偏差をもつとする。残差から標準偏差 $σ$ を推定し、傾きの標準誤差 $σ_{b}$ を求めよ。答えは根号を含む正確な値で答えよ。

例題の解答

手順 1: 直線は $a = 1, b = 2$ と与えられている。

手順 2: 直線上の値は $1 + 2 x_{i} = 3, 5, 7, 9, 11$ なので、残差は
$r_{i} = 4 - 3, 3 - 5, 8 - 7, 9 - 9, 11 - 11 = 1, - 2, 1, 0, 0$
（確かめ: $\sum r_{i} = 0$ 、 $\sum x_{i} r_{i} = 1 - 4 + 3 = 0$ ）。 $\sum r_{i}^{2} = 1 + 4 + 1 + 0 + 0 = 6$ 。

手順 3: $n = 5$ なので $σ = \frac{6}{5 - 2} = 2$ 。

手順 4: $x ˉ = 3$ 、 $S_{xx} = (- 2)^{2} + (- 1)^{2} + 0^{2} + 1^{2} + 2^{2} = 10$ 。

手順 5: $σ_{b} = \frac{2}{10} = \frac{1}{5} = \frac{5}{5} (\approx 0.45)$

答え: $\frac{5}{5}$

よくある誤り

$σ$ を求めるときに $n$ や $n - 1$ で割ってしまう誤り（例題なら $6/5$ や $6/4$ ）。直線の 2 つの係数を同じデータから決めているので、正しくは $σ = \frac{1}{n - 2} \sum r_{i}^{2} = 6/3 = 2$
$S_{xx}$ の代わりに $\sum x_{i}^{2}$ を使って $σ_{b} = \frac{σ}{\sum x _{i}^{2}}$ としてしまう誤り（例題なら $2 / 55$ ）。正しくは平均からの偏差の 2 乗和 $S_{xx} = \sum (x_{i} - x ˉ)^{2} = 10$ を使い $σ_{b} = 2 / 10$
$σ_{b}$ を $\frac{σ ^{2}}{S _{xx}}$ と平方根をとり忘れて書いてしまう誤り。 $\frac{σ ^{2}}{S _{xx}}$ は分散 $σ_{b}^{2}$ であり、標準誤差は $σ_{b} = \frac{σ}{S _{xx}}$
切片の標準誤差を $σ_{a} = \frac{σ}{n}$ （ $y$ の平均の標準誤差）としてしまう誤り。切片は $x = 0$ への外挿値で傾きの誤差も効くので、正しくは $σ_{a} = σ \frac{1}{n} + \frac{x ˉ ^{2}}{S _{xx}} = σ \frac{\sum x _{i}^{2}}{n S _{xx}}$ （例題なら $2 \frac{55}{50} = \frac{55}{5}$ ）

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

難易度 1（教科書の例題レベル）
一定の速さで動く台車の位置 $y$ （単位 cm）を、時刻 $x$ （単位 s）ごとに測定して次の $5$ 組のデータを得た。
$x$ [s] $1$ $2$ $3$ $4$ $5$
$y$ [cm] $2.7$ $5.6$ $7.0$ $8.4$ $11.3$
このデータに最小二乗法で直線 $y = a + b x$ を当てはめると、 $a = 1.0$ 、 $b = 2.0$ となる。 $x$ には誤差がなく、 $y$ の誤差はどの点でも同じ大きさとする。
残差 $r_{i} = y_{i} - (a + b x_{i})$ から $σ = \frac{1}{n - 2} i = 1 \sum n r_{i}^{2}$ （ $n$ はデータの組の数）を推定し、傾きの標準誤差を $σ_{b} = \frac{σ}{\sum ( x _{i} - x ˉ ) ^{2}}$ で求めるものとする。
傾き $b$ の標準誤差 $σ_{b}$ は何 cm/s か。根号を用いた正確な値で答えよ。

$x$ [s]	$1$	$2$	$3$	$4$	$5$
$y$ [cm]	$2.7$	$5.6$	$7.0$	$8.4$	$11.3$

この技能を使う問題

$t [^{\circ} C]$	$0$	$20$	$40$	$60$	$80$
$R [Ω]$	$10.02$	$10.79$	$11.62$	$12.39$	$13.18$

$t [s]$	$0.10$	$0.20$	$0.30$	$0.40$	$0.50$
$v [m/s]$	$0.36$	$0.48$	$0.65$	$0.82$	$0.94$

$T [^{\circ} C]$	$10$	$20$	$30$	$40$	$50$
$R [Ω]$	$10.43$	$10.77$	$11.18$	$11.61$	$12.01$

$ν [1 0^{14} Hz]$	$6$	$7$	$8$	$9$	$10$
$V [V]$	$0.41$	$0.78$	$1.20$	$1.62$	$1.99$

$x$	$1$	$2$	$3$	$4$	$5$
$L [mm]$	$126.1$	$131.8$	$138.0$	$144.2$	$149.9$

$t [^{\circ} C]$	$0$	$25$	$50$	$75$	$100$
$p [kPa]$	$100.1$	$108.8$	$118.2$	$126.8$	$136.1$

この技能の次に学べること

フィットによる推定値の誤差と相関（大学物理物理実験・誤差論）