最小二乗法と回帰直線

残差平方和を最小にして回帰直線の係数を求め、決定係数を計算できる

前提

確率変数の共分散と相関係数（大学数学確率・統計）
2 変数関数の極値（大学数学微分積分）

この技能までの道筋（74 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
共分散と相関係数（数学I データの分析）
確率変数の共分散と相関係数（大学数学確率・統計）
偏微分と全微分（大学数学微分積分）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
2 次不等式（数学I 2次関数）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
増減表と極値（数学II 微分法と積分法）
第 2 次導関数とグラフの凹凸（数学III 微分法）
2 変数関数の極値（大学数学微分積分）

説明

2 つの変量の $n$ 組のデータ $(x_{1}, y_{1}), \dots, (x_{n}, y_{n})$ に、直線 $y = a + b x$ をできるだけよく当てはめる方法を学びます。「よく当てはまる」とは、各データの実際の値 $y_{i}$ と直線の値 $a + b x_{i}$ の差（残差）の 2 乗の合計が最も小さいことだと決めます。この方法を最小二乗法といい、得られる直線を $y$ の $x$ への回帰直線といいます。さらに、その直線が $y$ のばらつきをどれだけ説明できているかを、決定係数という 0 以上 1 以下の数で評価できるようになります。

なぜそうしてよいのか

残差平方和 $S (a, b) = \sum_{i = 1}^{n} (y_{i} - a - b x_{i})^{2}$ を $a, b$ の 2 変数関数とみて、最小になる点を探します。停留点の条件は $\frac{\partial S}{\partial a} = - 2 \sum (y_{i} - a - b x_{i}) = 0$ 、 $\frac{\partial S}{\partial b} = - 2 \sum x_{i} (y_{i} - a - b x_{i}) = 0$ です。1 つ目を $- 2 n$ で割ると $y ˉ = a + b x ˉ$ 、つまり $a = y ˉ - b x ˉ$ で、回帰直線は必ず平均の点 $(x ˉ, y ˉ)$ を通ります。これを 2 つ目の式 $\sum x_{i} (y_{i} - a - b x_{i}) = 0$ に代入すると $y_{i} - a - b x_{i} = (y_{i} - y ˉ) - b (x_{i} - x ˉ)$ なので $\sum x_{i} (y_{i} - y ˉ) = b \sum x_{i} (x_{i} - x ˉ)$ となります。ここで偏差の和は 0（ $\sum (x_{i} - x ˉ) = 0$ 、 $\sum (y_{i} - y ˉ) = 0$ ）なので、 $\sum x_{i} (y_{i} - y ˉ) = \sum (x_{i} - x ˉ) (y_{i} - y ˉ) + x ˉ \sum (y_{i} - y ˉ) = S_{x y}$ 、 $\sum x_{i} (x_{i} - x ˉ) = \sum (x_{i} - x ˉ)^{2} + x ˉ \sum (x_{i} - x ˉ) = S_{xx}$ です（ $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ を偏差平方和、 $S_{x y} = \sum (x_{i} - x ˉ) (y_{i} - y ˉ)$ を偏差積和と呼びます）。よって $b S_{xx} = S_{x y}$ で、 $S_{xx} > 0$ なら $b = \frac{S _{x y}}{S _{xx}}$ 。分子分母を $n$ で割れば $b = \frac{s _{x y}}{s _{x}^{2}}$ （データの共分散 ÷ $x$ の分散）とも書けます。 $x_{i}$ がすべて等しいと $S_{xx} = 0$ となり直線は 1 つに決まらないので、以下 $S_{xx} > 0$ とします。

この停留点 $(a^{*}, b^{*})$ で本当に全体の最小になることは、次のように直接確かめられます。 $e_{i} = y_{i} - a^{*} - b^{*} x_{i}$ （残差）とおき、 $δ a = a - a^{*}$ 、 $δ b = b - b^{*}$ とすると $y_{i} - a - b x_{i} = e_{i} - (δ a + δ b x_{i})$ なので $S (a, b) = \sum e_{i}^{2} - 2 δ a \sum e_{i} - 2 δ b \sum x_{i} e_{i} + \sum (δ a + δ b x_{i})^{2} .$ 停留点の条件はちょうど $\sum e_{i} = 0$ 、 $\sum x_{i} e_{i} = 0$ なので、中の 2 項は消えて $S (a, b) = S (a^{*}, b^{*}) + \sum (δ a + δ b x_{i})^{2} \geq S (a^{*}, b^{*})$ です。等号は全ての $i$ で $δ a + δ b x_{i} = 0$ のときだけですが、 $S_{xx} > 0$ なら異なる値 $x_{j} \neq = x_{k}$ があり、 $δ b (x_{j} - x_{k}) = 0$ から $δ b = 0$ 、さらに $δ a = 0$ 。よって最小になるのは $(a^{*}, b^{*})$ ただ 1 点です。（2 階の偏導関数でみても $S_{aa} = 2 n > 0$ 、ヘッセ行列式 $S_{aa} S_{bb} - S_{ab}^{2} = 4 (n \sum x_{i}^{2} - (\sum x_{i})^{2}) = 4 n S_{xx} > 0$ で極小と一致します。）

次に当てはまりの良さを測ります。最小のとき残差は $e_{i} = (y_{i} - y ˉ) - b (x_{i} - x ˉ)$ なので、 $S_{y y} = \sum (y_{i} - y ˉ)^{2}$ として $\sum e_{i}^{2} = S_{y y} - 2 b S_{x y} + b^{2} S_{xx} = S_{y y} - \frac{S _{x y}^{2}}{S _{xx}}$ 。 $y$ のもとのばらつき $S_{y y}$ のうち直線で説明しきれずに残った割合が $\frac{\sum e _{i}^{2}}{S _{y y}}$ なので、説明できた割合 $R^{2} = 1 - \frac{\sum e _{i}^{2}}{S _{y y}} = \frac{S _{x y}^{2}}{S _{xx} S _{y y}}$ を決定係数と定めます（ $S_{y y} > 0$ のとき）。 $0 \leq \sum e_{i}^{2} \leq S_{y y}$ より $0 \leq R^{2} \leq 1$ で、これは相関係数 $r = \frac{S _{x y}}{S _{xx} S _{y y}}$ の 2 乗に等しく、1 に近いほど直線がよく当てはまっています。

手順

平均 $x ˉ = \frac{1}{n} \sum x_{i}$ 、 $y ˉ = \frac{1}{n} \sum y_{i}$ を求め、各データの偏差 $x_{i} - x ˉ$ 、 $y_{i} - y ˉ$ を表にする
偏差平方和・偏差積和 $S_{xx} = \sum (x_{i} - x ˉ)^{2}$ 、 $S_{y y} = \sum (y_{i} - y ˉ)^{2}$ 、 $S_{x y} = \sum (x_{i} - x ˉ) (y_{i} - y ˉ)$ を計算する（ $S_{xx} > 0$ を確認）
傾きを $b = \frac{S _{x y}}{S _{xx}}$ で求める
切片を、直線が $(x ˉ, y ˉ)$ を通ることから $a = y ˉ - b x ˉ$ で求め、回帰直線 $y = a + b x$ を書く
決定係数を $R^{2} = \frac{S _{x y}^{2}}{S _{xx} S _{y y}}$ （または $1 - \frac{\sum e _{i}^{2}}{S _{y y}}$ ）で求める

例題

5 組のデータ $(x, y) = (1, 2), (2, 3), (3, 5), (4, 4), (5, 6)$ について、最小二乗法による $y$ の $x$ への回帰直線を $y = a + b x$ とする。 $a$ 、 $b$ 、および決定係数 $R^{2}$ を順に求めよ。

例題の解答

【手順 1】 $x ˉ = \frac{1 + 2 + 3 + 4 + 5}{5} = 3$ 、 $y ˉ = \frac{2 + 3 + 5 + 4 + 6}{5} = 4$ 。偏差は $x_{i} - x ˉ = - 2, - 1, 0, 1, 2$ 、 $y_{i} - y ˉ = - 2, - 1, 1, 0, 2$ 。
【手順 2】 $S_{xx} = 4 + 1 + 0 + 1 + 4 = 10$ 、 $S_{y y} = 4 + 1 + 1 + 0 + 4 = 10$ 、 $S_{x y} = (- 2) (- 2) + (- 1) (- 1) + 0 \cdot 1 + 1 \cdot 0 + 2 \cdot 2 = 9$ 。 $S_{xx} = 10 > 0$ なので直線はただ 1 つに決まる。
【手順 3】 $b = \frac{S _{x y}}{S _{xx}} = \frac{9}{10}$ 。
【手順 4】 $a = y ˉ - b x ˉ = 4 - \frac{9}{10} \cdot 3 = \frac{13}{10}$ 。回帰直線は $y = \frac{13}{10} + \frac{9}{10} x$ 。
【手順 5】 $R^{2} = \frac{9 ^{2}}{10 \cdot 10} = \frac{81}{100}$ 。
（検算：予測値は $2.2, 3.1, 4.0, 4.9, 5.8$ 、残差は $- 0.2, - 0.1, 1.0, - 0.9, 0.2$ で、和は $0$ （ $\sum e_{i} = 0$ を満たす）、 $\sum e_{i}^{2} = 1.9$ 。 $1 - \frac{1.9}{10} = 0.81$ と一致する。）
よって $a = \frac{13}{10}$ 、 $b = \frac{9}{10}$ 、 $R^{2} = \frac{81}{100}$ 。

答え: $(\frac{13}{10}, \frac{9}{10}, \frac{81}{100})$

よくある誤り

傾きを $b = \frac{S _{x y}}{S _{y y}}$ としてしまう誤り。 $\frac{S _{x y}}{S _{y y}}$ は $x$ を $y$ に回帰した直線 $x = c + d y$ （ $x$ 方向の残差を最小化）の傾き $d$ であり、 $y$ を $x$ に回帰した直線の傾きとは別物。正しくは $b = \frac{S _{x y}}{S _{xx}}$ （例題では $\frac{9}{10}$ ）。
切片を $a = y ˉ + b x ˉ$ や $a = x ˉ - b y ˉ$ としてしまう誤り。直線 $y = a + b x$ が点 $(x ˉ, y ˉ)$ を通る条件 $y ˉ = a + b x ˉ$ から、正しくは $a = y ˉ - b x ˉ$ （例題では $4 - \frac{9}{10} \cdot 3 = \frac{13}{10}$ ）。
決定係数を相関係数 $r = \frac{S _{x y}}{S _{xx} S _{y y}}$ そのものとしてしまう誤り。正しくは $R^{2} = r^{2} = \frac{S _{x y}^{2}}{S _{xx} S _{y y}}$ で、例題では $r = 0.9$ に対し $R^{2} = 0.81$ 。また $R^{2}$ は負にならない。
分散を $n$ で割り、共分散を $n - 1$ で割るなど割る数を混ぜてしまう誤り。 $b = \frac{s _{x y}}{s _{x}^{2}}$ は分子と分母を同じ数で割るから $\frac{S _{x y}}{S _{xx}}$ と一致するのであり、混ぜると $\frac{n}{n - 1}$ 倍などずれた値になる。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

この技能を使う問題

$t [s]$	$1$	$2$	$3$	$4$	$5$
$x [cm]$	$2.1$	$3.9$	$6.2$	$7.8$	$10.0$

$t [^{\circ} C]$	$0$	$20$	$40$	$60$	$80$
$R [Ω]$	$10.02$	$10.79$	$11.62$	$12.39$	$13.18$

$t [s]$	$0.10$	$0.20$	$0.30$	$0.40$	$0.50$
$v [m/s]$	$0.36$	$0.48$	$0.65$	$0.82$	$0.94$

$T [^{\circ} C]$	$10$	$20$	$30$	$40$	$50$
$R [Ω]$	$10.43$	$10.77$	$11.18$	$11.61$	$12.01$

$ν [1 0^{14} Hz]$	$6$	$7$	$8$	$9$	$10$
$V [V]$	$0.41$	$0.78$	$1.20$	$1.62$	$1.99$

$x$	$1$	$2$	$3$	$4$	$5$
$L [mm]$	$126.1$	$131.8$	$138.0$	$144.2$	$149.9$

$t [^{\circ} C]$	$0$	$25$	$50$	$75$	$100$
$p [kPa]$	$100.1$	$108.8$	$118.2$	$126.8$	$136.1$

この技能の次に学べること

直線フィットの傾き・切片の誤差（大学物理物理実験・誤差論）
最小二乗法による検量線と定量（大学化学分析化学）