線形代数の問題

手順 1: 行列の形に書き直す。
$$A=\left(\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\\ 1& 3\end{array}\right),\mathbf{x}=\left(\begin{array}{c}a\\ b\end{array}\right),\mathbf{b}=\left(\begin{array}{c}1\\ 1\\ 2\\ 4\end{array}\right)$$
とおく。$A$ の第 1 列はすべて $1$、第 2 列は $x_i$ を並べたものである。このとき $S(a,b)=\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$ となる。

$A\mathbf{x}$ は $A$ の列ベクトルが張る部分空間（列空間）を動く。$\Vert A\mathbf{x}-\mathbf{b}\Vert$ が最小になるのは、$A\mathbf{x}$ が $\mathbf{b}$ のこの部分空間への直交射影になるときである。これは、残差 $\mathbf{b}-A\mathbf{x}$ が $A$ の各列と直交すること、つまり $A^{\mathsf{T}}(\mathbf{b}-A\mathbf{x})=0$ と同じである。したがって、正規方程式
$$A^{\mathsf{T}}A\mathbf{x}=A^{\mathsf{T}}\mathbf{b}$$
を解けばよい。

手順 2: $A^{\mathsf{T}}A$ と $A^{\mathsf{T}}\mathbf{b}$ を計算する。
$$A^{\mathsf{T}}A=\left(\begin{array}{cc}4& \sum x_i\\ \sum x_i& \sum x_i^2\end{array}\right)=\left(\begin{array}{cc}4& 6\\ 6& 14\end{array}\right)$$
ここで $\sum x_i=0+1+2+3=6$、$\sum x_i^2=0+1+4+9=14$ である。
$$A^{\mathsf{T}}\mathbf{b}=\left(\begin{array}{c}\sum y_i\\ \sum x_i{y}_i\end{array}\right)=\left(\begin{array}{c}8\\ 17\end{array}\right)$$
ここで $\sum y_i=1+1+2+4=8$、$\sum x_i{y}_i=0+1+4+12=17$ である。

手順 3: 正規方程式を解く。
連立方程式は
$$4a+6b=8,6a+14b=17$$
となる。$\det (A^{\mathsf{T}}A)=4\cdot 14-6\cdot 6=20\ne 0$ なので、$A^{\mathsf{T}}A$ は逆行列
$$(A^{\mathsf{T}}A{)}^{-1}=\frac{1}{20}\left(\begin{array}{cc}14& -6\\ -6& 4\end{array}\right)$$
をもつ。よって
$$\left(\begin{array}{c}a\\ b\end{array}\right)=\frac{1}{20}\left(\begin{array}{c}14\cdot 8-6\cdot 17\\ -6\cdot 8+4\cdot 17\end{array}\right)=\frac{1}{20}\left(\begin{array}{c}10\\ 20\end{array}\right)=\left(\begin{array}{c}\frac{1}{2}\\ 1\end{array}\right)$$
である。

確認: 予測値は $\frac{1}{2},\frac{3}{2},\frac{5}{2},\frac{7}{2}$ で、残差は $\mathbf{b}-A\mathbf{x}=\left(\frac{1}{2},-\frac{1}{2},-\frac{1}{2},\frac{1}{2}\right)$ である。
- 第 1 列 $(1,1,1,1)$ との内積は $\frac{1}{2}-\frac{1}{2}-\frac{1}{2}+\frac{1}{2}=0$
- 第 2 列 $(0,1,2,3)$ との内積は $0-\frac{1}{2}-1+\frac{3}{2}=0$

どちらも $0$ なので、残差は列空間に直交している。

答えは $(a,b)=\left(\frac{1}{2},1\right)$ である。

データは x = 0, 1, 2, 3、y = 1, 1, 2, 4 であり、n = 4 である。
各和を求める。Σx = 6、Σx² = 0+1+4+9 = 14、Σy = 8、Σxy = 0+1+4+12 = 17。
正規方程式は次のとおり。
4a + 6b = 8
6a + 14b = 17
1 本目を 3 倍、2 本目を 2 倍して a を消去する。
12a + 18b = 24
12a + 28b = 34
差をとると 10b = 10 なので b = 1。
4a + 6 = 8 より a = 1/2。
検算: 2 本目に代入すると 6·(1/2) + 14 = 17 となり成立する。
直線は y = 1/2 + x。残差は 1 − 0.5 = 0.5、1 − 1.5 = −0.5、2 − 2.5 = −0.5、4 − 3.5 = 0.5 で、和は 0。x を掛けた和は 0 − 0.5 − 1 + 1.5 = 0 となり、直交条件を満たす。
また S は a, b の下に凸な 2 次関数で、ヘッセ行列 [[8,12],[12,28]] は正定値なので、この解が最小値を与える。
答え: (a, b) = (1/2, 1)