線形代数の問題

考え方　$S(a,b)=\Vert A\mathbf{x}-\mathbf{b}{\Vert }^2$ を最小にすることは、$\mathbf{b}$ を $A$ の列ベクトルが張る部分空間へ直交射影することと同じです。そのとき残差 $\mathbf{b}-A\mathbf{x}$ は $A$ の各列と直交するので、$A^{\mathsf{T}}(\mathbf{b}-A\mathbf{x})=0$、つまり正規方程式 $A^{\mathsf{T}}A\mathbf{x}=A^{\mathsf{T}}\mathbf{b}$ が成り立ちます。$A$ の 2 つの列は一次独立なので $A^{\mathsf{T}}A$ は正則で、解はただ 1 つに決まります。

手順 1：$A^{\mathsf{T}}A$ を計算する
$$A^{\mathsf{T}}A=\left(\begin{array}{cccc}1& 1& 1& 1\\ 0& 1& 2& 3\end{array}\right)\left(\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\\ 1& 3\end{array}\right)=\left(\begin{array}{cc}4& 0+1+2+3\\ 0+1+2+3& 0+1+4+9\end{array}\right)=\left(\begin{array}{cc}4& 6\\ 6& 14\end{array}\right).$$

手順 2：$A^{\mathsf{T}}\mathbf{b}$ を計算する
$$A^{\mathsf{T}}\mathbf{b}=\left(\begin{array}{c}1+2+2+4\\ 0\cdot 1+1\cdot 2+2\cdot 2+3\cdot 4\end{array}\right)=\left(\begin{array}{c}9\\ 18\end{array}\right).$$

手順 3：正規方程式を解く
$$\left(\begin{array}{cc}4& 6\\ 6& 14\end{array}\right)\left(\begin{array}{c}a\\ b\end{array}\right)=\left(\begin{array}{c}9\\ 18\end{array}\right).$$
$A^{\mathsf{T}}A$ の行列式は $4\cdot 14-6\cdot 6=20\ne 0$ なので、逆行列は
$$(A^{\mathsf{T}}A{)}^{-1}=\frac{1}{20}\left(\begin{array}{cc}14& -6\\ -6& 4\end{array}\right).$$
よって
$$\left(\begin{array}{c}a\\ b\end{array}\right)=\frac{1}{20}\left(\begin{array}{c}14\cdot 9-6\cdot 18\\ -6\cdot 9+4\cdot 18\end{array}\right)=\frac{1}{20}\left(\begin{array}{c}126-108\\ -54+72\end{array}\right)=\frac{1}{20}\left(\begin{array}{c}18\\ 18\end{array}\right)=\left(\begin{array}{c}\frac{9}{10}\\ \frac{9}{10}\end{array}\right).$$

確かめ　$A\mathbf{x}=(0.9,1.8,2.7,3.6{)}^{\mathsf{T}}$ なので、残差は $\mathbf{b}-A\mathbf{x}=(0.1,0.2,-0.7,0.4{)}^{\mathsf{T}}$ です。第 1 列との内積は $0.1+0.2-0.7+0.4=0$、第 2 列との内積は $0+0.2-1.4+1.2=0$ となり、残差が列空間に直交していることが確かめられます。

答え：$(a,b)=\left(\frac{9}{10},\frac{9}{10}\right)$（あてはめる直線は $y=\frac{9}{10}+\frac{9}{10}x$）。

$A^{\mathsf{T}}A=\left(\begin{array}{cc}4& 6\\ 6& 14\end{array}\right)$、$A^{\mathsf{T}}\mathbf{b}=\left(\begin{array}{c}1+2+2+4\\ 0+2+4+12\end{array}\right)=\left(\begin{array}{c}9\\ 18\end{array}\right)$。
正規方程式は $4a+6b=9$, $6a+14b=18$。
行列式は $56-36=20$ なので、$a=(14\cdot 9-6\cdot 18)/20=(126-108)/20=9/10$、$b=(4\cdot 18-6\cdot 9)/20=(72-54)/20=9/10$。
検算: $4\cdot 0.9+6\cdot 0.9=3.6+5.4=9$、$6\cdot 0.9+14\cdot 0.9=5.4+12.6=18$。よって成立する。
$A$ の列は一次独立なので解は一意で、$S$ の最小点である。