最適化・線形計画法の問題

係数ベクトルを $\mathbf{\theta }=(a,b,c{)}^{\mathsf{T}}$ とし、計画行列 $A$ とデータベクトル $\mathbf{z}$ を
$$A=\left(\begin{array}{ccc}1& 0& 0\\ 1& 1& 0\\ 1& 0& 1\\ 1& 1& 1\\ 1& 2& 1\end{array}\right),\mathbf{z}=\left(\begin{array}{c}1\\ 2\\ 4\\ 4\\ 7\end{array}\right)$$
とおくと $S=\Vert \mathbf{z}-A\mathbf{\theta }{\Vert }^2$ である。$A$ の 3 つの列は一次独立なので $A^{\mathsf{T}}A$ は正定値であり、$S$ は狭義凸な 2 次関数となる。よって $S$ を最小にする $\mathbf{\theta }$ はただ 1 つで、それは正規方程式 $A^{\mathsf{T}}A\mathbf{\theta }=A^{\mathsf{T}}\mathbf{z}$ の解である。

各和を計算すると
$\sum 1=5,\sum x_i=4,\sum y_i=3,\sum x_i^2=6,\sum x_i{y}_i=3,\sum y_i^2=3,$
$\sum z_i=18,\sum x_i{z}_i=0+2+0+4+14=20,\sum y_i{z}_i=0+0+4+4+7=15$。
したがって正規方程式は
$$\{\begin{array}{ll}5a+4b+3c=18& (1)\\ 4a+6b+3c=20& (2)\\ 3a+3b+3c=15& (3)\end{array}$$
$(3)$ より $a+b+c=5$。$(1)-(3)$ より $2a+b=3$、$(2)-(3)$ より $a+3b=5$。
$b=3-2a$ を代入して $a+9-6a=5$、よって $a=\frac{4}{5}$、$b=\frac{7}{5}$、$c=5-\frac{4}{5}-\frac{7}{5}=\frac{14}{5}$。

このときの残差 $r_i=z_i-a-b{x}_i-c{y}_i$ は
$r_1=1-\frac{4}{5}=\frac{1}{5},r_2=2-\frac{11}{5}=-\frac{1}{5},r_3=4-\frac{18}{5}=\frac{2}{5},r_4=4-5=-1,r_5=7-\frac{32}{5}=\frac{3}{5}$。
（確認：$\sum r_i=0,\sum x_i{r}_i=-\frac{1}{5}-1+\frac{6}{5}=0,\sum y_i{r}_i=\frac{2}{5}-1+\frac{3}{5}=0$ で、残差は $A$ の各列と直交している。）
よって
$$S_{\min }=\frac{1}{25}+\frac{1}{25}+\frac{4}{25}+1+\frac{9}{25}=\frac{40}{25}=\frac{8}{5}.$$
（別解：$S_{\min }=\Vert \mathbf{z}{\Vert }^2-{\mathbf{\theta }}^{\mathsf{T}}{A}^{\mathsf{T}}\mathbf{z}=86-\left(\frac{4}{5}\cdot 18+\frac{7}{5}\cdot 20+\frac{14}{5}\cdot 15\right)=86-\frac{422}{5}=\frac{8}{5}$。）

答え：$\frac{8}{5}$

最小二乗法の正規方程式を立てて解く。

各和は $n=5$, $\sum x=4$, $\sum y=3$, $\sum z=18$, $\sum x^2=6$, $\sum xy=3$, $\sum y^2=3$, $\sum xz=20$, $\sum yz=15$, $\sum z^2=86$ である。

正規方程式は
$5a+4b+3c=18$, $4a+6b+3c=20$, $3a+3b+3c=15$。

第1式から第2式を引くと $a-2b=-2$ なので $a=2b-2$。
第3式より $a+b+c=5$ なので $c=7-3b$。
これらを第1式に代入すると $5b+11=18$ となり、$b=\frac{7}{5}$。よって $a=\frac{4}{5}$, $c=\frac{14}{5}$。

最小値は $S_{\min }=\sum z^2-(a\sum z+b\sum xz+c\sum yz)=86-\left(\frac{72}{5}+28+42\right)=\frac{8}{5}$。

検算として、残差を直接計算する。当てはめ値は $0.8,2.2,3.6,5.0,6.4$ なので、残差は $0.2,-0.2,0.4,-1,0.6$。二乗和は $0.04+0.04+0.16+1+0.36=1.6=\frac{8}{5}$ となり、一致する。