変分法・最適制御の問題

状態方程式が線形 $\dot{x}=-x+u$、評価関数が 2 次なので、値関数を $V(t,x)=p(t)x^2$ の形と仮定して HJB 方程式に代入し、リカッチ方程式を導く。

HJB 方程式を立てる. ランニングコストは $\ell =u^2$、$f(x,u)=-x+u$、終端コストは $\varphi (x)=x^2$ なので
$$V_t+\underset{u}{\min }\{u^2+V_x(-x+u)\}=0,V(T,x)=x^2.$$

$V=p(t)x^2$ を代入する. $V_t=\dot{p}{x}^2$, $V_x=2px$ より、括弧内は
$$u^2+2px(-x+u)=u^2+2pxu-2p{x}^2=(u+px{)}^2-p^2{x}^2-2p{x}^2.$$
これは $u^{\ast }=-p(t)x$ のとき最小で、最小値は $-(p^2+2p)x^2$。よって HJB 方程式は
$$\dot{p}{x}^2-(p^2+2p)x^2=0$$
となり、すべての $x$ で成り立つためには
$$\dot{p}=p^2+2p,p(T)=1(1)$$
であればよい（終端条件は $V(T,x)=x^2$ から）。これがスカラーのリカッチ方程式である。

リカッチ方程式を解く. $(1)$ は変数分離形で、$\frac{1}{p(p+2)}=\frac{1}{2}\left(\frac{1}{p}-\frac{1}{p+2}\right)$ より
$$\frac{1}{2}\log \frac{p}{p+2}=t+c\text{すなわち}\frac{p}{p+2}=K{e}^{2t}(K\text{ は定数}).$$
$p(T)=1$ より $\frac{1}{3}=K{e}^{2T}$、すなわち $K=\frac{1}{3}{e}^{-2T}$。したがって
$$\frac{p(t)}{p(t)+2}=\frac{1}{3}{e}^{-2(T-t)}.$$
これを $p$ について解くと
$$p(t)=\frac{2}{3e^{2(T-t)}-1}$$
である（$t=T$ で $p(T)=\frac{2}{2}=1$ を確かめられる）。$0\le t\le T$ では $e^{2(T-t)}\ge 1$ なので分母は $3e^{2(T-t)}-1\ge 2>0$ であり、$p$ は $[0,T]$ 上で正の有限な $C^1$ 級関数である。よって $V=p(t)x^2$ は HJB 方程式の $C^1$ 級の解であり、検証定理により $u^{\ast }=-p(t)x$ が最適なフィードバック制御、$V(0,x_0)$ が最小値である。

$e^{2T}=e^{\log 2}=2$ を用いると
$$p(0)=\frac{2}{3\cdot 2-1}=\frac{2}{5}.$$

最小値を求める.
$$\min J=V(0,5)=p(0)\cdot 5^2=\frac{2}{5}\cdot 25=10.$$

解の公式より $x(T)=e^{-T}x(0)+{\int }_0^T{e}^{-(T-s)}u(s)ds$。$e^{-T}=e^{-\frac{1}{2}\log 2}=\frac{1}{\sqrt{2}}$ なので $a:=e^{-T}x(0)=\frac{5}{\sqrt{2}}$、$a^2=\frac{25}{2}$。

$g(s)=e^{-(T-s)}$ とおくと $x(T)=a+⟨g,u⟩$、$J=\Vert u{\Vert }^2+(a+⟨g,u⟩{)}^2$（$L^2(0,T)$ 内積）。$\Vert g{\Vert }^2={\int }_0^T{e}^{-2(T-s)}ds=\frac{1-e^{-2T}}{2}=\frac{1-1/2}{2}=\frac{1}{4}$。

$u$ の $g$ に直交する成分は $\Vert u{\Vert }^2$ を増やすだけなので $u=cg$ とおく。$⟨g,u⟩=c/4$、$\Vert u{\Vert }^2=c^2/4$。$J(c)=\frac{c^2}{4}+{\left(a+\frac{c}{4}\right)}^2$。$J^{\prime }(c)=\frac{c}{2}+\frac{1}{2}\left(a+\frac{c}{4}\right)=0$ より $c=-\frac{4a}{5}$（$J$ は $c$ の下に凸な2次関数なので最小）。このとき $x(T)=\frac{4a}{5}$、
$J=\frac{4a^2}{25}+\frac{16a^2}{25}=\frac{4a^2}{5}=\frac{4}{5}\cdot \frac{25}{2}=10$。

検算（リカッチ法）: 終端コスト $p(T)=1$、$\dot{p}=2p+p^2$ ではなく $-\dot{p}=-2p-p^2$ （$\dot{x}=-x+u$, $\min \int u^2$ で $u=-px$）。$q=1/p$ とおくと $\dot{q}=-\dot{p}/p^2$ 、$\dot{p}=2p-...$ は省略せず直接: $-\dot{p}=-2p-p^2$、$p(T)=1$。$q=1/p$ で $\dot{q}=2q+1$ （$t$ について）、$q(T)=1$。$q+\frac{1}{2}=\frac{3}{2}{e}^{2(t-T)}$、$q(0)=\frac{3}{2}{e}^{-2T}-\frac{1}{2}=\frac{3}{4}-\frac{1}{2}=\frac{1}{4}$、$p(0)=4$？ これは $x(0)=5$ なら $J=25\cdot 4$ となり不一致。符号を確認すると、正しいリカッチ式は $-\dot{p}=-2p-p^2$ ではなく $\dot{p}=2p+p^2$ で $\dot{q}=-2q-1$ 、$q(T)=1$、$q(t)+\frac{1}{2}=\frac{3}{2}{e}^{2(T-t)}$、$q(0)=\frac{3}{2}\cdot 2-\frac{1}{2}=\frac{5}{2}$、$p(0)=\frac{2}{5}$。$J=p(0)x(0{)}^2=\frac{2}{5}\cdot 25=10$。一致。