変分法・最適制御の問題

値関数と HJB 方程式. 時刻 $t$ に状態 $x$ から出発したときの評価関数の下限を値関数 $V(t,x)$ とおく。動的計画法の原理から、$V$ は HJB 方程式 $$-V_t(t,x)=\underset{u\in \mathbb{R}}{\min }\left\{x^2+u^2+V_x(t,x)u\right\},V(T,x)=\frac{1}{2}{x}^2$$ を満たす。右辺の最小は $u=-\frac{V_x}{2}$ でとられ、最小値は $x^2-\frac{V_x^2}{4}$。

2 次形式の仮定とリッカチ方程式. 問題が線形・2 次なので $V(t,x)=p(t)x^2$ とおくと $V_t=\dot{p}{x}^2$, $V_x=2px$ で、HJB 方程式は $$-\dot{p}{x}^2=x^2-p^2{x}^2$$ となる。これがすべての $x$ で成り立つ条件は $$\dot{p}=p^2-1,p(T)=\frac{1}{2}.$$

リッカチ方程式を解く. $p(t)=\tanh (T-t+c)$ とおくと $\dot{p}=-(1-{\tanh }^2(T-t+c))=p^2-1$ を満たす。終端条件から $\tanh c=\frac{1}{2}$、すなわち $$c=\frac{1}{2}\log \frac{1+\frac{1}{2}}{1-\frac{1}{2}}=\frac{1}{2}\log 3.$$ （解の一意性から、これが求める解である。）よって $$p(0)=\tanh (T+c)=\tanh (\log 3)=\frac{e^{2\log 3}-1}{e^{2\log 3}+1}=\frac{9-1}{9+1}=\frac{4}{5}.$$

検証定理. $V(t,x)=p(t)x^2$ は $C^1$ 級で HJB 方程式と終端条件を満たす。任意の許容制御 $u$ に対して $$\frac{d}{dt}V(t,x(t))=V_t+V_{x}u=-x^2+p^2{x}^2+2pxu$$ であり、$x^2+u^2+\frac{d}{dt}V(t,x(t))=(u+px{)}^2\ge 0$。これを $[0,T]$ で積分すると $$J[u]=V(0,3)+{\int }_0^T(u+px{)}^{2}dt\ge V(0,3)$$ で、等号はフィードバック $u=-p(t)x$ のとき（このとき $\dot{x}=-px$ は解をもち、許容制御となる）に成り立つ。

最小値. $$\min J=V(0,3)=p(0)\cdot 3^2=\frac{4}{5}\cdot 9=\frac{36}{5}.$$

LQ 問題。価値関数を $V(t,x)=p(t)x^2$ とおく。HJB: $V_t+{\min }_u(x^2+u^2+u{V}_x)=0$、$V(T,x)=\frac{1}{2}{x}^2$。最小化は $u=-V_x/2=-px$。代入すると $p^{\prime }{x}^2+x^2-p^2{x}^2=0$ より $p^{\prime }=p^2-1$、$p(T)=\frac{1}{2}$。
$p(t)=-\tanh (t+c)$ は $p^{\prime }=-{\mathrm{sech}}^2(t+c)=p^2-1$ を満たす。$p(T)=\frac{1}{2}$ より $\tanh (T+c)=-\frac{1}{2}$、$T+c=-\mathrm{artanh}\frac{1}{2}=-\frac{1}{2}\log 3$。$T=\frac{1}{2}\log 3$ なので $c=-\log 3$。
$p(0)=-\tanh (-\log 3)=\tanh (\log 3)=\frac{3-1/3}{3+1/3}=\frac{8/3}{10/3}=\frac{4}{5}$。
最小値 $=p(0)x(0{)}^2=\frac{4}{5}\cdot 9=\frac{36}{5}$。
別解の確認: EL 方程式 $\ddot{x}=x$、$x=\alpha e^t+\beta e^{-t}$、自然境界条件 $2\dot{x}(T)+x(T)=0$、$x(0)=3$。$e^T=\sqrt{3}$ として $2(\alpha \sqrt{3}-\beta /\sqrt{3})+\alpha \sqrt{3}+\beta /\sqrt{3}=0$ より $3\sqrt{3}\alpha =\beta /\sqrt{3}$、$\beta =9\alpha$。$\alpha +\beta =3$ より $\alpha =\frac{3}{10}$, $\beta =\frac{27}{10}$。$J=[x\dot{x}{]}_0^T+\frac{1}{2}x(T{)}^2$（$\int (x^2+{\dot{x}}^2)=[x\dot{x}]-\int x(\ddot{x}-x)=[x\dot{x}]$）。$x(T)=\frac{3}{10}\sqrt{3}+\frac{27}{10\sqrt{3}}=\frac{3\sqrt{3}}{10}+\frac{9\sqrt{3}}{10}=\frac{12\sqrt{3}}{10}$、$\dot{x}(T)=-x(T)/2$。$x(T)\dot{x}(T)=-\frac{1}{2}x(T{)}^2=-\frac{1}{2}\cdot \frac{432}{100}=-\frac{108}{50}$。$\dot{x}(0)=\alpha -\beta =-\frac{12}{5}$、$x(0)\dot{x}(0)=-\frac{36}{5}$。$J=-\frac{1}{2}x(T{)}^2-(-\frac{36}{5})+\frac{1}{2}x(T{)}^2=\frac{36}{5}$。一致。