変分法・最適制御の問題

1. 定常な HJB 方程式 割引率 $\rho =1$、$\ell =4x^2+u^2$、$f=-x+u$ なので、値関数 $V(x)$ は
$$V(x)=\underset{u}{\min }\{4x^2+u^2+V^{\prime }(x)(-x+u)\}$$
をみたす。

2. $u$ について最小化 括弧内は $u$ の 2 次式で、$u$ で微分して $0$ とおくと $2u+V^{\prime }(x)=0$、すなわち $u^{\ast }=-\frac{V^{\prime }(x)}{2}$。

3. $V=p{x}^2$ を代入（代数リカッチ方程式） $V^{\prime }=2px$ より $u^{\ast }=-px$。代入すると
$$p{x}^2=4x^2+p^2{x}^2-2p{x}^2-2p^2{x}^2=(4-2p-p^2)x^2.$$
よって
$$p^2+3p-4=0,(p+4)(p-1)=0,p=1,-4.$$

4. 解を選ぶ 評価関数は常に $0$ 以上なので $V\ge 0$ でなければならず、$p=-4$ は不適。$p=1$ を選ぶと $u^{\ast }=-x$ で、閉ループ系は $\dot{x}=-2x$、$x(t)=3e^{-2t}$。このとき $e^{-t}{x}^2=9e^{-5t}\to 0$ で許容条件をみたし、
$$J={\int }_0^{\infty }{e}^{-t}\cdot 5\cdot 9e^{-4t}dt=45\cdot \frac{1}{5}=9=V(3).$$

5. 最小であることの確認 任意の許容制御について、HJB 方程式（最小値なので $u$ によらず $\ge$）から $x^2\le 4x^2+u^2+2x(-x+u)$ が成り立つ。$W(t)=e^{-t}x(t{)}^2$ とすると
$$\dot{W}=e^{-t}(-x^2+2x\dot{x})\ge -e^{-t}(4x^2+u^2).$$
$0$ から $T$ まで積分して $T\to \infty$ とすると、$\lim W(T)=0$ より $J[u]\ge W(0)=9$。

したがって最小値は $9$。

価値関数を $V(x)=p{x}^2$ とおく（割引率 $\rho =1$）。HJB 方程式は $V(x)={\min }_u\{4x^2+u^2+V^{\prime }(x)(-x+u)\}$。$u=-V^{\prime }/2=-px$。代入すると $p{x}^2=4x^2+p^2{x}^2+2px(-x-px)=(4-2p-p^2)x^2$ なので $p^2+3p-4=0$、$p=1$ または $p=-4$。$p=-4$ に対応する制御 $u=4x$ は $\dot{x}=3x$、$x=3e^{3t}$ となり $e^{-t}{x}^2=9e^{5t}\to \infty$ で許容されず（また $J$ も有限でない）、$J\ge 0$ とも矛盾する。よって $p=1$、最適制御は $u=-x$。閉ループは $\dot{x}=-2x$、$x=3e^{-2t}$ で $e^{-t}{x}^2=9e^{-5t}\to 0$ をみたす。検証: 任意の許容制御 $u$ について $\frac{d}{dt}(e^{-t}{x}^2)=e^{-t}(-x^2+2x(-x+u))=e^{-t}(-3x^2+2xu)$ より ${\int }_0^T{e}^{-t}(4x^2+u^2)dt={\int }_0^T{e}^{-t}(x^2+(u+x{)}^2)dt...$ ではなく、$4x^2+u^2-(-3x^2+2xu)\cdot (-1)$ を整理して $e^{-t}(4x^2+u^2)=e^{-t}(u+x{)}^2+e^{-t}(3x^2-2xu)\cdot$ ... 直接計算: $4x^2+u^2=(u+x{)}^2-2xu+3x^2=(u+x{)}^2-\left(-3x^2+2xu\right)$ なので ${\int }_0^T{e}^{-t}(4x^2+u^2)dt={\int }_0^T{e}^{-t}(u+x{)}^{2}dt-[e^{-t}{x}^2{]}_0^T$。$T\to \infty$ で $e^{-T}x(T{)}^2\to 0$ なので $J[u]=x(0{)}^2+{\int }_0^{\infty }{e}^{-t}(u+x{)}^{2}dt\ge 9$。等号は $u=-x$。直接検算: $u=-x$ のとき被積分関数は $e^{-t}\cdot 5\cdot 9e^{-4t}=45e^{-5t}$、積分は $9$。最小値は $9$。