変分法・最適制御の問題

1. HJB 方程式を立てる 値関数を $V(t,x)$ とする。伊藤の公式により、$dX=udt+dW$ のとき
$$dV(t,X)=(V_t+V_{x}u+\frac{1}{2}{V}_{xx})dt+V_{x}dW$$
となる（拡散係数 $\sigma =1$ から 2 階の項 $\frac{{\sigma }^2}{2}{V}_{xx}=\frac{1}{2}{V}_{xx}$ が出る）。よって HJB 方程式は
$$V_t+\underset{u}{\min }\{u^2+V_{x}u\}+\frac{1}{2}{V}_{xx}=0,V(1,x)=x^2.$$

2. $u$ について最小化 $u^2+V_{x}u$ を平方完成すると $(u+\frac{V_x}{2}{)}^2-\frac{V_x^2}{4}$ なので、$u^{\ast }=-\frac{V_x}{2}$ で最小値 $-\frac{V_x^2}{4}$。HJB 方程式は
$$V_t-\frac{V_x^2}{4}+\frac{1}{2}{V}_{xx}=0.$$

3. $V=p(t)x^2+q(t)$ を代入 $V_t=\dot{p}{x}^2+\dot{q}$, $V_x=2px$, $V_{xx}=2p$ より
$$\dot{p}{x}^2+\dot{q}-p^2{x}^2+p=0.$$
$x^2$ の係数と定数項を比べて
$$\dot{p}=p^2,\dot{q}=-p,$$
終端条件 $V(1,x)=x^2$ から $p(1)=1$, $q(1)=0$。

4. リカッチ方程式と $q$ の方程式を解く $\dot{p}=p^2$ は変数分離形で $-\frac{1}{p}=t+C$。$p(1)=1$ より $C=-2$、よって
$$p(t)=\frac{1}{2-t}.$$
$q(t)={\int }_t^{1}p(s)ds={\int }_t^1\frac{ds}{2-s}=[-\log (2-s){]}_t^1=\log (2-t)$。

5. 最小値 $p(0)=\frac{1}{2}$, $q(0)=\log 2$ より
$$V(0,2)=\frac{1}{2}\cdot 2^2+\log 2=2+\log 2.$$

6. これが下限であり達成されること 任意の許容制御について、HJB 方程式より $V_t+V_{x}u+\frac{1}{2}{V}_{xx}\ge -u^2$。伊藤の公式を $0$ から $1$ まで積分し、伊藤積分の期待値が $0$ であることを使うと
$$E[X(1{)}^2]-V(0,2)\ge -E[{\int }_0^1{u}^{2}dt],$$
すなわち $J[u]\ge 2+\log 2$。等号はフィードバック制御 $u^{\ast }=-p(t)X(t)=-\frac{X(t)}{2-t}$ のときに成り立つ。

したがって最小値は $2+\log 2$。

価値関数 $V(t,x)=\min E[{\int }_t^1{u}^{2}ds+X(1{)}^2\mid X(t)=x]$ は HJB 方程式 $-V_t={\min }_u\{u^2+u{V}_x\}+\frac{1}{2}{V}_{xx}$, $V(1,x)=x^2$ をみたす。最小化は $u=-V_x/2$ で、$-V_t=-\frac{1}{4}{V}_x^2+\frac{1}{2}{V}_{xx}$。$V=p(t)x^2+q(t)$ とおくと $V_x=2px$, $V_{xx}=2p$ より $-p^{\prime }{x}^2-q^{\prime }=-p^2{x}^2+p$。よって $p^{\prime }=p^2$, $p(1)=1$ から $p(t)=\frac{1}{2-t}$（検算: $p^{\prime }=\frac{1}{(2-t{)}^2}=p^2$）。また $q^{\prime }=-p$, $q(1)=0$ から $q(0)={\int }_0^1\frac{dt}{2-t}=\log 2$。最適制御は $u=-p(t)X(t)$（フィードバック形でリプシッツなので解が存在し、2乗可積分）。検証定理により最小値は $V(0,2)=p(0)\cdot 4+q(0)=\frac{4}{2}+\log 2=2+\log 2$。検算: ノイズなしなら $\frac{x_0^2}{2}=2$、ノイズによる追加コストは ${\int }_0^{1}pdt=\log 2$ で、合計 $2+\log 2$。