変分法・最適制御の問題

1. HJB 方程式を立てる. 割引率 $\rho =3$、成長率 $r=2$ の無限時間割引問題なので、初期状態 $x>0$ からの価値関数 $V(x)$ は、定常な HJB 方程式
$$3V(x)=\underset{c\ge 0}{\sup }[\sqrt{c}+V^{\prime }(x)(2x-c)]$$
を満たすと期待される。

2. 解を推定する. 状態方程式は $x$ について線形であり、効用 $\sqrt{c}$ は $1/2$ 次の同次関数である。そこで $V(x)=A\sqrt{x}$（$A>0$）と置いてみる。このとき $V^{\prime }(x)=\frac{A}{2\sqrt{x}}>0$ である。

$c$ についての最大化を行う。$\sqrt{c}-V^{\prime }c$ は $c\ge 0$ で凹なので、微分して $0$ とおくと
$$\frac{1}{2\sqrt{c}}=V^{\prime }(x)=\frac{A}{2\sqrt{x}}⟹\sqrt{c}=\frac{\sqrt{x}}{A},c=\frac{x}{A^2}$$
を得る。このときの値は
$$\sqrt{c}-V^{\prime }c=\frac{\sqrt{x}}{A}-\frac{A}{2\sqrt{x}}\cdot \frac{x}{A^2}=\frac{\sqrt{x}}{2A}$$
である。HJB 方程式に代入すると
$$3A\sqrt{x}=\frac{\sqrt{x}}{2A}+\frac{A}{2\sqrt{x}}\cdot 2x=\frac{\sqrt{x}}{2A}+A\sqrt{x}$$
となる。両辺を $\sqrt{x}$ で割ると $2A=\frac{1}{2A}$、すなわち $A^2=\frac{1}{4}$ を得る。$A>0$ より $A=\frac{1}{2}$ である。

よって $V(x)=\frac{\sqrt{x}}{2}$ であり、最適なフィードバック制御は $c=\frac{x}{A^2}=4x$ となる。

3. 上界を示す（検証定理）. HJB 方程式の解であることだけでは上限であることは保証されないので、次の評価を行う。$\epsilon >0$ に対して $W(x)=\frac{1}{2}\sqrt{x+\epsilon }$ とおく（$x=0$ でも微分可能にするため）。$W^{\prime }(x)=\frac{1}{4\sqrt{x+\epsilon }}>0$ である。

任意の $c\ge 0$ と $x\ge 0$ に対し、まず
$$\sqrt{c}-W^{\prime }c\le \underset{c\ge 0}{\max }(\sqrt{c}-W^{\prime }c)=\frac{1}{4W^{\prime }}=\sqrt{x+\epsilon }$$
が成り立つ。また $x\le x+\epsilon$ より
$$2x{W}^{\prime }\le 2(x+\epsilon )W^{\prime }=\frac{\sqrt{x+\epsilon }}{2}$$
である。この 2 つを合わせると
$$\sqrt{c}+W^{\prime }(x)(2x-c)\le \frac{3}{2}\sqrt{x+\epsilon }=3W(x)$$
が成り立つ。

許容な制御 $c$ と、それに対応する状態 $x(t)\ge 0$ をとる。上の不等式より、区分的に
$$\frac{d}{dt}[e^{-3t}W(x(t))]=e^{-3t}[W^{\prime }(x)(2x-c)-3W(x)]\le -e^{-3t}\sqrt{c(t)}$$
となる。これを $0$ から $T$ まで積分すると
$${\int }_0^T{e}^{-3t}\sqrt{c}dt\le W(5)-e^{-3T}W(x(T))\le W(5)=\frac{1}{2}\sqrt{5+\epsilon }$$
を得る。$T\to \infty$、続いて $\epsilon \to 0$ とすると
$$J[c]\le \frac{\sqrt{5}}{2}$$
が従う。

4. 上界が達成されることを確かめる. $c=4x$ とすると、状態方程式は $\dot{x}=2x-4x=-2x$ となり、$x(t)=5e^{-2t}\ge 0$ である。よってこの制御は許容である。このとき $c(t)=20e^{-2t}$、$\sqrt{c(t)}=2\sqrt{5}{e}^{-t}$ であり、
$$J[c]={\int }_0^{\infty }2\sqrt{5}{e}^{-4t}dt=\frac{2\sqrt{5}}{4}=\frac{\sqrt{5}}{2}$$
となる。

以上より、求める上限は
$$\sup J[c]=\frac{\sqrt{5}}{2}$$
であり、この上限は最大値として達成される。

$x(t)=e^{2t}\left(5-{\int }_0^t{e}^{-2s}c(s)ds\right)$ である。$x(t)\ge 0$ がすべての $t\ge 0$ で成り立つことは、すべての $t$ で ${\int }_0^t{e}^{-2s}c(s)ds\le 5$ となることと同値である。$c\ge 0$ なので左辺は $t$ について単調増加であり、この条件は ${\int }_0^{\infty }{e}^{-2s}c(s)ds\le 5$ と同値になる。

コーシー・シュワルツの不等式を $e^{-3t}\sqrt{c}=\left(e^{-t}\sqrt{c}\right)\cdot e^{-2t}$ に使うと
$$J[c]\le \sqrt{{\int }_0^{\infty }{e}^{-2t}cdt}\sqrt{{\int }_0^{\infty }{e}^{-4t}dt}\le \sqrt{5}\cdot \frac{1}{2}=\frac{\sqrt{5}}{2}$$
となる。

等号は $\sqrt{c}\propto e^{-t}\cdot e^t\cdot$ の形、すなわち $e^{-t}\sqrt{c}\propto e^{-2t}$ から $c=K{e}^{-2t}$ のときに成り立つ。拘束条件 ${\int }_0^{\infty }{e}^{-2t}K{e}^{-2t}dt=K/4=5$ より $K=20$ である。

この $c(t)=20e^{-2t}\ge 0$ に対して $x(t)=e^{2t}\left(5-20{\int }_0^t{e}^{-4s}ds\right)=5e^{-2t}\ge 0$ となり、実行可能である。このとき $J=\sqrt{20}{\int }_0^{\infty }{e}^{-4t}dt=\sqrt{20}/4=\sqrt{5}/2$ となり、上限が達成される。

よって $\sup J=\frac{\sqrt{5}}{2}$。