この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

変分法・最適制御の問題

難易度 3大学院入試の専門科目の標準レベル大学院数学変分法・最適制御

フィルター付き確率空間 $(Ω, F, (F_{t})_{t \geq 0}, P)$ 上の 1 次元標準ブラウン運動 $W (t)$ を考える。実数値の制御 $u (t)$ は $(F_{t})$ -発展的可測な過程で $E [\int_{0}^{2} u (t)^{2} d t] < \infty$ を満たすもの（許容制御）とし、状態 $X (t)$ は確率微分方程式 $d X (t) = u (t) d t + d W (t) (0 \leq t \leq 2), X (0) = 3$ に従うとする。コスト $J [u] = E [\int_{0}^{2} u (t)^{2} d t + X (2)^{2}]$ の、許容制御全体にわたる下限 $u in f J [u]$ を求めよ。

この問題で使うもの

確率最適制御の HJB 方程式（説明と入口の問題）
伊藤の公式（説明と入口の問題）
伊藤積分と伊藤の等長性（説明と入口の問題）

この問題を解けるようになるまで（128 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

値関数 $V (t, x)$ に対する（2 階の項をもつ）HJB 方程式を立て、終端条件 $V (2, x) = x^{2}$ を使う。

ヒント 2

$min_{u} {u^{2} + u V_{x}} = - \frac{1}{4} V_{x}^{2}$ を代入し、 $V (t, x) = p (t) x^{2} + r (t)$ と仮定すると、 $p^{'} = p^{2}$ , $r^{'} = - p$ というリッカチ型の常微分方程式が得られる。

ヒント 3

$p (2) = 1$ から $p (t) = \frac{1}{3 - t}$ 、 $r (2) = 0$ から $r (t) = \int_{t}^{2} p (s) d s$ となる。あとは $V (0, 3)$ を計算し、検証定理で下限であることを確かめる。

答えと解説

答えを見る

3 + lo g 3

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

時刻 $t$ に状態 $x$ から出発したときの最小コスト（値関数）を $V (t, x)$ とする。動的計画法により、 $V$ はハミルトン・ヤコビ・ベルマン（HJB）方程式
$V_{t} + u \in R min {u^{2} + u V_{x}} + \frac{1}{2} V_{xx} = 0, V (2, x) = x^{2}$
を満たすと期待される（拡散係数が $1$ なので 2 階の項は $\frac{1}{2} V_{xx}$ ）。

HJB 方程式を解く. $u^{2} + u V_{x}$ は $u$ の 2 次式で、 $u = - \frac{1}{2} V_{x}$ で最小値 $- \frac{1}{4} V_{x}^{2}$ をとる。よって
$V_{t} - \frac{1}{4} V_{x}^{2} + \frac{1}{2} V_{xx} = 0.$
終端条件が 2 次式なので $V (t, x) = p (t) x^{2} + r (t)$ とおくと、 $V_{t} = p^{'} x^{2} + r^{'}$ , $V_{x} = 2 p x$ , $V_{xx} = 2 p$ より
$p^{'} x^{2} + r^{'} - p^{2} x^{2} + p = 0$
がすべての $x$ で成り立つ。係数を比べて
$p^{'} = p^{2}, p (2) = 1; r^{'} = - p, r (2) = 0.$
$q = 1/ p$ とおくと $q^{'} = - p^{'} / p^{2} = - 1$ , $q (2) = 1$ なので $q (t) = 3 - t$ 、すなわち $p (t) = \frac{1}{3 - t}$ （ $0 \leq t \leq 2$ で正で有限）。また
$r (t) = \int_{t}^{2} p (s) d s = \int_{t}^{2} \frac{d s}{3 - s} = lo g (3 - t) .$
したがって
$V (t, x) = \frac{x ^{2}}{3 - t} + lo g (3 - t) .$

検証定理（これが本当に下限であること）. $V$ は $C^{1, 2}$ 級で、任意の $u \in R$ に対し
$V_{t} + u V_{x} + \frac{1}{2} V_{xx} + u^{2} = (u + \frac{1}{2} V_{x})^{2} \geq 0$
である。任意の許容制御 $u$ に対し、伊藤の公式から
$V (2, X (2)) = V (0, 3) + \int_{0}^{2} (V_{t} + u V_{x} + \frac{1}{2} V_{xx}) d t + \int_{0}^{2} V_{x} d W .$
$E \int_{0}^{2} u^{2} d t < \infty$ から $E sup_{t} X (t)^{2} < \infty$ となり、 $V_{x} = 2 p (t) X$ なので確率積分の期待値は $0$ 。よって
$E [X (2)^{2}] = V (0, 3) + E \int_{0}^{2} ((u + \frac{1}{2} V_{x})^{2} - u^{2}) d t \geq V (0, 3) - E \int_{0}^{2} u^{2} d t,$
すなわち $J [u] \geq V (0, 3)$ 。等号はフィードバック制御 $u^{*} (t) = - \frac{1}{2} V_{x} = - \frac{X ( t )}{3 - t}$ のときに成り立つ。このとき状態方程式は線形 SDE $d X = - \frac{X}{3 - t} d t + d W$ となって一意な解をもち、 $E \int_{0}^{2} u^{* 2} d t < \infty$ なので $u^{*}$ は許容制御である。したがって下限は最小値として達成され、
$u in f J [u] = V (0, 3) = \frac{9}{3} + lo g 3 = 3 + lo g 3.$

別解

価値関数 $V (t, x) = in f_{u} E [\int_{t}^{2} u^{2} d s + X (2)^{2} ∣ X (t) = x]$ とおくと、HJB 方程式は $V_{t} + min_{u} (u V_{x} + u^{2}) + \frac{1}{2} V_{xx} = 0$ 、 $V (2, x) = x^{2}$ 。最小化は $u = - V_{x} /2$ で、方程式は $V_{t} - \frac{1}{4} V_{x}^{2} + \frac{1}{2} V_{xx} = 0$ となる。
$V = a (t) x^{2} + b (t)$ とおくと $V_{x} = 2 a x$ , $V_{xx} = 2 a$ より $a^{'} x^{2} + b^{'} - a^{2} x^{2} + a = 0$ 。よって $a^{'} = a^{2}$ , $b^{'} = - a$ 、終端条件 $a (2) = 1$ , $b (2) = 0$ 。
$a^{'} = a^{2}$ を解いて $a (t) = \frac{1}{c - t}$ 、 $a (2) = 1$ より $c = 3$ 、 $a (t) = \frac{1}{3 - t}$ 。
$b^{'} (t) = - \frac{1}{3 - t}$ より $b (t) = ln (3 - t) + C$ 、 $b (2) = 0$ より $C = 0$ 。
したがって $V (0, 3) = \frac{9}{3} + ln 3 = 3 + ln 3$ 。
最適制御 $u^{*} = - V_{x} /2 = - \frac{X ( t )}{3 - t}$ は線形フィードバックで、解は2乗可積分となり許容的である（検証定理により下限が達成される）。
検算: 制御なし ( $u = 0$ ) のコストは $E [X (2)^{2}] = 9 + 2 = 11$ で、 $3 + ln 3 \approx 4.10$ より小さい。妥当。

変分法・最適制御の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題