この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

変分法・最適制御の問題

難易度 2大学院の講義の演習問題レベル大学院数学変分法・最適制御

実数値の状態 $x (t)$ と制御 $u (t)$ （ $u$ は $[0, \infty)$ 上の区分的に連続な実数値関数）について、状態方程式
$x ˙ (t) = x (t) + u (t) (t \geq 0), x (0) = x_{0}$
と割引つきの評価汎関数
$J (x_{0}; u) = \int_{0}^{\infty} e^{- t} (x (t)^{2} + u (t)^{2}) d t$
を考える。 $J (x_{0}; u) < \infty$ となる制御 $u$ の全体を許容制御とし、値関数を $V (x_{0}) = in f_{u} J (x_{0}; u)$ （下限は許容制御全体でとる）と定める。 $V (x_{0}) = p x_{0}^{2}$ （ $p > 0$ は定数）の形を仮定してハミルトン・ヤコビ・ベルマン方程式を解き、 $V (2)$ の値を求めよ。

この問題で使うもの

割引つき無限時間の HJB 方程式（説明と入口の問題）

この問題を解けるようになるまで（78 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

割引率 $1$ の無限時間問題の値関数は、定常な HJB 方程式 $V (x) = min_{u} {x^{2} + u^{2} + V^{'} (x) (x + u)}$ を満たす。

ヒント 2

$u$ について平方完成すると最小点は $u^{*} = - \frac{1}{2} V^{'} (x)$ 。 $V = p x^{2}$ を代入して $x^{2}$ の係数を比べる。

ヒント 3

係数を比べると $p^{2} - p - 1 = 0$ が得られる。 $p > 0$ の解を選ぶ。

答えと解説

答えを見る

2 + 25

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

HJB 方程式
割引率 $1$ の無限時間問題なので、値関数 $V (x)$ は定常なハミルトン・ヤコビ・ベルマン方程式
$V (x) = u \in R min {x^{2} + u^{2} + V^{'} (x) (x + u)}$
を満たす。

最小化
右辺の $u$ についての部分 $u^{2} + V^{'} (x) u$ は下に凸な二次式なので、 $2 u + V^{'} (x) = 0$ より最小点は $u^{*} = - \frac{V ^{'} ( x )}{2}$ 。 $V (x) = p x^{2}$ とおくと $V^{'} (x) = 2 p x$ 、 $u^{*} = - p x$ 。これを代入すると
$p x^{2} = x^{2} + p^{2} x^{2} + 2 p x (x - p x) = x^{2} + 2 p x^{2} - p^{2} x^{2}$
となる。すべての $x$ で成り立つことから
$p = 1 + 2 p - p^{2} ⟺ p^{2} - p - 1 = 0 ⟺ p = \frac{1 \pm 5}{2}$
$p > 0$ より $p = \frac{1 + 5}{2}$ 。

検証（この解が実際に値関数であること）
フィードバック $u = - p x$ の下で $x ˙ = (1 - p) x$ 、 $x (t) = x_{0} e^{(1 - p) t}$ 。 $p^{2} = p + 1$ を使うと $1 + p^{2} = p + 2$ 、 $1 - 2 (1 - p) = 2 p - 1 = 5 > 0$ なので
$J = x_{0}^{2} (1 + p^{2}) \int_{0}^{\infty} e^{- (2 p - 1) t} d t = x_{0}^{2} \frac{p + 2}{2 p - 1} = x_{0}^{2} \cdot \frac{( 5 + 5 ) /2}{5} = \frac{1 + 5}{2} x_{0}^{2} = p x_{0}^{2}$
となり有限で、 $p x_{0}^{2}$ に一致する。また任意の許容制御について、 $W (t, x) = e^{- t} p x^{2}$ とすると HJB 方程式から
$\frac{d}{d t} W (t, x (t)) = e^{- t} (- p x^{2} + 2 p x (x + u)) \geq - e^{- t} (x^{2} + u^{2})$
（等号は $u = - p x$ ）が成り立つ。 $J < \infty$ のとき $\frac{d}{d t} (e^{- t} x^{2}) = e^{- t} (x^{2} + 2 xu)$ は可積分なので $e^{- t} x (t)^{2}$ は極限をもち、 $e^{- t} x^{2}$ 自身も可積分だからその極限は $0$ 。よって $0$ から $\infty$ まで積分して $J (x_{0}; u) \geq p x_{0}^{2}$ を得る。したがって $V (x_{0}) = p x_{0}^{2}$ 。

答え
$V (2) = 4 p = 4 \cdot \frac{1 + 5}{2} = 2 + 25$

別解

割引率 $1$ の無限時間問題の HJB 方程式は $V (x) = min_{u} {x^{2} + u^{2} + V^{'} (x) (x + u)}$ 。 $V = p x^{2}$ とおくと $V^{'} = 2 p x$ 。右辺の $u$ について $2 u + 2 p x = 0$ より最小は $u = - p x$ 。代入すると
$p x^{2} = x^{2} + p^{2} x^{2} + 2 p x (x - p x) = (1 + 2 p - p^{2}) x^{2} .$
よって $p^{2} - p - 1 = 0$ 、 $p > 0$ より $p = \frac{1 + 5}{2}$ 。
検証: 閉ループは $x ˙ = (1 - p) x$ 、 $1 - p = \frac{1 - 5}{2} \approx - 0.618$ なので $x = x_{0} e^{(1 - p) t}$ 、 $u = - p x$ 。被積分関数は $e^{- t} (1 + p^{2}) x_{0}^{2} e^{2 (1 - p) t}$ で指数的に減衰し $J < \infty$ （許容）。 $J = \int_{0}^{\infty} (1 + p^{2}) x_{0}^{2} e^{(1 - 2 p) t} d t = \frac{( 1 + p ^{2} )}{2 p - 1} x_{0}^{2}$ 。 $p^{2} = p + 1$ より $1 + p^{2} = p + 2$ 、 $2 p - 1 = 5$ 。 $p = \frac{1 + 5}{2}$ のとき $p + 2 = \frac{5 + 5}{2}$ 、 $\frac{5 + 5}{2 5} = \frac{5 + 1}{2} = p$ となり一致する。任意の許容制御に対し $e^{- T} V (x (T)) \to 0$ の議論で下限であることも従う。
$V (2) = 4 p = 2 (1 + 5) = 2 + 25$ 。

変分法・最適制御の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題