この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

変分法・最適制御の問題

難易度 3大学院入試の専門科目の標準レベル大学院数学変分法・最適制御

実数値の状態 $x (t)$ と制御 $u (t)$ （ $u$ は $[0, 1]$ 上の区分的に連続な実数値関数）について、状態方程式
$x ˙ (t) = x (t) + u (t) (0 \leq t \leq 1), x (0) = 2$
のもとで、評価関数
$J [u] = \int_{0}^{1} u (t)^{2} d t + x (1)^{2}$
を最小にする問題を考える（ $x (1)$ には制約を課さない）。値関数を $V (t, ξ) = u in f {\int_{t}^{1} u (s)^{2} d s + x (1)^{2} x (t) = ξ}$ とし、ハミルトン・ヤコビ・ベルマン方程式を用いて、 $J [u]$ の最小値 $V (0, 2)$ を求めよ。

この問題で使うもの

動的計画法とハミルトン・ヤコビ・ベルマン方程式（説明と入口の問題）
線形 2 次（LQ）制御とリカッチ方程式（説明と入口の問題）

この問題を解けるようになるまで（73 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

値関数 $V (t, x)$ が満たす HJB 方程式を立て、線形・2 次形式の問題なので $V (t, x) = p (t) x^{2}$ と仮定する。

ヒント 2

HJB 方程式の右辺を $u$ について最小化すると $u = - p (t) x$ となり、 $p$ はリッカチ方程式 $p^{'} = p^{2} - 2 p$ , $p (1) = 1$ を満たす。

ヒント 3

$q = 1/ p$ とおくと $q^{'} = 2 q - 1$ , $q (1) = 1$ という線形方程式になり、 $q (t) = \frac{1}{2} + C e^{2 t}$ の形の解をもつ。

答えと解説

答えを見る

\frac{8 e ^{2}}{e ^{2} + 1}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

1. HJB 方程式

値関数 $V (t, x)$ は次の HJB 方程式と終端条件を満たす。
$- \frac{\partial V}{\partial t} = u \in R min {u^{2} + \frac{\partial V}{\partial x} (x + u)}, V (1, x) = x^{2}$

2. 2 次形式の仮定

線形の状態方程式と 2 次の評価関数なので、 $V (t, x) = p (t) x^{2}$ と仮定する。 $V_{x} = 2 p (t) x$ より、右辺の ${}$ 内は $u$ の 2 次関数 $u^{2} + 2 p xu + 2 p x^{2}$ で、 $u = - p (t) x$ のとき最小値
$p^{2} x^{2} - 2 p^{2} x^{2} + 2 p x^{2} = (2 p - p^{2}) x^{2}$
をとる。 $V_{t} = p^{'} (t) x^{2}$ なので、すべての $x$ について $- p^{'} x^{2} = (2 p - p^{2}) x^{2}$ が成り立つ条件として、リッカチ方程式
$p^{'} (t) = p (t)^{2} - 2 p (t), p (1) = 1$
を得る。

3. リッカチ方程式を解く

$q (t) = \frac{1}{p ( t )}$ とおくと
$q^{'} = - \frac{p ^{'}}{p ^{2}} = - \frac{p ^{2} - 2 p}{p ^{2}} = - 1 + 2 q, q (1) = 1$
これは線形方程式で、一般解は $q (t) = \frac{1}{2} + C e^{2 t}$ 。 $q (1) = \frac{1}{2} + C e^{2} = 1$ より $C = \frac{e ^{- 2}}{2}$ なので
$q (t) = \frac{1 + e ^{2 (t - 1)}}{2}, p (t) = \frac{2}{1 + e ^{2 (t - 1)}}$
である。 $0 \leq t \leq 1$ で $p (t) > 0$ は有限にとどまり、この $V = p (t) x^{2}$ は $C^{1}$ 級の HJB 方程式の解である。 $V$ は $C^{1}$ 級の解で、 $u = - p (t) x$ はその最小値を与えるので、検証定理によりこれが値関数であり、 $u^{*} (t) = - p (t) x (t)$ が最適制御（フィードバック形）となる。

4. 最小値

$p (0) = \frac{2}{1 + e ^{- 2}} = \frac{2 e ^{2}}{e ^{2} + 1}$
なので
$V (0, 2) = p (0) \cdot 2^{2} = \frac{8 e ^{2}}{e ^{2} + 1}$

（検算） ポントリャーギンの最大原理で $H = u^{2} + λ (x + u)$ とすると $u = - λ /2$ , $λ ˙ = - λ$ , $λ (1) = 2 x (1)$ 。 $x (0) = 2$ で解くと $λ (0) = \frac{8 e ^{2}}{1 + e ^{2}}$ となり、 $λ (0) = V_{x} (0, 2) = 2 p (0) \cdot 2 = \frac{8 e ^{2}}{e ^{2} + 1}$ と一致する。

別解

$V (t, ξ) = p (t) ξ^{2}$ と置く。HJB 方程式は $V_{t} + min_{u} {u^{2} + (ξ + u) V_{ξ}} = 0$ 、終端条件 $V (1, ξ) = ξ^{2}$ 。

最小化： $2 u + V_{ξ} = 0$ より $u = - V_{ξ} /2 = - p ξ$ 。代入すると $u^{2} + (ξ + u) V_{ξ} = p^{2} ξ^{2} + 2 p ξ^{2} - 2 p^{2} ξ^{2} = (2 p - p^{2}) ξ^{2}$ 。

よって $p^{'} + 2 p - p^{2} = 0$ 、 $p (1) = 1$ 。 $q = 1/ p$ とすると $q^{'} = - p^{'} / p^{2} = - (p^{2} - 2 p) / p^{2} = 2 q - 1$ 、 $q (1) = 1$ 。 $q - \frac{1}{2} = \frac{1}{2} e^{2 (t - 1)}$ より $q (t) = \frac{1}{2} (1 + e^{2 (t - 1)})$ 、 $p (t) = \frac{2}{1 + e ^{2 (t - 1)}}$ 。

$p (0) = \frac{2}{1 + e ^{- 2}}$ 、 $V (0, 2) = 4 p (0) = \frac{8}{1 + e ^{- 2}} = \frac{8 e ^{2}}{e ^{2} + 1}$ 。

検算： $p (1) = 2/2 = 1$ 。 $p^{'} = - 2 \cdot 2 e^{2 (t - 1)} / (1 + e^{2 (t - 1)})^{2}$ が $p^{2} - 2 p$ に一致することを $t = 1$ で確認： $p^{'} (1) = - 4/4 = - 1$ 、 $p^{2} - 2 p = 1 - 2 = - 1$ 。数値は $V (0, 2) \approx 7.047$ 。 $u = 0$ のときの $J = (2 e)^{2} \approx 29.6$ より小さく妥当。

変分法・最適制御の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題