この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

変分法・最適制御の問題

難易度 2大学院の講義の演習問題レベル大学院数学変分法・最適制御

実数値の状態 $x (t)$ と制御 $u (t)$ を考える。 $u$ は $[0, \infty)$ 上の実数値関数で、任意の有界区間上で区分的に連続であるとする。状態方程式と初期条件を
$x ˙ (t) = 2 x (t) + u (t) (t \geq 0), x (0) = 2$
とし、割引付き評価関数
$J [u] = \int_{0}^{\infty} e^{- t} (x (t)^{2} + u (t)^{2}) d t$
を考える（積分が発散する場合は $J [u] = + \infty$ とする）。このような制御 $u$ 全体にわたる $J [u]$ の最小値を求めよ。

この問題で使うもの

割引つき無限時間の HJB 方程式（説明と入口の問題）

この問題を解けるようになるまで（78 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

割引付き無限時間問題なので、時間によらない値関数 $V (x)$ に対する HJB 方程式 $V (x) = min_{u} {x^{2} + u^{2} + V^{'} (x) (2 x + u)}$ を考えましょう。

ヒント 2

$V (x) = p x^{2}$ と仮定すると、最適な $u$ は $u = - p x$ です。これを代入すると $p$ についての 2 次方程式が得られます。

ヒント 3

2 次方程式は $p^{2} - 3 p - 1 = 0$ です。 $V \geq 0$ となる根を選び、最小値は $V (2) = 4 p$ です。検証のために、 $e^{- t} p x (t)^{2}$ を微分して評価しましょう。

答えと解説

答えを見る

6 + 213

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

HJB 方程式を立てる。 割引率 $ρ = 1$ の無限時間問題なので、値関数 $V (x)$ は定常な HJB 方程式
$V (x) = u \in R min {x^{2} + u^{2} + V^{'} (x) (2 x + u)}$
を満たすと期待される。右辺の最小化は $u$ の 2 次式なので、 $u = - \frac{1}{2} V^{'} (x)$ で最小となる。

2 次形式を仮定する。 $V (x) = p x^{2}$ （ $p > 0$ ）とおくと $V^{'} (x) = 2 p x$ であり、最小を与える $u$ は $u = - p x$ である。このとき右辺は
$x^{2} + p^{2} x^{2} + 2 p x (2 x - p x) = (1 + 4 p - p^{2}) x^{2}$
となる。よって $p x^{2} = (1 + 4 p - p^{2}) x^{2}$ 、すなわち
$p^{2} - 3 p - 1 = 0, p = \frac{3 \pm 13}{2} .$
$V \geq 0$ でなければならないので、正の根 $p = \frac{3 + 13}{2}$ をとる。

下からの評価（検証定理）. 任意の $u$ について、HJB 方程式から
$p x^{2} \leq x^{2} + u^{2} + 2 p x (2 x + u)$
が成り立つ。したがって
$\frac{d}{d t} (e^{- t} p x^{2}) = e^{- t} (- p x^{2} + 2 p x (2 x + u)) \geq - e^{- t} (x^{2} + u^{2})$
である。これを $0$ から $T$ まで積分すると
$\int_{0}^{T} e^{- t} (x^{2} + u^{2}) d t \geq p x (0)^{2} - p e^{- T} x (T)^{2}$
となる。

$J [u] < \infty$ のときは $\int_{0}^{\infty} e^{- t} x^{2} d t < \infty$ なので、 $lim inf_{T \to \infty} e^{- T} x (T)^{2} = 0$ である（そうでなければ被積分関数が十分大きい $t$ で正の定数以上となり、積分が発散する）。そこで $e^{- T_{k}} x (T_{k})^{2} \to 0$ となる列 $T_{k} \to \infty$ をとれば、
$J [u] \geq p x (0)^{2}$
を得る。 $J [u] = + \infty$ のときもこの不等式は自明に成り立つ。

等号の達成. フィードバック $u = - p x$ を用いると $x ˙ = (2 - p) x$ なので、 $x (t) = 2 e^{(2 - p) t}$ である。ここで $2 - p = \frac{1 - 13}{2} < 0$ である。このとき
$J = \int_{0}^{\infty} e^{- t} (1 + p^{2}) \cdot 4 e^{2 (2 - p) t} d t = \frac{4 ( 1 + p ^{2} )}{1 - 2 ( 2 - p )} = \frac{4 ( 1 + p ^{2} )}{2 p - 3}$
となる（ $2 p - 3 = 13 > 0$ なので積分は収束する）。 $p^{2} = 3 p + 1$ より
$1 + p^{2} = 3 p + 2 = \frac{13 + 3 13}{2} = \frac{13 ( 13 + 3 )}{2}$
であるから、 $J = 4 \cdot \frac{3 + 13}{2} = 4 p$ となり、下界 $p x (0)^{2} = 4 p$ に一致する。

以上より、最小値は
$4 p = 2 (3 + 13) = 6 + 213$
である。

別解

$y (t) = e^{- t /2} x (t)$ , $v (t) = e^{- t /2} u (t)$ と変数変換する。 $y ˙ = - \frac{1}{2} y + e^{- t /2} x ˙ = - \frac{1}{2} y + 2 y + v = \frac{3}{2} y + v$ 、 $y (0) = 2$ となる。評価関数は $J = \int_{0}^{\infty} (y^{2} + v^{2}) d t$ に書き換わり、割引のない標準的な LQ 問題になる。

代数リカッチ方程式は、 $a = 3/2, b = 1, q = r = 1$ として $2 a P - b^{2} P^{2} / r + q = 0$ 、すなわち $P^{2} - 3 P - 1 = 0$ である。正の解は $P = \frac{3 + 13}{2}$ 。

最適制御は $v = - P y$ で、閉ループは $y ˙ = (3/2 - P) y = - \frac{13}{2} y$ となり安定である。このとき $y \in L^{2}$ なので許容でき、最小値は $P y (0)^{2} = 4 P = 6 + 213$ 。

検算として、 $u = - 2 x$ （ $x \equiv 2$ ）の場合は $J = \int_{0}^{\infty} e^{- t} (4 + 16) d t = 20$ で、これは $6 + 213 \approx 13.21$ より大きく矛盾しない。

最小値は $6 + 213$ 。

変分法・最適制御の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題