この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

変分法・最適制御の問題

難易度 2大学院の講義の演習問題レベル大学院数学変分法・最適制御

実数値の状態 $x (t)$ と制御 $u (t)$ （ $u$ は $[0, \infty)$ 上の区分的に連続な実数値関数）について、状態方程式
$x ˙ (t) = u (t) (t \geq 0), x (0) = 2$
と割引つき評価関数
$J [u] = \int_{0}^{\infty} e^{- t} (x (t)^{2} + u (t)^{2}) d t$
を考える。 $J [u]$ が有限となる制御 $u$ 全体の中での $J [u]$ の最小値を求めよ。

この問題で使うもの

割引つき無限時間の HJB 方程式（説明と入口の問題）
2次方程式の解の公式と判別式（説明と入口の問題）
定積分の計算（説明と入口の問題）

この問題を解けるようになるまで（79 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

割引つきの無限時間問題なので、価値関数は時間によらない $V (x)$ とし、定常な HJB 方程式 $V = min_{u} {x^{2} + u^{2} + V^{'} u}$ を立てよう。

ヒント 2

$u$ についての最小は $u = - \frac{1}{2} V^{'} (x)$ 。 $V (x) = p x^{2}$ と置いて $p$ の 2 次方程式を導こう。

ヒント 3

$p^{2} + p - 1 = 0$ が得られる。正の解を選び、 $J$ の最小値は $V (2) = 4 p$ である。最小性は $\frac{d}{d t} (e^{- t} p x^{2})$ を使った平方完成で確かめられる。

答えと解説

答えを見る

25 - 2

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

割引率 $1$ の無限時間問題なので、価値関数 $V (x)$ （初期状態 $x$ からの最小コスト）は定常なハミルトン・ヤコビ・ベルマン方程式
$V (x) = u \in R min {x^{2} + u^{2} + V^{'} (x) u}$
を満たすと考えられる。右辺の $u$ についての最小は $u = - \frac{1}{2} V^{'} (x)$ で達成され、
$V (x) = x^{2} - \frac{1}{4} V^{'} (x)^{2} .$
2 次形式 $V (x) = p x^{2}$ （ $p > 0$ ）を仮定すると $V^{'} (x) = 2 p x$ より
$p x^{2} = x^{2} - p^{2} x^{2} ⟹ p^{2} + p - 1 = 0,$
$p > 0$ の解は $p = \frac{5 - 1}{2}$ 。対応するフィードバックは $u = - p x$ 。

検証. 任意の制御 $u$ に対し、 $\frac{d}{d t} (e^{- t} p x^{2}) = e^{- t} (- p x^{2} + 2 p xu)$ であり、 $1 - p - p^{2} = 0$ を使うと
$x^{2} + u^{2} - p x^{2} + 2 p xu = (u + p x)^{2} + (1 - p - p^{2}) x^{2} = (u + p x)^{2} \geq 0.$
よって $\frac{d}{d t} (e^{- t} p x^{2}) \geq - e^{- t} (x^{2} + u^{2})$ 。 $0$ から $T$ まで積分して
$\int_{0}^{T} e^{- t} (x^{2} + u^{2}) d t \geq p x (0)^{2} - e^{- T} p x (T)^{2} .$
$J [u] < \infty$ なら $\int_{0}^{\infty} e^{- t} x^{2} d t < \infty$ なので $lim inf_{T \to \infty} e^{- T} x (T)^{2} = 0$ （そうでなければある $c > 0$ について十分大きい $t$ で $e^{- t} x^{2} \geq c$ となり積分が発散する）。この部分列で $T \to \infty$ として $J [u] \geq p x (0)^{2} = 4 p$ 。

等号は $u = - p x$ のとき成り立つ。実際このとき $x (t) = 2 e^{- pt}$ , $u (t) = - 2 p e^{- pt}$ で
$J = \int_{0}^{\infty} 4 (1 + p^{2}) e^{- (1 + 2 p) t} d t = \frac{4 ( 1 + p ^{2} )}{1 + 2 p} .$
$1 + p^{2} = 2 - p = \frac{5 - 5}{2}$ , $1 + 2 p = 5$ より $J = \frac{4 ( 5 - 5 )}{2 5} = 2 (5 - 1) = 4 p$ となり一致する。

よって最小値は
$4 p = 25 - 2.$

別解

価値関数を $V (x) = p x^{2}$ と置く。割引率 1 の HJB 方程式は $V (x) = min_{u} {x^{2} + u^{2} + V^{'} (x) u}$ 。 $V^{'} = 2 p x$ より $u^{*} = - p x$ 。代入すると $p x^{2} = x^{2} + p^{2} x^{2} - 2 p^{2} x^{2} = (1 - p^{2}) x^{2}$ なので $p^{2} + p - 1 = 0$ 、 $V \geq 0$ より $p = \frac{5 - 1}{2}$ 。

閉ループ: $x ˙ = - p x$ 、 $x = 2 e^{- pt}$ 、 $u = - 2 p e^{- pt}$ 。このとき $J = \int_{0}^{\infty} e^{- t} (4 + 4 p^{2}) e^{- 2 pt} d t = \frac{4 ( 1 + p ^{2} )}{1 + 2 p}$ 。 $p^{2} = 1 - p$ を用いると $1 + p^{2} = 2 - p$ 、 $1 + 2 p = 5$ 。 $\frac{4 ( 2 - p )}{5}$ 、 $2 - p = \frac{5 - 5}{2}$ より $J = \frac{2 ( 5 - 5 )}{5} = 25 - 2$ 。これは $4 p = 2 (5 - 1)$ と一致する。

最適性（検証定理）: 任意の許容制御で $\frac{d}{d t} (e^{- t} p x^{2}) = e^{- t} (- p x^{2} + 2 p xu)$ であり、 $e^{- t} (x^{2} + u^{2}) + \frac{d}{d t} (e^{- t} p x^{2}) = e^{- t} {(1 - p) x^{2} + u^{2} + 2 p xu} = e^{- t} {(u + p x)^{2} + (1 - p - p^{2}) x^{2}} = e^{- t} (u + p x)^{2} \geq 0$ 。積分すると $J [u] - 4 p + lim e^{- T} p x (T)^{2} \geq 0$ 。 $J$ 有限なら $lim inf_{T \to \infty} e^{- T} x (T)^{2} = 0$ が成り立つので（ $\int e^{- t} x^{2} < \infty$ ）、 $J [u] \geq 4 p$ 。最小値は $25 - 2 \approx 2.472$ 。

変分法・最適制御の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題