変分法・最適制御の問題

難易度 2大学院の講義の演習問題レベル証明問題大学院数学変分法・最適制御

$T > 0$ を定数とし、 $0 \leq t < T$ , $x_{0} \in R$ とする。区間 $[t, T]$ 上の実数値区分的連続関数（有限個の点を除いて連続で、各不連続点で左右の極限が有限であるもの）全体を $U_{t}$ とする。 $u \in U_{t}$ に対し、状態 $x : [t, T] \to R$ を
$x (s) = x_{0} + \int_{t}^{s} u (r) d r (t \leq s \leq T)$
で定め（すなわち $x ˙ = u$ , $x (t) = x_{0}$ ）、評価関数を
$J_{t} (x_{0}; u) = \int_{t}^{T} (x (s)^{2} + u (s)^{2}) d s$
とする。このとき
$u \in U_{t} min J_{t} (x_{0}; u) = x_{0}^{2} tanh (T - t)$
が成り立つ（左辺の最小値が存在して右辺に等しい）ことを、関数 $V (s, x) = x^{2} tanh (T - s)$ がハミルトン・ヤコビ・ベルマン方程式を満たすことを用いて証明せよ。

この問題で使うもの

動的計画法とハミルトン・ヤコビ・ベルマン方程式（説明と入口の問題）
線形 2 次（LQ）制御とリカッチ方程式（説明と入口の問題）

この問題を解けるようになるまで（73 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

検証定理の方針をとります。 $V$ が HJB 方程式と終端条件を満たすことを確かめ、任意の制御について $s \mapsto V (s, x (s))$ を微分して評価関数と比べましょう。

ヒント 2

$p (s) = tanh (T - s)$ は $p^{'} = p^{2} - 1$ , $p (T) = 0$ を満たします。 $x^{2} + u^{2} + 2 p xu = (u + p x)^{2} + (1 - p^{2}) x^{2}$ と平方完成するのが鍵です。

ヒント 3

任意の $u$ について、 $u$ の不連続点で区切った各小区間で $x^{2} + u^{2} + \frac{d}{d s} V (s, x (s)) = (u + p (s) x)^{2}$ が成り立ちます。これを $[t, T]$ で積分すると $J_{t}$ と $V (t, x_{0})$ の関係が得られます。

採点の観点と模範解答

自分で証明を書いてから、採点の観点で見比べてください。

採点の観点を見る

$p (s) = tanh (T - s)$ が $p^{'} = p^{2} - 1$ , $p (T) = 0$ を満たすことを計算している（2 点）
$x^{2} + u^{2} + V_{x} u$ を $u$ について平方完成し、最小値と最小点 $u = - p (s) x$ を求めて、 $V$ が HJB 方程式と終端条件を満たすことを確かめている（2 点）
任意の許容制御について $\frac{d}{d s} V (s, x (s))$ を連鎖律で計算し、 $x^{2} + u^{2} + \frac{d}{d s} V (s, x (s)) = (u + p x)^{2}$ を導いている（2 点）
区分的連続性に注意して積分し、 $J_{t} (x_{0}; u) = x_{0}^{2} tanh (T - t) + \int_{t}^{T} (u + p x)^{2} d s \geq x_{0}^{2} tanh (T - t)$ を得ている（2 点）
フィードバック $u = - p (s) x$ に対応する軌道（ $x^{*} (s) = x_{0} cosh (T - s) / cosh (T - t)$ など）が許容制御であり等号を与えることを示し、最小値の存在と値を結論している（2 点）

結果を記録する（このブラウザにだけ保存されます）:

模範解答を読む

$p (s) = tanh (T - s)$ $(0 \leq s \leq T)$ とおき、 $V (s, x) = p (s) x^{2}$ とする。 $p$ は $C^{\infty}$ 級で、 $p (T) = 0$ 、
$p^{'} (s) = - \frac{1}{cosh ^{2} ( T - s )} = - (1 - tanh^{2} (T - s)) = p (s)^{2} - 1. (1)$

ステップ 1: $V$ は HJB 方程式を満たす. この問題の HJB 方程式は
$V_{s} (s, x) + u \in R min {x^{2} + u^{2} + V_{x} (s, x) u} = 0, V (T, x) = 0$
である。 $V_{x} = 2 p (s) x$ なので、各 $(s, x)$ で
$x^{2} + u^{2} + 2 p (s) xu = (u + p (s) x)^{2} + (1 - p (s)^{2}) x^{2} (2)$
と平方完成でき、 $u$ についての最小値は $u = - p (s) x$ のとき $(1 - p (s)^{2}) x^{2}$ である。一方 $(1)$ より $V_{s} = p^{'} (s) x^{2} = - (1 - p (s)^{2}) x^{2}$ 。よって $V_{s} + min_{u} {\dots} = 0$ が成り立ち、終端条件 $V (T, x) = p (T) x^{2} = 0$ も成り立つ。

ステップ 2: 下からの評価（検証定理）. 任意の $u \in U_{t}$ をとり、対応する状態を $x (s)$ とする。 $u$ は区分的連続なので、 $x$ は $[t, T]$ 上連続で、 $u$ の不連続点 $t = s_{0} < s_{1} < \dots < s_{m} = T$ で区切った各開区間 $(s_{k - 1}, s_{k})$ 上で $C^{1}$ 級、 $x ˙ = u$ である（微分積分学の基本定理）。 $φ (s) = V (s, x (s))$ とおくと $φ$ は $[t, T]$ 上連続で、各 $(s_{k - 1}, s_{k})$ 上で連鎖律により
$φ^{'} (s) = V_{s} (s, x (s)) + V_{x} (s, x (s)) u (s) = p^{'} (s) x^{2} + 2 p (s) xu .$
これと $(1)$ , $(2)$ より、各小区間上で
$x^{2} + u^{2} + φ^{'} (s) = x^{2} + u^{2} + 2 p xu + (p^{2} - 1) x^{2} = (u + p x)^{2} . (3)$
$φ^{'}$ は各小区間上で端点まで有界に延長できる（ $u$ が各端点で有限な片側極限をもつ）ので、各 $[s_{k - 1}, s_{k}]$ で $\int_{s_{k - 1}}^{s_{k}} φ^{'} d s = φ (s_{k}) - φ (s_{k - 1})$ が成り立ち、 $k$ について足すと $\int_{t}^{T} φ^{'} d s = φ (T) - φ (t)$ 。よって $(3)$ を $[t, T]$ で積分して
$J_{t} (x_{0}; u) + V (T, x (T)) - V (t, x_{0}) = \int_{t}^{T} (u (s) + p (s) x (s))^{2} d s .$
$V (T, x (T)) = 0$ , $V (t, x_{0}) = x_{0}^{2} tanh (T - t)$ だから
$J_{t} (x_{0}; u) = x_{0}^{2} tanh (T - t) + \int_{t}^{T} (u + p x)^{2} d s \geq x_{0}^{2} tanh (T - t) . (4)$

ステップ 3: 下限の達成. フィードバック $u = - p (s) x$ に対応する軌道として
$x^{*} (s) = x_{0} \frac{cosh ( T - s )}{cosh ( T - t )}, u^{*} (s) = - p (s) x^{*} (s) = - x_{0} \frac{sinh ( T - s )}{cosh ( T - t )}$
をとる。 $u^{*}$ は $[t, T]$ 上連続なので $u^{*} \in U_{t}$ 。また $x^{*} (t) = x_{0}$ かつ $\frac{d}{d s} x^{*} (s) = - x_{0} \frac{sinh ( T - s )}{cosh ( T - t )} = u^{*} (s)$ なので、 $x^{*} (s) = x_{0} + \int_{t}^{s} u^{*} (r) d r$ 、すなわち $x^{*}$ は $u^{*}$ に対応する状態である。このとき $u^{*} + p x^{*} \equiv 0$ だから、 $(4)$ より $J_{t} (x_{0}; u^{*}) = x_{0}^{2} tanh (T - t)$ 。

結論. $(4)$ よりすべての $u \in U_{t}$ で $J_{t} (x_{0}; u) \geq x_{0}^{2} tanh (T - t)$ であり、 $u^{*} \in U_{t}$ で等号が成り立つ。したがって最小値が存在して
$u \in U_{t} min J_{t} (x_{0}; u) = x_{0}^{2} tanh (T - t)$
である。 $■$

この問題の確認

AI が作成した問題です。公開前に次の確認を行いました。

別の AI が模範解答を見ずに 3 回証明を試み、3 回証明できました
2 つの AI が独立に、模範解答の証明を 1 ステップずつ確かめました
AI の査読で、条件・解説・表記を確認しました
答えの正しさについて慎重に扱うべき点が見つからなかったため、自動で公開しました

確認の方法について

間違いを報告する

この問題の誤り・分かりにくい点・難易度や学年のずれを知らせる