割引つき無限時間の HJB 方程式

割引率 $ρ$ の無限時間問題で定常な HJB 方程式 $ρ V = min_{u} {ℓ (x, u) + V^{'} (x) f (x, u)}$ を立て、 $V = p x^{2}$ を代入した代数リカッチ方程式の正の解（許容性に合うもの）を選んで、 $V (x_{0})$ を求められる

前提

線形 2 次（LQ）制御とリカッチ方程式（大学院数学変分法・最適制御）
2次方程式の解の公式と判別式（数学I 2次関数）

この技能までの道筋（77 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
偏微分と全微分（大学数学微分積分）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
条件付き確率と乗法定理（数学A 場合の数と確率）
マルコフ連鎖と推移確率（大学数学確率・統計）
無限等比級数と無限級数（数学III 極限）
三角形の角の大きさ（算数平面図形）
対頂角と平行線の同位角・錯角（中学数学平面図形）
三角形の外角と角の組み合わせ（中学数学平面図形）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
二等辺三角形の角（中学数学平面図形）
平行四辺形と特別な四角形の性質（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
折り返した図形の角と長さ（中学数学平面図形）
三平方の定理と平面図形（中学数学相似と三平方の定理）
ベクトルの演算と成分（数学C ベクトル）
行列の和・積と 2 次の逆行列（大学数学線形代数）
掃き出し法と連立 1 次方程式（大学数学線形代数）
マルコフ決定過程と方策の価値（大学数学オペレーションズ・リサーチ）
ベルマン最適方程式と最適価値（大学数学オペレーションズ・リサーチ）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
動的計画法とハミルトン・ヤコビ・ベルマン方程式（大学院数学変分法・最適制御）
多項式の不定積分（数学II 微分法と積分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
分数関数の積分（部分分数分解）（数学III 積分法）
変数分離形（大学数学微分方程式）
線形 2 次（LQ）制御とリカッチ方程式（大学院数学変分法・最適制御）
分母の有理化（中学数学数と式）
乗法公式・分配法則を使う根号の式の展開（中学数学数と式）
根号を含む式の計算と分母の有理化（数学I 数と式）
2次方程式の解の公式と判別式（数学I 2次関数）

説明

割引率 $ρ > 0$ をもつ無限時間の最適制御問題 $V (x_{0}) = u in f \int_{0}^{\infty} e^{- ρt} ℓ (x, u) d t$ （ $x ˙ = f (x, u)$ , $x (0) = x_{0}$ ）では、価値関数 $V$ が時刻によらない関数になり、HJB 方程式は $t$ を含まない常微分の形 $ρ V = min_{u} {ℓ (x, u) + V^{'} (x) f (x, u)}$ になります。線形の状態方程式と 2 次の評価関数なら $V = p x^{2}$ とおくことで、これが $p$ の 2 次方程式（代数リカッチ方程式）に変わります。その解のうち問題に合う正の解を選べば、最小値 $V (x_{0}) = p x_{0}^{2}$ と最適なフィードバック制御が一度に求まります。経済成長モデルや、定常的に運転する制御系の設計で使う考え方です。

なぜそうしてよいのか

時刻 $0$ から始める問題と、時刻 $s$ から同じ状態で始めて $e^{- ρ (t - s)}$ で割り引く問題は、時間をずらしただけで全く同じです（終わりの時刻がなく、割引の重みも比で決まるため）。だから価値関数は時刻によらない $V (x)$ です。動的計画法の考え方で、最初の短い時間 $h$ だけ制御 $u$ を使い、その後は最適に動くとすると
$V (x) = u min {ℓ (x, u) h + e^{- ρ h} V (x + f (x, u) h)} + (h より高次)$
です。 $e^{- ρ h} = 1 - ρ h + \dots$ 、 $V (x + f h) = V (x) + V^{'} (x) f h + \dots$ を代入して $V (x)$ を両辺から引き、 $h$ で割って $h \to 0$ とすると $0 = min_{u} {ℓ + V^{'} f - ρ V}$ 、すなわち $ρ V = min_{u} {ℓ + V^{'} f}$ が得られます。有限時間の HJB 方程式の $V_{t}$ の項が、割引によって $- ρ V$ に置き換わったと見ることができます。

この方程式は微分方程式なので、終端条件がない分だけ解が複数出ます。 $x ˙ = a x + b u$ , $ℓ = q x^{2} + r u^{2}$ （ $q, r > 0$ ）で $V = p x^{2}$ とおくと 2 次方程式が得られ、一般に正と負の解が 1 つずつ出ます。どちらを選ぶかは次の考察で決まります。(i) $ℓ \geq 0$ だから $V \geq 0$ でなければならず、負の解は不適。(ii) 正の解 $p$ に対し、 $e^{- ρt} V (x (t)) \to 0$ となる任意の制御で $\frac{d}{d t} (e^{- ρt} V (x)) = e^{- ρt} (V^{'} f - ρ V) \geq - e^{- ρt} ℓ$ が HJB 方程式から成り立ち、 $0$ から $\infty$ まで積分すると $V (x_{0}) \leq \int_{0}^{\infty} e^{- ρt} ℓ d t$ となります。最小を与える $u$ をフィードバックとして使えば等号が成り立ちます。したがって、その最適フィードバックのもとで $e^{- ρt} x (t)^{2} \to 0$ （許容性）が確かめられれば、 $V (x_{0}) = p x_{0}^{2}$ が本当の最小値です。

手順

定常な HJB 方程式 $ρ V = min_{u} {ℓ (x, u) + V^{'} (x) f (x, u)}$ を書く
$V = p x^{2}$ （ $V^{'} = 2 p x$ ）を代入し、右辺の $u$ についての最小化を平方完成または微分で行って、最適な $u$ を $x$ の 1 次式で表す
最小値を代入して両辺の $x^{2}$ の係数を比べ、 $p$ の 2 次方程式（代数リカッチ方程式）を得る
解の公式で解き、 $V \geq 0$ に合う正の解を選ぶ。その最適フィードバックで閉ループ系 $x ˙ = k x$ を作り、 $e^{- ρt} x (t)^{2} \to 0$ （ $2 k - ρ < 0$ ）を確かめる
最小値 $V (x_{0}) = p x_{0}^{2}$ を計算する

例題

状態方程式 $x ˙ = x + u$ 、初期値 $x (0) = 2$ のもとで、制御 $u (t)$ を選んで
$J = \int_{0}^{\infty} e^{- t} (x^{2} + u^{2}) d t$
を最小にする（ただし $e^{- t} x (t)^{2} \to 0$ $(t \to \infty)$ となる制御のみを考える）。 $J$ の最小値を求めよ。

例題の解答

【手順 1】 $ρ = 1$ , $ℓ = x^{2} + u^{2}$ , $f = x + u$ なので、HJB 方程式は $V = min_{u} {x^{2} + u^{2} + V^{'} (x) (x + u)}$ 。

【手順 2】 $V = p x^{2}$ とおくと $V^{'} = 2 p x$ 。右辺は $x^{2} + u^{2} + 2 p x (x + u) = (u + p x)^{2} + (1 + 2 p - p^{2}) x^{2}$ と平方完成でき、 $u = - p x$ で最小値 $(1 + 2 p - p^{2}) x^{2}$ をとる。

【手順 3】 $p x^{2} = (1 + 2 p - p^{2}) x^{2}$ がすべての $x$ で成り立つので $p^{2} - p - 1 = 0$ 。

【手順 4】解の公式より $p = \frac{1 \pm 5}{2}$ 。 $V \geq 0$ より負の解 $\frac{1 - 5}{2}$ は不適で、 $p = \frac{1 + 5}{2}$ 。このとき閉ループ系は $x ˙ = (1 - p) x = \frac{1 - 5}{2} x$ で、 $e^{- t} x (t)^{2} = 4 e^{(- 5) t} \to 0$ となり許容性を満たす（実際 $2 (1 - p) - 1 = - 5 < 0$ ）。

【手順 5】最小値は $V (2) = p \cdot 2^{2} = 4 \cdot \frac{1 + 5}{2} = 2 + 25$ 。

答え: $2 + 25$

よくある誤り

割引の項を落として $0 = min_{u} {ℓ + V^{'} f}$ としてしまう誤り。例題では $p^{2} - 2 p - 1 = 0$ となり $p = 1 + 2$ が出てしまう。正しくは左辺に $ρ V$ があり、 $p = 1 + 2 p - p^{2}$ すなわち $p^{2} - p - 1 = 0$ 。
2 次方程式の負の解 $p = \frac{1 - 5}{2}$ を選んでしまう誤り。 $ℓ \geq 0$ なので $V \geq 0$ でなければならない。正しくは正の解 $p = \frac{1 + 5}{2}$ を選び、閉ループで $e^{- ρt} x^{2} \to 0$ を確かめる。
$V = p x^{2}$ の微分を $V^{'} = p x$ としてしまう誤り。すると最適制御が $u = - \frac{p}{2} x$ になり、方程式がずれる。正しくは $V^{'} = 2 p x$ で、 $u = - p x$ （一般に $u = - \frac{b p}{r} x$ ）。
最小値として $p$ をそのまま答えてしまう誤り。 $p$ は $x_{0} = 1$ のときの値で、正しくは $V (x_{0}) = p x_{0}^{2}$ 、例題では $4 p = 2 + 25$ 。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

難易度 1（大学院の講義の例題レベル）
実数値の状態 $x (t)$ と制御 $u (t)$ を考える。 $u$ は $[0, \infty)$ 上の実数値関数で、任意の有界区間上で区分的に連続であるとする。状態方程式と初期条件を
$x ˙ (t) = - x (t) + u (t) (t \geq 0), x (0) = 3$
とし、割引率 $1$ の評価関数
$J [u] = \int_{0}^{\infty} e^{- t} (4 x (t)^{2} + u (t)^{2}) d t$
を考える。ただし許容される制御は、 $J [u]$ が有限で、かつ $t \to \infty lim e^{- t} x (t)^{2} = 0$ をみたすものとする。許容される制御全体での $J [u]$ の最小値を求めよ。

割引つき無限時間の HJB 方程式

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題

この技能を使う問題