線形 2 次（LQ）制御とリカッチ方程式

線形の状態方程式と 2 次の評価関数について、 $V (t, x) = p (t) x^{2}$ を HJB 方程式に代入してスカラーのリカッチ方程式（例: $p ˙ = p^{2} - 2 p$ ）を導き、終端条件から $p (t)$ を解いて最小値 $p (0) x_{0}^{2}$ を求められる

前提

動的計画法とハミルトン・ヤコビ・ベルマン方程式（大学院数学変分法・最適制御）
変数分離形（大学数学微分方程式）

この技能までの道筋（72 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
偏微分と全微分（大学数学微分積分）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
条件付き確率と乗法定理（数学A 場合の数と確率）
マルコフ連鎖と推移確率（大学数学確率・統計）
無限等比級数と無限級数（数学III 極限）
三角形の角の大きさ（算数平面図形）
対頂角と平行線の同位角・錯角（中学数学平面図形）
三角形の外角と角の組み合わせ（中学数学平面図形）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
二等辺三角形の角（中学数学平面図形）
平行四辺形と特別な四角形の性質（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
折り返した図形の角と長さ（中学数学平面図形）
三平方の定理と平面図形（中学数学相似と三平方の定理）
ベクトルの演算と成分（数学C ベクトル）
行列の和・積と 2 次の逆行列（大学数学線形代数）
掃き出し法と連立 1 次方程式（大学数学線形代数）
マルコフ決定過程と方策の価値（大学数学オペレーションズ・リサーチ）
ベルマン最適方程式と最適価値（大学数学オペレーションズ・リサーチ）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
動的計画法とハミルトン・ヤコビ・ベルマン方程式（大学院数学変分法・最適制御）
多項式の不定積分（数学II 微分法と積分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
分数関数の積分（部分分数分解）（数学III 積分法）
変数分離形（大学数学微分方程式）

説明

状態方程式が線形 $x ˙ = a x + b u$ で、評価関数が 2 次 $\int_{0}^{T} (q x^{2} + r u^{2}) d t + s x (T)^{2}$ （ $r > 0$ , $q \geq 0$ , $s \geq 0$ ）の最適制御問題（LQ 問題）を、HJB 方程式から常微分方程式 1 本に帰着して解けるようになります。値関数を $V (t, x) = p (t) x^{2}$ とおくと、偏微分方程式である HJB 方程式が $p (t)$ についてのリカッチ方程式 $p ˙ = \frac{b ^{2}}{r} p^{2} - 2 a p - q$ , $p (T) = s$ に変わります。これを解けば、最小値 $p (0) x_{0}^{2}$ と最適なフィードバック制御 $u^{*} = - \frac{b}{r} p (t) x$ が同時に得られます。

なぜそうしてよいのか

なぜ $V$ を $p (t) x^{2}$ の形と見込んでよいのかを考えます。時刻 $t$ に状態 $ξ$ から出発し、制御 $u (\cdot)$ で軌道 $x (\cdot)$ が得られたとします。初期状態を $k ξ$ に変え、制御を $k u (\cdot)$ にすると、方程式が線形なので軌道はちょうど $k x (\cdot)$ になり、評価関数は 2 次なので値は $k^{2}$ 倍になります。この対応は $k \neq = 0$ なら制御全体の上で 1 対 1（逆の対応は $1/ k$ 倍）なので、最小値も $V (t, k ξ) = k^{2} V (t, ξ)$ を満たします（ $u \equiv 0$ で費用は有限、費用は非負なので $V$ は有限で $0$ 以上です）。 $ξ = 1$ とおけば $k \neq = 0$ に対して $V (t, k) = k^{2} V (t, 1)$ です。 $x = 0$ のときは、 $u \equiv 0$ とすれば $x \equiv 0$ のままで費用は $0$ 、費用はつねに $0$ 以上なので $V (t, 0) = 0$ です。以上をまとめて、すべての $x$ で $V (t, x) = p (t) x^{2}$ （ $p (t) = V (t, 1)$ ）と書けます。

実際にこの形を HJB 方程式 $V_{t} + min_{u} {q x^{2} + r u^{2} + V_{x} (a x + b u)} = 0$ に代入すると、 $V_{t} = p ˙ x^{2}$ , $V_{x} = 2 p x$ です。括弧内は $u$ の 2 次式 $r u^{2} + 2 b p x u + (q + 2 a p) x^{2}$ で、 $r > 0$ なので平方完成により $u = - \frac{b p}{r} x$ で最小値 $(q + 2 a p - \frac{b ^{2} p ^{2}}{r}) x^{2}$ をとります。よって HJB 方程式は $(p ˙ + q + 2 a p - \frac{b ^{2}}{r} p^{2}) x^{2} = 0$ となり、すべての $x$ で成り立つ条件は $x^{2}$ の係数が 0 になることです。終端条件 $V (T, x) = s x^{2}$ は $p (T) = s$ になります。こうして、 $x$ を含まない $p$ だけの微分方程式（リカッチ方程式）が得られます。

逆に、 $[0, T]$ 全体で定義されたリカッチ方程式の解 $p$ （ $p (T) = s$ ）が見つかれば、それで本当に最小値が求まることを直接確かめられます。任意の制御 $u (\cdot)$ （たとえば区分的に連続なもの）とその軌道 $x (\cdot)$ （ $x (0) = x_{0}$ ）について、 $x ˙ = a x + b u$ とリカッチ方程式を使うと $\frac{d}{d t} (p x^{2}) = p ˙ x^{2} + 2 p x (a x + b u) = \frac{b ^{2}}{r} p^{2} x^{2} - q x^{2} + 2 b p xu .$ 一方 $r (u + \frac{b}{r} p x)^{2} = r u^{2} + 2 b p xu + \frac{b ^{2}}{r} p^{2} x^{2}$ なので、右辺は $- (q x^{2} + r u^{2}) + r (u + \frac{b}{r} p x)^{2}$ に等しくなります。これを $0$ から $T$ まで積分し、 $p (T) = s$ を使うと $s x (T)^{2} - p (0) x_{0}^{2} = - \int_{0}^{T} (q x^{2} + r u^{2}) d t + \int_{0}^{T} r (u + \frac{b}{r} p x)^{2} d t,$ すなわち $J [u] = \int_{0}^{T} (q x^{2} + r u^{2}) d t + s x (T)^{2} = p (0) x_{0}^{2} + \int_{0}^{T} r (u + \frac{b}{r} p x)^{2} d t$ です。 $r > 0$ より最後の積分は $0$ 以上なので、どの制御でも $J [u] \geq p (0) x_{0}^{2}$ で、等号は $u = - \frac{b}{r} p (t) x (t)$ のとき（このとき軌道は線形方程式 $x ˙ = (a - \frac{b ^{2}}{r} p (t)) x$ の解として $[0, T]$ 全体で定まります）に成り立ちます。したがって最小値は $p (0) x_{0}^{2}$ 、最適なフィードバック制御は $u^{*} = - \frac{b}{r} p (t) x$ です。

手順

状態方程式 $x ˙ = a x + b u$ と評価関数 $\int_{0}^{T} (q x^{2} + r u^{2}) d t + s x (T)^{2}$ から $a, b, q, r, s$ を読み取り、 $r > 0$ を確認する。
$V (t, x) = p (t) x^{2}$ とおき、 $V_{t} = p ˙ x^{2}$ , $V_{x} = 2 p x$ を HJB 方程式に代入する。
括弧内を $u$ について平方完成して最小化し、 $u^{*} = - \frac{b}{r} p x$ と最小値 $(q + 2 a p - \frac{b ^{2}}{r} p^{2}) x^{2}$ を求める。
$x^{2}$ の係数を 0 とおいてリカッチ方程式 $p ˙ = \frac{b ^{2}}{r} p^{2} - 2 a p - q$ と終端条件 $p (T) = s$ を立てる。
変数分離（必要なら部分分数分解）でリカッチ方程式を解き、終端条件で積分定数を決める。解が $[0, T]$ 全体で定義されていることを確かめる。
関係式 $J [u] = p (0) x_{0}^{2} + \int_{0}^{T} r (u + \frac{b}{r} p x)^{2} d t$ により、最小値が $V (0, x_{0}) = p (0) x_{0}^{2}$ であることを確認して計算する。

例題

状態方程式 $x ˙ = u$ , $x (0) = 2$ のもとで、評価関数 $J = \int_{0}^{l o g 2} (x^{2} + u^{2}) d t$ の最小値を求めよ（終端に費用はなく、 $u$ は区分的に連続な実数値関数とする）。

例題の解答

【手順 1】 $a = 0$ , $b = 1$ , $q = 1$ , $r = 1$ , $s = 0$ , $T = lo g 2$ 。 $r = 1 > 0$ 。

【手順 2】 $V (t, x) = p (t) x^{2}$ とおくと、HJB 方程式は $p ˙ x^{2} + u min {x^{2} + u^{2} + 2 p x u} = 0.$

【手順 3】 $u^{2} + 2 p xu = (u + p x)^{2} - p^{2} x^{2}$ より、 $u^{*} = - p x$ で最小値 $x^{2} - p^{2} x^{2}$ 。

【手順 4】 $(p ˙ + 1 - p^{2}) x^{2} = 0$ がすべての $x$ で成り立つので $p ˙ = p^{2} - 1, p (lo g 2) = 0.$

【手順 5】 $p (lo g 2) = 0$ なので、 $lo g 2$ の近くでは $∣ p ∣ < 1$ 。そこで $\frac{d p}{p ^{2} - 1} = d t$ と分離し、 $\frac{1}{p ^{2} - 1} = \frac{1}{2} (\frac{1}{p - 1} - \frac{1}{p + 1})$ を使って積分すると $\frac{1}{2} lo g \frac{1 - p}{1 + p} = t + C .$ $t = lo g 2$ , $p = 0$ を代入して $C = - lo g 2$ 。よって $\frac{1 - p}{1 + p} = e^{2 (t - l o g 2)} = \frac{e ^{2 t}}{4}$ で、 $p (t) = \frac{4 - e ^{2 t}}{4 + e ^{2 t}} .$ これは $[0, lo g 2]$ 全体で定義され（分母は正）、 $0 \leq p < 1$ を満たす。実際、 $E = e^{2 t}$ とおくと $p ˙ = \frac{- 16 E}{( 4 + E ) ^{2}}$ 、 $p^{2} - 1 = \frac{( 4 - E ) ^{2} - ( 4 + E ) ^{2}}{( 4 + E ) ^{2}} = \frac{- 16 E}{( 4 + E ) ^{2}}$ で、確かに $p ˙ = p^{2} - 1$ の解である。

【手順 6】この $p$ について、idea の関係式（ $a = 0, b = r = q = 1, s = 0$ ）から、どの制御 $u$ に対しても $J = p (0) x (0)^{2} + \int_{0}^{l o g 2} (u + p (t) x)^{2} d t \geq p (0) \cdot 2^{2}$ が成り立ち、等号は $u^{*} = - p (t) x$ のときに成り立つ。 $p (0) = \frac{4 - 1}{4 + 1} = \frac{3}{5}$ なので、最小値は $V (0, 2) = \frac{3}{5} \cdot 4 = \frac{12}{5} .$

答え: $\frac{12}{5}$

よくある誤り

$V_{x} = 2 p x$ の係数 2 を落として $V_{x} = p x$ としてしまう誤り。すると $u^{*} = - \frac{b}{2 r} p x$ やリカッチ方程式 $p ˙ = \frac{b ^{2}}{4 r} p^{2} - a p - q$ のような誤った式になる。正しくは $V_{x} = 2 p x$ で、 $u^{*} = - \frac{b}{r} p x$ , $p ˙ = \frac{b ^{2}}{r} p^{2} - 2 a p - q$ 。
最小化した値の符号を誤り、 $min_{u} {r u^{2} + 2 b p xu} = + \frac{b ^{2} p ^{2}}{r} x^{2}$ としてしまう誤り。正しくは平方完成 $r (u + \frac{b p}{r} x)^{2} - \frac{b ^{2} p ^{2}}{r} x^{2}$ より最小値は $- \frac{b ^{2} p ^{2}}{r} x^{2}$ で、これが移項されて $p ˙$ の式では $+ \frac{b ^{2}}{r} p^{2}$ になる。
条件を初期時刻に置いて $p (0) = s$ としてしまう誤り。値関数の条件は終端時刻の $V (T, x) = s x^{2}$ なので、正しくは $p (T) = s$ を使い、時間を逆向きにたどって $p (0)$ を求める。例題で $p (0) = 0$ とすると答えを誤る。
最小値として $p (0)$ だけ、あるいは $p (T) x_{0}^{2}$ を答えてしまう誤り。正しくは初期時刻・初期状態での値関数 $V (0, x_{0}) = p (0) x_{0}^{2}$ 。例題では $\frac{3}{5}$ ではなく $\frac{3}{5} \cdot 2^{2} = \frac{12}{5}$ 。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

難易度 1（大学院の講義の例題レベル）
$T = \frac{1}{2} lo g 2$ とする。実数値の状態 $x (t)$ と制御 $u (t)$ （ $u$ は $[0, T]$ 上の区分的に連続な実数値関数）について、状態方程式
$x ˙ (t) = - x (t) + u (t) (0 \leq t \leq T), x (0) = 5$
のもとで、評価関数
$J [u] = \int_{0}^{T} u (t)^{2} d t + x (T)^{2}$
を考える。 $J [u]$ の最小値を求めよ。

この技能を使う問題

この技能の次に学べること

割引つき無限時間の HJB 方程式（大学院数学変分法・最適制御）
確率最適制御の HJB 方程式（大学院数学変分法・最適制御）