確率最適制御の HJB 方程式

$d X = f (X, u) d t + σ d W$ の制御問題で、伊藤の公式から 2 階の項 $\frac{σ ^{2}}{2} V_{xx}$ を含む HJB 方程式を立て、 $V = p (t) x^{2} + q (t)$ を代入してリカッチ方程式と $q$ の方程式を解き、コストの下限を求められる

前提

線形 2 次（LQ）制御とリカッチ方程式（大学院数学変分法・最適制御）
伊藤の公式（大学院数学確率解析）

この技能までの道筋（127 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
偏微分と全微分（大学数学微分積分）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
条件付き確率と乗法定理（数学A 場合の数と確率）
マルコフ連鎖と推移確率（大学数学確率・統計）
無限等比級数と無限級数（数学III 極限）
三角形の角の大きさ（算数平面図形）
対頂角と平行線の同位角・錯角（中学数学平面図形）
三角形の外角と角の組み合わせ（中学数学平面図形）
小数と分数のまじった計算（算数計算と数のきまり）
逆算（□ を求める）（算数計算と数のきまり）
1 次方程式の解き方（中学数学方程式）
二等辺三角形の角（中学数学平面図形）
平行四辺形と特別な四角形の性質（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
三平方の定理（中学数学相似と三平方の定理）
折り返した図形の角と長さ（中学数学平面図形）
三平方の定理と平面図形（中学数学相似と三平方の定理）
ベクトルの演算と成分（数学C ベクトル）
行列の和・積と 2 次の逆行列（大学数学線形代数）
掃き出し法と連立 1 次方程式（大学数学線形代数）
マルコフ決定過程と方策の価値（大学数学オペレーションズ・リサーチ）
ベルマン最適方程式と最適価値（大学数学オペレーションズ・リサーチ）
比例・反比例の式とグラフ（中学数学関数）
関数 $y = a x^{2}$ の式と変域（中学数学関数）
平方完成と 2 次関数のグラフ（数学I 2次関数）
動的計画法とハミルトン・ヤコビ・ベルマン方程式（大学院数学変分法・最適制御）
多項式の不定積分（数学II 微分法と積分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
剰余の定理・因数定理と高次方程式（数学II 複素数と方程式）
分数関数の積分（部分分数分解）（数学III 積分法）
変数分離形（大学数学微分方程式）
線形 2 次（LQ）制御とリカッチ方程式（大学院数学変分法・最適制御）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き分布と全期待値の公式（大学数学確率・統計）
到達確率と平均到達時間（大学数学確率・統計）
単純ランダムウォークと反射原理（大学院数学確率論）
広義積分（大学数学微分積分）
ルベーグ積分の計算（大学院数学測度論・実解析）
単調収束定理・優収束定理（大学院数学測度論・実解析）
連続型確率変数と確率密度関数（数学B 統計的な推測）
一様分布・指数分布（大学数学確率・統計）
測度論的な期待値と収束定理（大学院数学確率論）
独立な試行と反復試行（数学A 場合の数と確率）
二項分布（数学B 統計的な推測）
2 次不等式（数学I 2次関数）
増減表と極値（数学II 微分法と積分法）
関数の連続性と中間値の定理（数学III 極限）
平均値の定理（数学III 微分法）
第 2 次導関数とグラフの凹凸（数学III 微分法）
増減・凹凸・漸近線とグラフ（数学III 微分法）
テイラー展開（大学数学微分積分）
べき級数と収束半径（大学数学微分積分）
幾何分布・ポアソン分布（大学数学確率・統計）
積率母関数（大学数学確率・統計）
複素数と 2 次方程式の虚数解（数学II 複素数と方程式）
オイラーの公式（大学数学微分積分）
特性関数（大学数学確率・統計）
特性関数の性質と反転公式（大学院数学確率論）
マルコフの不等式・チェビシェフの不等式（大学数学確率・統計）
正規分布と標準化（数学B 統計的な推測）
標本平均の分布（数学B 統計的な推測）
大数の弱法則（大学数学確率・統計）
多変数の連鎖律（大学数学微分積分）
重積分の変数変換とヤコビアン（大学数学微分積分）
ガウス積分（大学数学微分積分）
正規分布の密度と積率（大学数学確率・統計）
中心極限定理の使い方（大学数学確率・統計）
中心極限定理（特性関数による）（大学院数学確率論）
ブラウン運動（大学院数学確率論）
σ 加法族に関する条件付き期待値（大学院数学確率論）
マルチンゲール（大学院数学確率論）
伊藤積分と伊藤の等長性（大学院数学確率解析）
伊藤の公式（大学院数学確率解析）

説明

状態がノイズを受けて $d X_{t} = f (X_{t}, u_{t}) d t + σ d W_{t}$ （ $W$ はブラウン運動、 $σ$ は定数）と動くとき、期待コスト $E [\int_{0}^{T} ℓ (X_{t}, u_{t}) d t + ϕ (X_{T})]$ の下限（最小値）を求める方法を学びます。決定論的な HJB 方程式に、伊藤の公式から来る 2 階の項 $\frac{σ ^{2}}{2} V_{xx}$ が加わるのが要点です。線形 2 次の問題では $V = p (t) x^{2} + q (t)$ とおくと、 $p$ は決定論的な場合と同じリカッチ方程式、 $q$ はノイズによる上乗せコストを表す簡単な方程式に分かれます。ノイズのある系の制御、ポートフォリオ選択などで基本になる計算です。

なぜそうしてよいのか

まず、 $d X = f d t + σ d W$ に対する伊藤の公式を確かめます。 $V (t, X_{t})$ の微小変化をテイラー展開すると $d V = V_{t} d t + V_{x} d X + \frac{1}{2} V_{xx} (d X)^{2} + \dots$ で、 $(d W)^{2} = d t$ 、 $d t d W$ と $(d t)^{2}$ は高次とみなせるので $(d X)^{2} = σ^{2} d t$ 。よって
$d V (t, X_{t}) = (V_{t} + f V_{x} + \frac{σ ^{2}}{2} V_{xx}) d t + σ V_{x} d W_{t}$
です（ $f = 0, σ = 1$ なら前提の技能の公式そのもの）。ブラウン運動の揺れは平均すると打ち消し合っても、その 2 乗は $d t$ の大きさで必ず残るので、 $V$ が下に凸なら平均的に $V$ を押し上げます。これが $\frac{σ ^{2}}{2} V_{xx}$ です。

動的計画法では、時刻 $t$ ・状態 $x$ から先の最小期待コストを $V (t, x)$ とおき、短い時間 $h$ について $V (t, x) = min_{u} E [ℓ h + V (t + h, X_{t + h})]$ と考えます。上の式で $d W$ の項の期待値が 0 であることを使い、 $h$ で割って $h \to 0$ とすると、確率版の HJB 方程式
$V_{t} + u min {ℓ (x, u) + f (x, u) V_{x}} + \frac{σ ^{2}}{2} V_{xx} = 0, V (T, x) = ϕ (x)$
が出ます。逆に、この方程式の解 $V$ があれば、どんな制御についても伊藤の公式から $E [V (T, X_{T})] - V (0, x_{0}) = E \int_{0}^{T} (V_{t} + f V_{x} + \frac{σ ^{2}}{2} V_{xx}) d t \geq - E \int_{0}^{T} ℓ d t$ （確率積分の項の期待値は、 $E \int_{0}^{T} V_{x}^{2} d t < \infty$ なら伊藤の等長性から 0）となり、 $V (0, x_{0}) \leq E [\int_{0}^{T} ℓ d t + ϕ (X_{T})]$ です。右辺の最小化を実現するフィードバック制御では等号になるので、 $V (0, x_{0})$ がコストの下限であり最小値です。

線形 2 次の問題で $V = p (t) x^{2} + q (t)$ とおくと、 $V_{xx} = 2 p$ は $x$ によらない定数なので、2 階の項 $σ^{2} p$ は $x^{2}$ の係数には入らず定数項だけに入ります。そのため $p$ は決定論的な問題と全く同じリカッチ方程式を満たし（最適フィードバックもノイズによらない）、 $q$ は $q ˙ = - σ^{2} p$ , $q (T) = 0$ から $q (t) = σ^{2} \int_{t}^{T} p (s) d s$ と決まります。 $q$ がノイズの分だけ増えるコストです。

手順

確率版の HJB 方程式 $V_{t} + min_{u} {ℓ + f V_{x}} + \frac{σ ^{2}}{2} V_{xx} = 0$ 、終端条件 $V (T, x) = ϕ (x)$ を書く
$V = p (t) x^{2} + q (t)$ を代入する（ $V_{t} = p ˙ x^{2} + q ˙$ , $V_{x} = 2 p x$ , $V_{xx} = 2 p$ ）。 $u$ についての最小化を平方完成で行い、最適フィードバック $u$ を求める
$x^{2}$ の係数と定数項を比べて、リカッチ方程式（ $p$ ）と $q ˙ = - σ^{2} p$ を得る。終端条件は $ϕ$ から $p (T)$ と $q (T)$ を読み取る
リカッチ方程式を変数分離などで解いて $p (t)$ を求め、 $q (t) = q (T) + σ^{2} \int_{t}^{T} p (s) d s$ を計算する
コストの下限（最小値） $V (0, x_{0}) = p (0) x_{0}^{2} + q (0)$ を計算する

例題

$W$ を標準ブラウン運動とし、 $d X_{t} = u_{t} d t + d W_{t}$ 、 $X_{0} = 2$ とする。制御 $u_{t}$ をとり、期待コスト
$E [\int_{0}^{1} u_{t}^{2} d t + X_{1}^{2}]$
を最小にする（ $u_{t}$ は $E \int_{0}^{1} u_{t}^{2} d t < \infty$ を満たす、各時刻までの情報で決まる制御とする）。期待コストの最小値を求めよ。

例題の解答

【手順 1】 $ℓ = u^{2}$ , $f = u$ , $σ = 1$ , $ϕ (x) = x^{2}$ なので、HJB 方程式は $V_{t} + min_{u} {u^{2} + u V_{x}} + \frac{1}{2} V_{xx} = 0$ , $V (1, x) = x^{2}$ 。

【手順 2】 $V = p (t) x^{2} + q (t)$ とおくと $V_{x} = 2 p x$ , $V_{xx} = 2 p$ 。 $u^{2} + 2 p xu = (u + p x)^{2} - p^{2} x^{2}$ なので、最適制御は $u = - p (t) x$ 、最小値は $- p^{2} x^{2}$ 。代入すると
$p ˙ x^{2} + q ˙ - p^{2} x^{2} + p = 0.$

【手順 3】 $x^{2}$ の係数から $p ˙ = p^{2}$ 、定数項から $q ˙ = - p$ 。終端条件 $V (1, x) = x^{2}$ より $p (1) = 1$ , $q (1) = 0$ 。

【手順 4】 $p ˙ = p^{2}$ を変数分離して $- \frac{1}{p} = t + C$ 。 $p (1) = 1$ より $C = - 2$ 、よって $p (t) = \frac{1}{2 - t}$ （ $0 \leq t \leq 1$ で正で有限）。 $q (t) = \int_{t}^{1} \frac{d s}{2 - s} = lo g (2 - t)$ 、特に $q (0) = lo g 2$ 。

【手順 5】 $V (0, 2) = p (0) \cdot 2^{2} + q (0) = \frac{1}{2} \cdot 4 + lo g 2 = 2 + lo g 2$ 。最適制御は $u_{t} = - \frac{X _{t}}{2 - t}$ で、このとき等号が成り立つので、最小値は $2 + lo g 2$ （ノイズがなければ $2$ で、 $lo g 2$ がノイズによる上乗せ分）。

答え: $2 + lo g 2$

よくある誤り

2 階の項 $\frac{σ ^{2}}{2} V_{xx}$ を落として決定論的な HJB 方程式を使ってしまう誤り。すると $q \equiv 0$ となり、例題で $2$ と答えてしまう。正しくは伊藤の公式から $\frac{σ ^{2}}{2} V_{xx}$ が加わり、最小値は $2 + lo g 2$ 。
2 階の項の係数 $\frac{1}{2}$ を落として $σ^{2} V_{xx}$ としてしまう誤り。例題では $q ˙ = - 2 p$ 、 $q (0) = 2 lo g 2$ になってしまう。正しくは $(d X)^{2} = σ^{2} d t$ のテイラー展開の係数 $\frac{1}{2}$ が付き、 $\frac{σ ^{2}}{2} \cdot 2 p = σ^{2} p$ 。
$V = p (t) x^{2}$ だけを仮定してしまう誤り。定数項 $σ^{2} p$ がつり合わず方程式が成り立たない。正しくは $V = p (t) x^{2} + q (t)$ とおき、 $q ˙ = - σ^{2} p$ で定数項を処理する。
$q$ を初期時刻から積分して $q (t) = σ^{2} \int_{0}^{t} p (s) d s$ としてしまう誤り。条件は終端で与えられているので、正しくは $q (T) = 0$ から逆向きに $q (t) = σ^{2} \int_{t}^{T} p (s) d s$ 。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

難易度 1（大学院の講義の例題レベル）
確率空間上の 1 次元標準ブラウン運動 $W (t)$ と、それが生成するフィルトレーションを考える。実数値の制御 $u (t)$ $(0 \leq t \leq 1)$ はこのフィルトレーションに適合し、 $E [\int_{0}^{1} u (t)^{2} d t] < \infty$ をみたすものとする。状態 $X (t)$ は確率微分方程式
$d X (t) = u (t) d t + d W (t), X (0) = 2$
に従うとし、コスト
$J [u] = E [\int_{0}^{1} u (t)^{2} d t + X (1)^{2}]$
を考える。このような制御全体での $J [u]$ の最小値を求めよ。

この技能を使う問題

難易度 3（大学院入試の専門科目の標準レベル）
フィルター付き確率空間 $(Ω, F, (F_{t})_{t \geq 0}, P)$ 上の 1 次元標準ブラウン運動 $W (t)$ を考える。実数値の制御 $u (t)$ は $(F_{t})$ -発展的可測な過程で $E [\int_{0}^{2} u (t)^{2} d t] < \infty$ を満たすもの（許容制御）とし、状態 $X (t)$ は確率微分方程式 $d X (t) = u (t) d t + d W (t) (0 \leq t \leq 2), X (0) = 3$ に従うとする。コスト $J [u] = E [\int_{0}^{2} u (t)^{2} d t + X (2)^{2}]$ の、許容制御全体にわたる下限 $u in f J [u]$ を求めよ。