変分法・最適制御の問題
実数値の状態 と制御 ( は 上の区分的に連続な実数値関数で、値に制限はない)について、状態方程式
のもとで、評価関数
を最小にしたい。時刻 に状態 から出発したときの の最小値を値関数 とし、 の形であることを用いてよい。 の最小値を求めよ。
この問題で使うもの
- 動的計画法とハミルトン・ヤコビ・ベルマン方程式(説明と入口の問題)
この問題を解けるようになるまで(53 技能)
読み込み中…
右端(太枠)がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。
一覧で見る(前提が先)
- 分数のたし算・ひき算
- 小数の四則計算
- 正負の数の加法・減法
- 分数のかけ算・わり算
- 四則の混じった計算の順序
- 正負の数の乗除・累乗と四則混合
- 分配法則を使った計算のくふう
- 文字式の計算(同類項・分配法則)
- 乗法公式による展開
- 因数分解
- 3 次式までの展開と因数分解
- 微分係数と導関数の定義
- 多項式の微分
- 等間隔にならんだ数の和
- 等差・等比数列の和と Σ
- 数列の極限
- 関数の極限
- 積と商の微分
- 合成関数の微分
- 偏微分と全微分
- 樹形図で数え上げる
- 積の法則と和の法則
- 和の法則・積の法則と樹形図
- 順列・円順列・重複順列
- 組合せ
- 確率の定義と和事象・余事象
- 条件付き確率と乗法定理
- マルコフ連鎖と推移確率
- 無限等比級数と無限級数
- 三角形の角の大きさ
- 対頂角と平行線の同位角・錯角
- 三角形の外角と角の組み合わせ
- 小数と分数のまじった計算
- 逆算(□ を求める)
- 1 次方程式の解き方
- 二等辺三角形の角
- 平行四辺形と特別な四角形の性質
- 三角形・四角形の面積
- 約数の見つけ方
- 素因数分解と約数の個数
- 平方根の意味と根号の簡単化
- 三平方の定理
- 折り返した図形の角と長さ
- 三平方の定理と平面図形
- ベクトルの演算と成分
- 行列の和・積と 2 次の逆行列
- 掃き出し法と連立 1 次方程式
- マルコフ決定過程と方策の価値
- ベルマン最適方程式と最適価値
- 比例・反比例の式とグラフ
- 関数 の式と変域
- 平方完成と 2 次関数のグラフ
- 動的計画法とハミルトン・ヤコビ・ベルマン方程式
ヒント
行き詰まったら、上から順に 1 つずつ開いてください。
ヒント 1
技能「HJB 方程式」を使う。, を立てる。
ヒント 2
括弧の中を平方完成すると となり、 が得られる。
ヒント 3
を代入すると , 。 について考えると解ける。
答えと解説
答えを見る
どこでつまずきましたか?(選ぶと、戻る場所を案内します)
解説を読む
ハミルトン・ヤコビ・ベルマン(HJB)方程式を使う。
手順 1: HJB 方程式を立てる
, , 終端コスト だから
手順 2: 括弧の中を について最小化する
と平方完成すると、最小を与えるのは で、最小値は 。よって
手順 3: を代入する
, より 、すなわち
とおくと なので 。したがって
(このとき最適フィードバック制御は 。)
手順 4: 最小値を求める
だから
(確認: のもとで を解くと で、。このとき となり一致する。)
別解
ハミルトン・ヤコビ・ベルマン方程式: 、。 とおくと 。右辺の最小は のとき 。よって 、すなわち 、。 より 。。したがって最小値は 。検算: 最適制御は だが、 が定数 のとき 、。 より 、 で一致(最適制御は実際に で となり定数 )。