を変数とする次の最適化問題 を考える。
不等式制約に乗数 を対応させたラグランジュ関数を
とし、ラグランジュ双対関数を で定める。 を の式で表せ。
ラグランジュ双対関数と弱双対性
制約の一部を乗数で緩和したラグランジュ関数から双対関数 を求め、 を使い、凸 2 次計画などで強双対性 を確かめられる
前提
- ラグランジュの未定乗数法 (大学数学 微分積分)
- 線形計画の双対定理 (大学院数学 凸最適化・組合せ最適化)
この技能までの道筋(64 技能)
読み込み中…
右端(太枠)がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。
一覧で見る(前提が先)
- 分数のたし算・ひき算 (算数 計算と数のきまり)
- 小数の四則計算 (算数 計算と数のきまり)
- 正負の数の加法・減法 (中学数学 数と式)
- 分数のかけ算・わり算 (算数 計算と数のきまり)
- 四則の混じった計算の順序 (算数 計算と数のきまり)
- 正負の数の乗除・累乗と四則混合 (中学数学 数と式)
- 分配法則を使った計算のくふう (算数 計算と数のきまり)
- 文字式の計算(同類項・分配法則) (中学数学 数と式)
- 乗法公式による展開 (中学数学 数と式)
- 因数分解 (中学数学 数と式)
- 3 次式までの展開と因数分解 (数学I 数と式)
- 微分係数と導関数の定義 (数学II 微分法と積分法)
- 多項式の微分 (数学II 微分法と積分法)
- 等間隔にならんだ数の和 (算数 計算と数のきまり)
- 等差・等比数列の和と Σ (数学B 数列)
- 数列の極限 (数学III 極限)
- 関数の極限 (数学III 極限)
- 積と商の微分 (数学III 微分法)
- 合成関数の微分 (数学III 微分法)
- 偏微分と全微分 (大学数学 微分積分)
- 小数と分数のまじった計算 (算数 計算と数のきまり)
- 逆算(□ を求める) (算数 計算と数のきまり)
- 1 次方程式の解き方 (中学数学 方程式)
- 比例・反比例の式とグラフ (中学数学 関数)
- 約数の見つけ方 (算数 整数の性質)
- 素因数分解と約数の個数 (算数 整数の性質)
- 平方根の意味と根号の簡単化 (中学数学 数と式)
- 関数 の式と変域 (中学数学 関数)
- 平方完成と 2 次関数のグラフ (数学I 2次関数)
- 2 次不等式 (数学I 2次関数)
- 剰余の定理・因数定理と高次方程式 (数学II 複素数と方程式)
- 増減表と極値 (数学II 微分法と積分法)
- 第 2 次導関数とグラフの凹凸 (数学III 微分法)
- 2 変数関数の極値 (大学数学 微分積分)
- ラグランジュの未定乗数法 (大学数学 微分積分)
- 三角形の角の大きさ (算数 平面図形)
- 対頂角と平行線の同位角・錯角 (中学数学 平面図形)
- 三角形の外角と角の組み合わせ (中学数学 平面図形)
- 二等辺三角形の角 (中学数学 平面図形)
- 平行四辺形と特別な四角形の性質 (中学数学 平面図形)
- 三角形・四角形の面積 (算数 平面図形)
- 三平方の定理 (中学数学 相似と三平方の定理)
- 折り返した図形の角と長さ (中学数学 平面図形)
- 三平方の定理と平面図形 (中学数学 相似と三平方の定理)
- ベクトルの演算と成分 (数学C ベクトル)
- 行列の和・積と 2 次の逆行列 (大学数学 線形代数)
- 掃き出し法と連立 1 次方程式 (大学数学 線形代数)
- 最大公約数と最小公倍数 (算数 整数の性質)
- 比の性質と簡単な比 (算数 割合と比)
- 相似な三角形と長さの比 (算数 平面図形)
- 三角形の相似条件と対応する辺の長さ (中学数学 相似と三平方の定理)
- 平行線と線分の比 (中学数学 相似と三平方の定理)
- 2点間の距離と内分点・外分点 (数学II 図形と方程式)
- 円の方程式 (数学II 図形と方程式)
- 連立方程式の解き方(加減法・代入法) (中学数学 方程式)
- 1 次関数の式の求め方 (中学数学 関数)
- 直線の方程式 (数学II 図形と方程式)
- 不等式の表す領域 (数学II 図形と方程式)
- 点と直線の距離 (数学II 図形と方程式)
- 円と直線の位置関係と弦の長さ (数学II 図形と方程式)
- 2直線の平行・垂直 (数学II 図形と方程式)
- 円の接線 (数学II 図形と方程式)
- 領域における最大・最小 (数学II 図形と方程式)
- 線形計画の双対定理 (大学院数学 凸最適化・組合せ最適化)
説明
不等式制約つきの最小化問題について、制約を乗数で目的関数に繰り込んだラグランジュ関数を作り、それを について最小化して双対関数 を求められるようになります。双対関数の値はどれも主問題の最適値 の下界になる(弱双対性)ので、 を計算すれば を下から評価できます。さらに、凸 2 次計画のような問題では、実行可能解の目的関数値と双対関数の値が一致する組を実際に見つけることで強双対性 を確かめ、両方の最適性を同時に保証できます。線形計画の双対定理を非線形の問題に広げたものと考えてください。
なぜそうしてよいのか
主問題を「 かつ のもとで を最小化せよ」とし、その最適値(下限)を とします。 は制約を緩和せずに残しておく集合( 全体でもよい)です。乗数 に対してラグランジュ関数 を定め、双対関数を とします(最小値が存在すれば で、 が について下に有界でなければ )。 は「制約を破ったときの罰金」で、 なら の分だけ が大きくなります。
弱双対性は次の 1 行で示せます。(すべての )とし、 を任意の実行可能解とすると、, より なので 左辺は だけ、右辺は だけで決まるので、左辺の上限と右辺の下限をとって が得られます。ここで が本質的に使われていることに注意してください(等式制約 の乗数 には符号の制限は要りません。 だからです)。また は、 について 1 次の関数 たちの下限なので、主問題が凸でなくても常に凹関数です。
この不等式から、実行可能な と で となるものが見つかれば、 の両端が等しいので (強双対性)で、 は主問題の、 は双対問題の最適解だとわかります。本ページでは、強双対性はこのように となる組を実際に見つけて確かめる という方法で扱います。なお、目的関数が凸 2 次( で、 は対称行列かつすべての で となる半正定値行列)、制約 がすべて 1 次(凸 2 次計画)で、実行可能解があり、しかも が有限(実行可能領域で が下に有界)であるときは、このような組が必ず存在して強双対性が成り立つことが知られています(ここでは証明せず、定理として使う場合も例題のように組を見つけて確認します)。 が有限という条件は外せません。例えば「 のもとで を最小化」では で、弱双対性からすべての で となるので、 となる組は存在しません。また、凸でない問題では (双対ギャップ)となることもあります。
手順
主問題を「, のもとで を最小化」の形に書く。 の制約は移項して にそろえる(例: は )。
乗数 を導入してラグランジュ関数 を作る。
を固定して を について最小化し、双対関数 を の式で表す。 が について凸 2 次なら偏微分 で最小点が求まる。下に有界でない では とする。
の範囲で を最大化して を求める。
強双対性を確かめるときは、最大を与える に対応する が実行可能であり となることを確認する。このとき で、 は主問題の最適解である。
例題
主問題「 のもとで を最小化せよ」()について、制約に乗数 を付けたラグランジュ双対問題の最適値 を求めよ。
例題の解答
手順 1:制約を と書く。
手順 2:, 。
手順 3: を固定すると は について凸 2 次(, の係数が正)なので、, より , で最小となる。代入して
手順 4: なので、 の範囲で のとき最大値 。よって 。
手順 5(強双対性の確認): に対応する は を満たして実行可能で、。よって となる組が見つかったので であり、 が主問題の最適解である。
したがって 。
答え:
よくある誤り
不等式制約の乗数の条件 を落として、 を実数全体で最大化してしまう誤り。例えば「 のもとで を最小化」()では , で、実数全体の最大値は での となり を超えてしまう。正しくは で最大化して , 。
が について下に有界でないのに、偏微分 の式から を作ってしまう誤り。例えば「 のもとで を最小化」では で、 なら で なので 。正しくは , それ以外の で 、。
制約の向きと乗数の符号を取り違え、 に対して ()としてしまう誤り。これでは制約を満たす点で罰金項が正になり、弱双対性 の証明が成り立たない。正しくは と の形にそろえてから とする。
強双対性 がいつでも成り立つと思ってしまう誤り。凸でない問題では一般に しか言えない。例えば 上で「 のもとで を最小化」では だが、 の最大値は での で、。
この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。
入口の問題
この技能を使う問題
頂点集合 の有向グラフ を考える。各有向辺 には費用 と所要時間 が次のように与えられている( の順に記す)。
グラフにはこれ以外の辺はない。 を から への有向道全体とし、有向道 の費用と所要時間を 、 と定める。次の制約付き最短路問題 を考える。
の最適値を とする。時間制約 のみを乗数 で緩和したラグランジュ双対関数を
と定め、双対問題の最適値を とする。 と をこの順に組 で求めよ。上の次の最適化問題 を考える。
不等式制約 だけを乗数 で緩和したラグランジュ関数
により双対関数 を定め、双対問題の最適値を 、 の最適値を とする。双対ギャップ を求めよ。閉区間 上の次の最適化問題 を考える。
不等式制約 だけに乗数 を付けてラグランジュ関数 を作り( という制約は双対化しない)、双対関数を
と定める。 の最適値を 、双対問題 の最適値を とする。組 をこの順に求めよ。とし、次の最適化問題 を考える。
の最適値を とする。制約 だけを乗数 で緩和したラグランジュ双対関数
を用い、双対問題の最適値を とする。双対ギャップ を求めよ。を変数とする次の 0-1 ナップサック問題 を考える。
の最適値を とする。不等式制約だけに乗数 を導入してラグランジュ関数
を定め、双対関数を 、双対問題の最適値を とする。双対ギャップ を求めよ。とし、次の最適化問題 を考える。
等式制約 だけを乗数 で緩和し、集合制約 は残したラグランジュ関数
から双対関数 を定め、双対問題 : を考える。 の最適値を 、 の最適値を とするとき、双対ギャップ を求めよ。を変数とする次の最適化問題 を考える(添字は で考え、 とする)。
その最適値を とする。等式制約に乗数 を対応させたラグランジュ関数
に対し、双対関数を (値 を許す)、ラグランジュ双対問題の最適値を とする。双対ギャップ を求めよ。を整数とし、 を成分がすべて の 次正方行列、 を 次単位行列、 とする。 を変数とする最適化問題
を考え、その最適値を とする。 に対しラグランジュ関数を
と定め、双対関数を 、双対問題の最適値を とする。双対ギャップ が、 が奇数のとき 、 が偶数のとき であることを証明せよ。
この技能の次に学べること
- 非凸・整数の問題の双対ギャップ (大学院数学 凸最適化・組合せ最適化)
- 半正定値計画の双対と最適値の決定 (大学院数学 凸最適化・組合せ最適化)