同時エントロピーと条件付きエントロピー

同時分布の表から $H (X, Y)$ と $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ を求め、連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ を使える

前提

エントロピー（大学数学情報理論・符号理論）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き確率と乗法定理（数学A 場合の数と確率）

この技能までの道筋（62 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
エントロピー（大学数学情報理論・符号理論）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き確率と乗法定理（数学A 場合の数と確率）

説明

2 つの確率変数 $X, Y$ を組 $(X, Y)$ として見たときの不確かさ（同時エントロピー $H (X, Y)$ ）と、 $X$ の値を知った後に $Y$ について残る不確かさ（条件付きエントロピー $H (Y ∣ X)$ ）を、同時分布の表から計算できるようになります。さらに、両者を結ぶ連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ を使えば、一方から他方を求めたり、計算結果を検算したりできます。通信路の入力と出力、天気と気温のように、関連する 2 つの量の情報量を扱う場面で使います。

なぜそうしてよいのか

同時エントロピーは、組 $(X, Y)$ を 1 つの確率変数とみなしたときのエントロピーです。値の組 $(x, y)$ ごとの確率 $p (x, y) = P (X = x, Y = y)$ を使って $H (X, Y) = - x \sum y \sum p (x, y) lo g_{2} p (x, y)$ と定めます（ $0 lo g 0 = 0$ の約束も同じです）。表のマスすべてについて $- p lo g_{2} p$ を足すだけです。

条件付きエントロピーは次のように作ります。 $p (x) = P (X = x) > 0$ となる各 $x$ について、 $X = x$ という条件のもとでの $Y$ の分布 $p (y ∣ x) = \frac{p ( x , y )}{p ( x )}$ を考えます（条件付き確率そのもので、 $y$ について和をとると 1 になります）。この分布のエントロピー $H (Y ∣ X = x) = - \sum_{y} p (y ∣ x) lo g_{2} p (y ∣ x)$ が「 $X = x$ と知った後に残る $Y$ の不確かさ」です。 $X$ がどの値になるかは確率 $p (x)$ で決まるので、これを $p (x)$ で重み付けして平均したもの $H (Y ∣ X) = x : p (x) > 0 \sum p (x) H (Y ∣ X = x) = - x \sum y \sum p (x, y) lo g_{2} p (y ∣ x)$ を条件付きエントロピーといいます（右の形は $p (x) p (y ∣ x) = p (x, y)$ から得られます。和は $p (x, y) > 0$ のマスだけでとります）。

連鎖律は乗法定理から出ます。 $p (x, y) > 0$ のマスでは $p (x, y) = p (x) p (y ∣ x)$ なので、対数をとると $lo g_{2} p (x, y) = lo g_{2} p (x) + lo g_{2} p (y ∣ x)$ 。両辺に $- p (x, y)$ を掛けてすべてのマスで足すと、左辺は $H (X, Y)$ 、右辺の第 1 項は $- \sum_{x} (\sum_{y} p (x, y)) lo g_{2} p (x) = - \sum_{x} p (x) lo g_{2} p (x) = H (X)$ 、第 2 項は $H (Y ∣ X)$ になります（ $p (x, y) = 0$ のマスは両辺とも 0 なので除いてよい）。つまり「組を一度に当てる不確かさ」＝「まず $X$ を当てる不確かさ」＋「 $X$ を知った後で $Y$ を当てる不確かさ」です。特に $X, Y$ が独立なら $p (y ∣ x) = p (y)$ なので $H (Y ∣ X) = H (Y)$ となり、 $H (X, Y) = H (X) + H (Y)$ が成り立ちます。

手順

同時エントロピー：表のすべてのマスについて $- p (x, y) lo g_{2} p (x, y)$ を計算して足す（確率 0 のマスは 0）。 $H (X, Y) = - \sum_{x, y} p (x, y) lo g_{2} p (x, y)$
表の行ごとに和をとり、周辺分布 $p (x) = \sum_{y} p (x, y)$ を求める
$p (x) > 0$ の各 $x$ について、行を $p (x)$ で割って条件付き分布 $p (y ∣ x) = \frac{p ( x , y )}{p ( x )}$ を作り、そのエントロピー $H (Y ∣ X = x)$ を求める
$p (x)$ で重み付けして平均する： $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$
連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ で検算する（または、どれか 2 つから残り 1 つを求める）

例題

確率変数 $X \in {0, 1}$ , $Y \in {0, 1, 2}$ の同時分布が次で与えられている。 $P (X = 0, Y = 0) = \frac{1}{4}$ , $P (X = 0, Y = 1) = \frac{1}{4}$ , $P (X = 0, Y = 2) = 0$ , $P (X = 1, Y = 0) = \frac{1}{8}$ , $P (X = 1, Y = 1) = \frac{1}{8}$ , $P (X = 1, Y = 2) = \frac{1}{4}$ 。対数の底を 2 として、 $H (X, Y)$ と $H (Y ∣ X)$ を順に求めよ。

例題の解答

【手順 1】確率 0 のマスを除くと、確率 $\frac{1}{4}$ のマスが 3 つ、 $\frac{1}{8}$ のマスが 2 つ。 $- \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{1}{4} \cdot 2 = \frac{1}{2}$ 、 $- \frac{1}{8} lo g_{2} \frac{1}{8} = \frac{1}{8} \cdot 3 = \frac{3}{8}$ なので $H (X, Y) = 3 \cdot \frac{1}{2} + 2 \cdot \frac{3}{8} = \frac{3}{2} + \frac{3}{4} = \frac{9}{4} .$
【手順 2】 $p (0) = \frac{1}{4} + \frac{1}{4} + 0 = \frac{1}{2}$ 、 $p (1) = \frac{1}{8} + \frac{1}{8} + \frac{1}{4} = \frac{1}{2}$ 。
【手順 3】 $X = 0$ のとき、行を $\frac{1}{2}$ で割ると $Y$ の分布は $(\frac{1}{2}, \frac{1}{2}, 0)$ なので $H (Y ∣ X = 0) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot 1 + 0 = 1$ 。 $X = 1$ のとき、分布は $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ なので $H (Y ∣ X = 1) = \frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2}$ 。
【手順 4】 $H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4}$ 。
【手順 5】 $H (X) = h (\frac{1}{2}) = 1$ なので $H (X) + H (Y ∣ X) = 1 + \frac{5}{4} = \frac{9}{4} = H (X, Y)$ となり、連鎖律と一致する。
よって $H (X, Y) = \frac{9}{4}$ 、 $H (Y ∣ X) = \frac{5}{4}$ 。

答え: $(\frac{9}{4}, \frac{5}{4})$

よくある誤り

$H (Y ∣ X)$ を重みなしで $\sum_{x} H (Y ∣ X = x)$ としてしまう誤り。正しくは $p (x)$ で重み付けした平均 $\sum_{x} p (x) H (Y ∣ X = x)$ 。例題では $1 + \frac{3}{2} = \frac{5}{2}$ ではなく $\frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4}$ 。
$H (Y ∣ X = x)$ を、行の同時確率のまま $- \sum_{y} p (x, y) lo g_{2} p (x, y)$ で計算してしまう誤り。正しくは行を $p (x)$ で割った条件付き確率 $p (y ∣ x) = \frac{p ( x , y )}{p ( x )}$ を使い $- \sum_{y} p (y ∣ x) lo g_{2} p (y ∣ x)$ 。例題の $X = 1$ の行で誤った計算をすると $- 2 \cdot \frac{1}{8} lo g_{2} \frac{1}{8} - \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{3}{4} + \frac{1}{2} = \frac{5}{4}$ となるが、正しくは条件付き分布 $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ で計算して $\frac{3}{2}$ 。（ $X = 0$ の行では誤った計算でもたまたま $1$ になるが、一般には一致しない。）
いつでも $H (X, Y) = H (X) + H (Y)$ としてしまう誤り。これは独立なときだけ成り立ち、一般には $H (X, Y) = H (X) + H (Y ∣ X)$ 。例題では $Y$ の周辺分布が $(\frac{3}{8}, \frac{3}{8}, \frac{1}{4})$ で $H (Y) = \frac{3}{4} (3 - lo g_{2} 3) + \frac{1}{2} \approx 1.56$ なので、 $H (X) + H (Y) \approx 2.56 \neq = \frac{9}{4} = 2.25$ となる。
$H (Y ∣ X)$ と $H (X ∣ Y)$ を同じものとしてしまう誤り。一般に等しくなく、連鎖律も $H (X, Y) = H (X) + H (Y ∣ X) = H (Y) + H (X ∣ Y)$ のように条件の付け方と周辺エントロピーを対応させて使う。例題では $H (X ∣ Y) = \frac{9}{4} - H (Y) \approx 0.69$ で、 $H (Y ∣ X) = \frac{5}{4}$ とは異なる。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

	$Y = 0$	$Y = 1$	$Y = 2$
$X = 0$	$\frac{1}{4}$	$\frac{1}{4}$	$0$
$X = 1$	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{4}$

この技能を使う問題

この技能の次に学べること

相互情報量（大学数学情報理論・符号理論）