相互情報量

同時分布や $Y = X + Z$ のような関係から相互情報量 $I (X; Y) = H (X) - H (X ∣ Y) = H (Y) - H (Y ∣ X) = H (X) + H (Y) - H (X, Y)$ を求められる

前提

同時エントロピーと条件付きエントロピー（大学数学情報理論・符号理論）

この技能までの道筋（63 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
エントロピー（大学数学情報理論・符号理論）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き確率と乗法定理（数学A 場合の数と確率）
同時エントロピーと条件付きエントロピー（大学数学情報理論・符号理論）

説明

相互情報量 $I (X; Y)$ は、確率変数 $Y$ を観測したとき $X$ についての不確かさ（エントロピー）がどれだけ減るか、つまり $X$ と $Y$ が互いにどれだけ情報を共有しているかを表す量です。通信路で「送った記号 $X$ と受け取った記号 $Y$ 」の関係を調べるときや、雑音 $Z$ が加わる $Y = X + Z$ のようなモデルで、出力から入力がどれだけ読み取れるかを数値で評価するときに使います。同時分布の表や $X$ と $Y$ の関係式から、エントロピーの差として計算できます。

なぜそうしてよいのか

出発点は前提の技能の連鎖律です。 $H (X, Y)$ は「先に $X$ を知り、残りの $Y$ の不確かさを足す」と考えても、「先に $Y$ を知り、残りの $X$ の不確かさを足す」と考えても同じ値になります。つまり $H (X, Y) = H (X) + H (Y ∣ X) = H (Y) + H (X ∣ Y)$ です。これを移項すると $H (X) - H (X ∣ Y) = H (Y) - H (Y ∣ X) = H (X) + H (Y) - H (X, Y)$ が得られます。この共通の値を相互情報量 $I (X; Y)$ と定義します。 $H (X) - H (X ∣ Y)$ は「 $Y$ を知る前の $X$ の不確かさ」から「 $Y$ を知った後に残る $X$ の不確かさ」を引いたものなので、 $Y$ から得られる $X$ の情報量と読めます。式が $X$ と $Y$ について対称なので、 $X$ が $Y$ について教えてくれる量も同じです。

$X$ と $Y$ が独立なら、 $X = x$ を与えても $Y$ の条件付き分布は周辺分布と同じなので $H (Y ∣ X) = H (Y)$ となり、 $I (X; Y) = 0$ です。また条件付きエントロピーは 0 以上なので $I (X; Y) = H (X) - H (X ∣ Y) \leq H (X)$ 、同様に $I (X; Y) \leq H (Y)$ です。さらに一般に $I (X; Y) \geq 0$ が成り立つことが知られています（証明は略します）。

$Y = X + Z$ （ $Z$ は $X$ と独立）の形では、 $X = x$ を与えると $Y = x + Z$ となり、独立性から $Z$ の分布は変わりません。 $x + Z$ は $Z$ の値に一定数を足して名前を付け替えただけなので、確率の並びは $Z$ と同じで、 $H (Y ∣ X = x) = H (Z)$ です。よって $H (Y ∣ X) = \sum_{x} p (x) H (Z) = H (Z)$ となり、 $I (X; Y) = H (Y) - H (Z)$ と簡単に計算できます。

手順

3 つの式 $I (X; Y) = H (X) - H (X ∣ Y) = H (Y) - H (Y ∣ X) = H (X) + H (Y) - H (X, Y)$ のうち、計算が楽なものを選ぶ（ $Y = X + Z$ 型なら $H (Y) - H (Y ∣ X)$ が楽なことが多い）
必要な周辺分布を求め、周辺エントロピー（例: $H (Y) = - \sum_{y} p (y) lo g_{2} p (y)$ ）を計算する
条件付きエントロピー $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ 、または同時エントロピー $H (X, Y)$ を計算する（ $Y = X + Z$ で $Z$ が $X$ と独立なら $H (Y ∣ X) = H (Z)$ ）
選んだ式に代入して差をとり、 $0 \leq I (X; Y) \leq min {H (X), H (Y)}$ を満たすか確かめる

例題

$X$ と $Z$ は互いに独立で、どちらも ${0, 1}$ の値を確率 $\frac{1}{2}$ ずつとる確率変数とする。 $Y = X + Z$ （通常の整数の和）とするとき、相互情報量 $I (X; Y)$ を求めよ。ただし対数の底は 2 とする。

例題の解答

【手順 1】 $Y$ は $X$ と独立な $Z$ を足したものなので、 $I (X; Y) = H (Y) - H (Y ∣ X)$ を使う。
【手順 2】 $Y$ の分布を求める。 $P (Y = 0) = P (X = 0, Z = 0) = \frac{1}{2} \cdot \frac{1}{2} = \frac{1}{4}$ 、 $P (Y = 1) = P (X = 0, Z = 1) + P (X = 1, Z = 0) = \frac{1}{4} + \frac{1}{4} = \frac{1}{2}$ 、 $P (Y = 2) = P (X = 1, Z = 1) = \frac{1}{4}$ 。よって $H (Y) = \frac{1}{4} lo g_{2} 4 + \frac{1}{2} lo g_{2} 2 + \frac{1}{4} lo g_{2} 4 = \frac{1}{2} + \frac{1}{2} + \frac{1}{2} = \frac{3}{2} .$
【手順 3】 $X = x$ を与えると $Y = x + Z$ で、独立性より $Z$ は依然として $0, 1$ を確率 $\frac{1}{2}$ ずつとる。したがって $Y$ は $x$ と $x + 1$ を確率 $\frac{1}{2}$ ずつとり、 $H (Y ∣ X = x) = 1$ （ $x = 0, 1$ のどちらでも）。よって $H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot 1 = 1$ （ $= H (Z)$ ）。
【手順 4】 $I (X; Y) = \frac{3}{2} - 1 = \frac{1}{2}$ （ビット）。 $H (X) = 1$ , $H (Y) = \frac{3}{2}$ なので $0 \leq \frac{1}{2} \leq 1$ を満たし、妥当である。（ $Y = 1$ のときだけ $X$ がわからず、 $Y = 0, 2$ なら $X$ が確定することとも整合する。）

答え: $\frac{1}{2}$

よくある誤り

$Y = X + Z$ で $H (Y) = H (X) + H (Z)$ としてしまう誤り。和をとると $(X, Z) = (0, 1), (1, 0)$ が同じ $Y = 1$ にまとまるので、上の例では $H (Y) = \frac{3}{2} \neq = 2$ 。 $H (Y)$ は必ず $Y$ の分布から計算する。
$I (X; Y) = H (X) - H (Y ∣ X)$ のように、引く条件付きエントロピーの向きを取り違える誤り。正しくは $H (X) - H (X ∣ Y)$ または $H (Y) - H (Y ∣ X)$ で、前に置いた変数と条件付きエントロピーの「縦棒の左側」の変数をそろえる。
$Z$ が $X$ と独立でないのに $H (Y ∣ X) = H (Z)$ としてしまう誤り。この等式は $X = x$ を与えても $Z$ の分布が変わらない（独立である）ときに限る。独立でなければ $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ を条件付き分布から直接計算する。
$I (X; Y) = H (X) + H (Y) - H (X, Y)$ で $H (X, Y)$ を周辺エントロピーの和 $H (X) + H (Y)$ と同一視して $I = 0$ としてしまう誤り。 $H (X, Y) = H (X) + H (Y)$ は独立なときだけで、一般には同時分布の表から $H (X, Y) = - \sum_{x, y} p (x, y) lo g_{2} p (x, y)$ を計算する。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

入口の問題

この技能を使う問題

この技能の次に学べること

条件付き相互情報量（大学数学情報理論・符号理論）
2 元対称通信路の通信路容量（大学数学情報理論・符号理論）