条件付き相互情報量

条件付き相互情報量 $I (X; Y ∣ Z) = H (X ∣ Z) - H (X ∣ Y, Z)$ を、 $Z$ の値ごとの条件付き分布に分けて計算できる

前提

相互情報量（大学数学情報理論・符号理論）

この技能までの道筋（64 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

分数のたし算・ひき算（算数計算と数のきまり）
小数の四則計算（算数計算と数のきまり）
正負の数の加法・減法（中学数学数と式）
分数のかけ算・わり算（算数計算と数のきまり）
四則の混じった計算の順序（算数計算と数のきまり）
正負の数の乗除・累乗と四則混合（中学数学数と式）
約数の見つけ方（算数整数の性質）
素因数分解と約数の個数（算数整数の性質）
平方根の意味と根号の簡単化（中学数学数と式）
根号の乗除と加減（中学数学数と式）
指数の拡張と指数関数（数学II 指数関数と対数関数）
対数の定義と性質（数学II 指数関数と対数関数）
樹形図で数え上げる（算数場合の数）
積の法則と和の法則（算数場合の数）
和の法則・積の法則と樹形図（数学A 場合の数と確率）
順列・円順列・重複順列（数学A 場合の数と確率）
組合せ（数学A 場合の数と確率）
確率の定義と和事象・余事象（数学A 場合の数と確率）
期待値（数学A 場合の数と確率）
確率変数と確率分布（数学B 統計的な推測）
エントロピー（大学数学情報理論・符号理論）
平均と合計（算数いろいろな文章題）
平均値・中央値・最頻値（中学数学データの活用）
代表値（平均値・中央値・最頻値）（数学I データの分析）
分散と標準偏差（数学I データの分析）
変量の変換と平均・分散（数学I データの分析）
確率変数の期待値・分散と $a X + b$ （数学B 統計的な推測）
確率変数の和と積（独立な場合）（数学B 統計的な推測）
分配法則を使った計算のくふう（算数計算と数のきまり）
文字式の計算（同類項・分配法則）（中学数学数と式）
乗法公式による展開（中学数学数と式）
因数分解（中学数学数と式）
3 次式までの展開と因数分解（数学I 数と式）
微分係数と導関数の定義（数学II 微分法と積分法）
多項式の微分（数学II 微分法と積分法）
多項式の不定積分（数学II 微分法と積分法）
等間隔にならんだ数の和（算数計算と数のきまり）
等差・等比数列の和と Σ （数学B 数列）
数列の極限（数学III 極限）
関数の極限（数学III 極限）
積と商の微分（数学III 微分法）
合成関数の微分（数学III 微分法）
円の周の長さと面積（算数平面図形）
おうぎ形の弧の長さと面積（算数平面図形）
弧の長さからおうぎ形の中心角と面積を求める（中学数学平面図形）
三角形・四角形の面積（算数平面図形）
三平方の定理（中学数学相似と三平方の定理）
特別な直角三角形の辺の比（中学数学相似と三平方の定理）
弧度法と単位円による三角関数（数学II 三角関数）
$sin x / x$ の極限（数学III 極限）
加法定理と 2 倍角・半角・積和の公式（数学II 三角関数）
三角関数の導関数（数学III 微分法）
自然対数の底 $e$ （数学III 極限）
指数関数・対数関数の導関数（数学III 微分法）
基本的な関数の不定積分（数学III 積分法）
置換積分（数学III 積分法）
部分積分（数学III 積分法）
定積分の計算（数学II 微分法と積分法）
定積分の置換・部分積分と偶関数・奇関数（数学III 積分法）
重積分と累次積分（大学数学微分積分）
同時分布・周辺分布と独立性（大学数学確率・統計）
条件付き確率と乗法定理（数学A 場合の数と確率）
同時エントロピーと条件付きエントロピー（大学数学情報理論・符号理論）
相互情報量（大学数学情報理論・符号理論）

説明

条件付き相互情報量 $I (X; Y ∣ Z)$ は、「 $Z$ の値がすでにわかっているとき、 $Y$ を知ると $X$ についての不確かさがさらにどれだけ減るか」を表す量です。通信路の状態や隠れた要因 $Z$ ごとに、 $X$ と $Y$ の結びつきの強さが変わる場面で使います。この技能を身につけると、 $Z$ の値ごとに条件付き分布を作り、それぞれの相互情報量を確率で重み付けして足し合わせることで、 $I (X; Y ∣ Z)$ を計算できるようになります。

なぜそうしてよいのか

定義は $I (X; Y ∣ Z) = H (X ∣ Z) - H (X ∣ Y, Z)$ です。条件付きエントロピーは「条件の値ごとのエントロピーの平均」なので、 $P (Z = z) > 0$ となる $z$ について $H (X ∣ Z) = \sum_{z} P (Z = z) H (X ∣ Z = z)$ と書けます。同じように $H (X ∣ Y, Z) = \sum_{y, z} P (Y = y, Z = z) H (X ∣ Y = y, Z = z)$ です。ここで $P (Y = y, Z = z) = P (Z = z) P (Y = y ∣ Z = z)$ と分けると、 $H (X ∣ Y, Z) = \sum_{z} P (Z = z) \sum_{y} P (Y = y ∣ Z = z) H (X ∣ Y = y, Z = z)$ となります。内側の和は、 $Z = z$ のもとでの条件付き分布だけを使って計算した「 $H (X ∣ Y)$ 」そのものです。これを $H (X ∣ Y, Z = z)$ と書きます。

2 つの式を引き算すると
$I (X; Y ∣ Z) = z \sum P (Z = z) (H (X ∣ Z = z) - H (X ∣ Y, Z = z)) = z \sum P (Z = z) I (X; Y ∣ Z = z)$
が得られます。ここで $I (X; Y ∣ Z = z)$ は、条件付き同時分布 $P (X = x, Y = y ∣ Z = z)$ を「ふつうの同時分布」とみなして求めた相互情報量です。したがって、前提の技能である相互情報量の計算を $Z$ の値ごとに行い、 $P (Z = z)$ で重み付きの平均をとればよいことになります。各 $I (X; Y ∣ Z = z)$ は 0 以上なので、 $I (X; Y ∣ Z) \geq 0$ もわかります。

直観的には、 $Z$ によって世界がいくつかの場合に分かれていて、それぞれの場合で $X$ と $Y$ がどれだけ情報を共有しているかを測り、その場合の起こりやすさで平均している、ということです。

手順

$Z$ の分布 $P (Z = z)$ を求める。 $P (Z = z) = 0$ となる $z$ は計算から除く。
$P (Z = z) > 0$ となる各 $z$ について、条件付き同時分布 $P (X = x, Y = y ∣ Z = z) = \frac{P ( X = x , Y = y , Z = z )}{P ( Z = z )}$ を作る。
各 $z$ について、その条件付き分布で相互情報量 $I (X; Y ∣ Z = z) = H (X ∣ Z = z) - H (X ∣ Y, Z = z)$ を計算する。 $H (X ∣ Z = z) + H (Y ∣ Z = z) - H (X, Y ∣ Z = z)$ など、前提の技能の別の式を使ってもよい。
重み付きの和 $I (X; Y ∣ Z) = \sum_{z} P (Z = z) I (X; Y ∣ Z = z)$ を計算する。

例題

確率変数 $Z$ は $P (Z = 0) = P (Z = 1) = \frac{1}{2}$ をみたす。 $X$ は $Z$ と独立で、 ${0, 1}$ に一様に分布する。 $Y \in {0, 1}$ は次のように決まる。 $Z = 0$ のときは $Y = X$ である。 $Z = 1$ のときは、確率 $\frac{3}{4}$ で $Y = X$ 、確率 $\frac{1}{4}$ で $Y = 1 - X$ である（この反転は $X$ と無関係に起こる）。対数の底を 2 として、 $I (X; Y ∣ Z)$ を求めよ。

例題の解答

手順1: $P (Z = 0) = P (Z = 1) = \frac{1}{2}$ で、どちらも正です。

手順2: $Z = 0$ のとき、条件付き同時分布は $P (0, 0 ∣ 0) = P (1, 1 ∣ 0) = \frac{1}{2}$ 、 $P (0, 1 ∣ 0) = P (1, 0 ∣ 0) = 0$ です。 $Z = 1$ のときは、 $P (0, 0 ∣ 1) = P (1, 1 ∣ 1) = \frac{1}{2} \cdot \frac{3}{4} = \frac{3}{8}$ 、 $P (0, 1 ∣ 1) = P (1, 0 ∣ 1) = \frac{1}{2} \cdot \frac{1}{4} = \frac{1}{8}$ です。

手順3: $Z = 0$ の場合を考えます。 $X$ は一様なので $H (X ∣ Z = 0) = 1$ です。 $Y$ がわかれば $X = Y$ と確定するので、 $H (X ∣ Y, Z = 0) = 0$ です。よって $I (X; Y ∣ Z = 0) = 1$ です。
次に $Z = 1$ の場合です。 $H (X ∣ Z = 1) = 1$ です。 $Y$ の条件付き分布は $P (Y = 0 ∣ Z = 1) = \frac{3}{8} + \frac{1}{8} = \frac{1}{2}$ で、一様になります。 $Y = y$ を知ったとき、 $X = y$ となる条件付き確率は $\frac{3/8}{1/2} = \frac{3}{4}$ 、 $X \neq = y$ となる条件付き確率は $\frac{1}{4}$ です。したがって
$H (X ∣ Y, Z = 1) = - \frac{1}{4} lo g_{2} \frac{1}{4} - \frac{3}{4} lo g_{2} \frac{3}{4} = \frac{1}{2} + \frac{3}{4} (2 - lo g_{2} 3) = 2 - \frac{3}{4} lo g_{2} 3$
となり、 $I (X; Y ∣ Z = 1) = 1 - (2 - \frac{3}{4} lo g_{2} 3) = \frac{3}{4} lo g_{2} 3 - 1$ です（約 $0.189$ ）。

手順4: 重み付きの和をとると
$I (X; Y ∣ Z) = \frac{1}{2} \cdot 1 + \frac{1}{2} (\frac{3}{4} lo g_{2} 3 - 1) = \frac{3}{8} lo g_{2} 3$
となります（約 $0.594$ ビット）。

答え: $\frac{3}{8} lo g_{2} 3$

よくある誤り

$Z$ の値ごとの相互情報量を、単純に平均してしまう誤り。正しくは $P (Z = z)$ で重み付けして $\sum_{z} P (Z = z) I (X; Y ∣ Z = z)$ とする。たとえば $P (Z = 0) = \frac{1}{4}$ 、 $I (X; Y ∣ Z = 0) = 1$ 、 $I (X; Y ∣ Z = 1) = 0$ なら、答えは $\frac{1}{2}$ ではなく $\frac{1}{4}$ である。
$Z = z$ ごとの計算で、条件付き分布ではなく $X, Y$ の周辺の同時分布 $P (X = x, Y = y)$ を使ってしまう誤り。これでは $I (X; Y)$ を計算したことになる。正しくは、各 $z$ で $P (X = x, Y = y ∣ Z = z) = P (x, y, z) / P (z)$ と割り直した分布を使う。
$I (X; Y ∣ Z) \leq I (X; Y)$ がいつも成り立つと思い込む誤り。 $X, Y$ が独立な一様ビットで $Z = X + Y mod 2$ のとき、 $I (X; Y) = 0$ だが、 $Z$ を知れば $Y$ から $X$ が決まるので $I (X; Y ∣ Z) = 1$ になる。条件を付けると、相互情報量は増えることも減ることもある。
$H (X ∣ Y, Z)$ の代わりに $H (X ∣ Y)$ を使い、 $H (X ∣ Z) - H (X ∣ Y)$ と計算してしまう誤り。正しくは、両方の項に $Z$ の条件を付けて $H (X ∣ Z) - H (X ∣ Y, Z)$ とする。そうしないと、値が負になることさえある。

この説明は AI が書き、別の AI が例題を独立に解いて答えを確かめ、説明を一歩ずつ査読しました。

条件付き相互情報量

前提

説明

なぜそうしてよいのか

手順

例題

よくある誤り

入口の問題

この技能を使う問題