この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 3期末試験の応用レベル大学数学情報理論・符号理論

袋の中に赤玉 $2$ 個と白玉 $2$ 個が入っている。この袋から玉を $1$ 個ずつ $2$ 回、取り出した玉をもとに戻さずに取り出す。どの玉も同じ確率で取り出されるものとする。

$1$ 回目に取り出した玉の色を $X$ 、 $2$ 回目に取り出した玉の色を $Y$ とする（ $X, Y$ はそれぞれ「赤」「白」のどちらかの値をとる確率変数）。

$X$ と $Y$ の相互情報量 $I (X; Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする。

この問題で使うもの

相互情報量（説明と入口の問題）
エントロピー（説明と入口の問題）
同時エントロピーと条件付きエントロピー（説明と入口の問題）
条件付き確率と乗法定理（説明と入口の問題）
対数の定義と性質（説明と入口の問題）

この問題を解けるようになるまで（64 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

$I (X; Y) = H (Y) - H (Y ∣ X)$ を使う。まず $Y$ の周辺分布と、 $X$ を与えたときの $Y$ の条件付き分布を求める。

ヒント 2

$1$ 回目に赤が出ると、残りは赤 $1$ 個・白 $2$ 個になる。 $Y$ の周辺分布は対称性から赤・白が等確率になる。

ヒント 3

$H (Y) = 1$ であり、 $X$ がどちらの値でも $Y$ の条件付き分布は確率 $\frac{1}{3}, \frac{2}{3}$ の分布になる。

答えと解説

答えを見る

\frac{5}{3} - lo g_{2} 3

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

相互情報量は $I (X; Y) = H (Y) - H (Y ∣ X)$ で求められる。

$Y$ の分布と $H (Y)$

$P (Y = 赤) = P (X = 赤) P (Y = 赤 ∣ X = 赤) + P (X = 白) P (Y = 赤 ∣ X = 白) = \frac{1}{2} \cdot \frac{1}{3} + \frac{1}{2} \cdot \frac{2}{3} = \frac{1}{2} .$
よって $Y$ は赤・白をそれぞれ確率 $\frac{1}{2}$ でとり、 $H (Y) = 1$ である。

条件付きエントロピー $H (Y ∣ X)$

$1$ 回目に赤が出ると、残りは赤 $1$ 個・白 $2$ 個なので $P (Y = 赤 ∣ X = 赤) = \frac{1}{3}$ 、 $P (Y = 白 ∣ X = 赤) = \frac{2}{3}$ 。 $1$ 回目に白が出た場合も同様に、確率 $\frac{1}{3}, \frac{2}{3}$ の分布になる。この分布のエントロピーは
$- \frac{1}{3} lo g_{2} \frac{1}{3} - \frac{2}{3} lo g_{2} \frac{2}{3} = \frac{1}{3} lo g_{2} 3 + \frac{2}{3} (lo g_{2} 3 - 1) = lo g_{2} 3 - \frac{2}{3} .$
どちらの場合も同じ値なので
$H (Y ∣ X) = \frac{1}{2} (lo g_{2} 3 - \frac{2}{3}) + \frac{1}{2} (lo g_{2} 3 - \frac{2}{3}) = lo g_{2} 3 - \frac{2}{3} .$

相互情報量

$I (X; Y) = H (Y) - H (Y ∣ X) = 1 - (lo g_{2} 3 - \frac{2}{3}) = \frac{5}{3} - lo g_{2} 3 (\approx 0.0817) .$

別解

同時分布: $P (赤, 赤) = \frac{2}{4} \cdot \frac{1}{3} = \frac{1}{6}$ 、 $P (赤, 白) = \frac{2}{4} \cdot \frac{2}{3} = \frac{1}{3}$ 、 $P (白, 赤) = \frac{1}{3}$ 、 $P (白, 白) = \frac{1}{6}$ 。周辺分布は $X, Y$ ともに赤・白が $\frac{1}{2}$ ずつ。
$H (Y) = 1$ ビット。 $X$ が与えられたときの $Y$ の分布は $(\frac{1}{3}, \frac{2}{3})$ または $(\frac{2}{3}, \frac{1}{3})$ なので $H (Y ∣ X) = h (\frac{1}{3}) = \frac{1}{3} lo g_{2} 3 + \frac{2}{3} lo g_{2} \frac{3}{2} = lo g_{2} 3 - \frac{2}{3}$ 。
よって $I (X; Y) = H (Y) - H (Y ∣ X) = 1 - lo g_{2} 3 + \frac{2}{3} = \frac{5}{3} - lo g_{2} 3 \approx 0.0817$ ビット。
検算: 定義どおり $\sum p lo g_{2} \frac{p}{p _{X} p _{Y}} = 2 \cdot \frac{1}{6} lo g_{2} \frac{4}{6} + 2 \cdot \frac{1}{3} lo g_{2} \frac{4}{3} = \frac{1}{3} (1 - lo g_{2} 3) + \frac{2}{3} (2 - lo g_{2} 3) = \frac{5}{3} - lo g_{2} 3$ で一致する。

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題