この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 1教科書の例題レベル大学数学情報理論・符号理論

表と裏が等しい確率 $\frac{1}{2}$ で出る硬貨を $2$ 回投げる。 $2$ 回の結果は互いに独立である。 $1$ 回目に表が出れば $X = 1$ 、裏が出れば $X = 0$ とし、 $2$ 回のうち表が出た回数を $Y$ とする（ $Y \in {0, 1, 2}$ ）。相互情報量 $I (X; Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

この問題で使うもの

相互情報量（説明と入口の問題）

この問題を解けるようになるまで（64 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

相互情報量の公式 $I (X; Y) = H (Y) - H (Y ∣ X)$ を使う。 $H (Y)$ と $H (Y ∣ X)$ を別々に求めればよい。

ヒント 2

$Y$ の分布は $P (Y = 0) = \frac{1}{4}, P (Y = 1) = \frac{1}{2}, P (Y = 2) = \frac{1}{4}$ 。また $X$ の値を固定すると、 $Y$ は 2 回目の結果だけで決まり、2 通りの値を確率 $\frac{1}{2}$ ずつとる。

ヒント 3

$H (Y) = \frac{3}{2}$ 、 $H (Y ∣ X = 0) = H (Y ∣ X = 1) = 1$ なので $H (Y ∣ X) = 1$ となる。あとは引き算をする。

答えと解説

答えを見る

\frac{1}{2}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

相互情報量は $I (X; Y) = H (Y) - H (Y ∣ X)$ で求められる。 $Y$ の分布と、 $X$ を知ったときの $Y$ の条件付き分布はどちらも簡単にわかるので、この形を使う。

手順 1： $H (Y)$ を求める。
$2$ 回の結果（表表・表裏・裏表・裏裏）はどれも確率 $\frac{1}{4}$ である。表の回数を数えると
$P (Y = 0) = \frac{1}{4}, P (Y = 1) = \frac{2}{4} = \frac{1}{2}, P (Y = 2) = \frac{1}{4}$
となる。よって
$H (Y) = - \frac{1}{4} lo g_{2} \frac{1}{4} - \frac{1}{2} lo g_{2} \frac{1}{2} - \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 + \frac{1}{4} \cdot 2 = \frac{3}{2} .$

手順 2： $H (Y ∣ X)$ を求める。
$X = 0$ （1 回目が裏）のとき、 $Y$ は 2 回目が表なら $1$ 、裏なら $0$ なので、 $Y = 0, 1$ がそれぞれ確率 $\frac{1}{2}$ 。よって $H (Y ∣ X = 0) = h (\frac{1}{2}) = 1$ 。
$X = 1$ （1 回目が表）のとき、 $Y = 1, 2$ がそれぞれ確率 $\frac{1}{2}$ なので $H (Y ∣ X = 1) = 1$ 。
$P (X = 0) = P (X = 1) = \frac{1}{2}$ より
$H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot 1 = 1.$

手順 3：相互情報量を求める。
$I (X; Y) = H (Y) - H (Y ∣ X) = \frac{3}{2} - 1 = \frac{1}{2} .$

（確認： $H (X) = 1$ 、同時分布は $(X, Y) = (0, 0), (0, 1), (1, 1), (1, 2)$ がそれぞれ確率 $\frac{1}{4}$ なので $H (X, Y) = 2$ 。 $I (X; Y) = H (X) + H (Y) - H (X, Y) = 1 + \frac{3}{2} - 2 = \frac{1}{2}$ となり一致する。）

よって $I (X; Y) = \frac{1}{2}$ ビットである。

別解

$X$ を1回目の結果、 $X_{2}$ を2回目の結果とし、 $Y = X + X_{2}$ とする。 $I (X; Y) = H (Y) - H (Y ∣ X)$ で求める。

1. $Y$ の分布は $P (Y = 0) = \frac{1}{4}$ 、 $P (Y = 1) = \frac{1}{2}$ 、 $P (Y = 2) = \frac{1}{4}$ である。
2. したがって $H (Y) = \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 + \frac{1}{4} \cdot 2 = \frac{3}{2}$ ビットである。
3. $X = 0$ のとき $Y = X_{2}$ であり、 $X_{2}$ は公平な硬貨の結果なので $H (Y ∣ X = 0) = 1$ である。
4. $X = 1$ のとき $Y = 1 + X_{2}$ であり、同様に $H (Y ∣ X = 1) = 1$ である。
5. よって $H (Y ∣ X) = 1$ ビットである。
6. 以上から $I (X; Y) = \frac{3}{2} - 1 = \frac{1}{2}$ ビットである。

検算として、 $I = H (X) - H (X ∣ Y)$ でも求める。 $Y = 0$ のとき $X = 0$ 、 $Y = 2$ のとき $X = 1$ と確定するのでエントロピーは 0 である。 $Y = 1$ のとき $X$ は等確率で 0 か 1 なのでエントロピーは 1 である。 $H (X ∣ Y) = \frac{1}{2} \cdot 1 = \frac{1}{2}$ となる。 $H (X) = 1$ なので $I = 1 - \frac{1}{2} = \frac{1}{2}$ ビットとなり、一致する。

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題