この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 1教科書の例題レベル大学数学情報理論・符号理論

確率変数 $X$ は ${0, 1}$ に値をとり、 $P (X = 0) = P (X = 1) = \frac{1}{2}$ に従う。確率変数 $Z$ は $X$ と独立で、 ${0, 1, 2}$ に値をとり、 $P (Z = 0) = P (Z = 1) = P (Z = 2) = \frac{1}{3}$ に従う。 $Y = X + Z$ とおくとき、相互情報量 $I (X; Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする。

この問題で使うもの

相互情報量（説明と入口の問題）

この問題を解けるようになるまで（64 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

相互情報量の公式 $I (X; Y) = H (Y) - H (Y ∣ X)$ を使う。 $Y = X + Z$ の形なので、 $X$ を与えたときの $Y$ のばらつきは $Z$ のばらつきそのものになる。

ヒント 2

$Z$ が $X$ と独立なので $H (Y ∣ X) = H (Z)$ となる。あとは $Y$ の分布を $(X, Z)$ の $6$ 通りの組から求めて $H (Y)$ を計算する。

ヒント 3

$H (Y ∣ X) = lo g_{2} 3$ 。 $Y$ の分布は $P (Y = 0) = P (Y = 3) = \frac{1}{6}$ 、 $P (Y = 1) = P (Y = 2) = \frac{1}{3}$ である。

答えと解説

答えを見る

\frac{1}{3}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

相互情報量を $I (X; Y) = H (Y) - H (Y ∣ X)$ の形で計算する。

手順 1： $H (Y ∣ X)$ を求める。
$X = x$ が与えられたとき $Y = x + Z$ であり、 $Z$ は $X$ と独立なので、 $Y$ は $x, x + 1, x + 2$ を確率 $\frac{1}{3}$ ずつとる。よって
$H (Y ∣ X = x) = H (Z) = - 3 \cdot \frac{1}{3} lo g_{2} \frac{1}{3} = lo g_{2} 3 (x = 0, 1)$
であり、
$H (Y ∣ X) = x \sum P (X = x) H (Y ∣ X = x) = \frac{1}{2} lo g_{2} 3 + \frac{1}{2} lo g_{2} 3 = lo g_{2} 3.$

手順 2： $Y$ の分布と $H (Y)$ を求める。
$X$ と $Z$ は独立なので、各組 $(X, Z)$ の確率は $\frac{1}{2} \cdot \frac{1}{3} = \frac{1}{6}$ である。 $Y$ の値ごとに数えると
- $Y = 0$ ： $(0, 0)$ の $1$ 通り、 $P (Y = 0) = \frac{1}{6}$
- $Y = 1$ ： $(0, 1), (1, 0)$ の $2$ 通り、 $P (Y = 1) = \frac{1}{3}$
- $Y = 2$ ： $(0, 2), (1, 1)$ の $2$ 通り、 $P (Y = 2) = \frac{1}{3}$
- $Y = 3$ ： $(1, 2)$ の $1$ 通り、 $P (Y = 3) = \frac{1}{6}$

したがって
$H (Y) = 2 \cdot \frac{1}{6} lo g_{2} 6 + 2 \cdot \frac{1}{3} lo g_{2} 3 = \frac{1}{3} (1 + lo g_{2} 3) + \frac{2}{3} lo g_{2} 3 = \frac{1}{3} + lo g_{2} 3.$

手順 3：相互情報量を求める。
$I (X; Y) = H (Y) - H (Y ∣ X) = (\frac{1}{3} + lo g_{2} 3) - lo g_{2} 3 = \frac{1}{3} .$

別解

$Y = X + Z$ の分布を求める。 $X, Z$ は独立なので、各組 $(x, z)$ の確率は $\frac{1}{2} \cdot \frac{1}{3} = \frac{1}{6}$ である。

$P (Y = 0) = P (X = 0, Z = 0) = \frac{1}{6}$
$P (Y = 1) = P (X = 0, Z = 1) + P (X = 1, Z = 0) = \frac{1}{3}$
$P (Y = 2) = P (X = 0, Z = 2) + P (X = 1, Z = 1) = \frac{1}{3}$
$P (Y = 3) = P (X = 1, Z = 2) = \frac{1}{6}$

$H (Y)$ を計算する（底 2）。

$H (Y) = 2 \cdot \frac{1}{6} lo g_{2} 6 + 2 \cdot \frac{1}{3} lo g_{2} 3 = \frac{1}{3} (1 + lo g_{2} 3) + \frac{2}{3} lo g_{2} 3 = \frac{1}{3} + lo g_{2} 3$

$X = x$ を固定すると $Y = x + Z$ は $Z$ を平行移動しただけなので、 $H (Y ∣ X) = H (Z) = lo g_{2} 3$ である。

よって $I (X; Y) = H (Y) - H (Y ∣ X) = \frac{1}{3} + lo g_{2} 3 - lo g_{2} 3 = \frac{1}{3}$ ビット。

検算： $I (X; Y) = \sum p (x, y) lo g \frac{p ( y ∣ x )}{p ( y )}$ を計算する。
$y = 0, 3$ のとき、 $p (y ∣ x) = \frac{1}{3}$ 、 $p (y) = \frac{1}{6}$ なので比は $2$ で、 $lo g_{2} 2 = 1$ 。この2項の寄与は合計 $\frac{1}{6} + \frac{1}{6} = \frac{1}{3}$ 。
$y = 1, 2$ のとき、 $p (y ∣ x) = \frac{1}{3}$ 、 $p (y) = \frac{1}{3}$ なので比は $1$ で、寄与は 0。
したがって $\frac{1}{3}$ となり、一致する。

	$Y = 0$	$Y = 1$	$Y = 2$
$X = 0$	$\frac{1}{4}$	$\frac{1}{4}$	$0$
$X = 1$	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{4}$

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題