この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 1教科書の例題レベル大学数学情報理論・符号理論

確率変数 $X \in {0, 1}$ と $Y \in {0, 1, 2}$ の同時分布 $P (X = x, Y = y)$ が次の表で与えられている。
$X = 0 X = 1 Y = 0 \frac{1}{4} \frac{1}{8} Y = 1 \frac{1}{4} \frac{1}{8} Y = 2 0 \frac{1}{4}$
対数の底を $2$ とし、 $0 lo g_{2} 0 = 0$ と約束する。同時エントロピー $H (X, Y)$ と条件付きエントロピー $H (Y ∣ X)$ を、この順に組で求めよ。

この問題で使うもの

同時エントロピーと条件付きエントロピー（説明と入口の問題）

この問題を解けるようになるまで（63 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

同時エントロピーの定義と、条件付きエントロピー $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ を使う。連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ で検算できる。

ヒント 2

$H (X, Y)$ は表の $0$ でない $5$ つの値について $- p lo g_{2} p$ を足す。 $H (Y ∣ X = x)$ は、表の各行を $P (X = x)$ で割った条件付き分布のエントロピーである。

ヒント 3

$P (X = 0) = P (X = 1) = \frac{1}{2}$ で、条件付き分布は $X = 0$ のとき $(\frac{1}{2}, \frac{1}{2}, 0)$ 、 $X = 1$ のとき $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ となる。

答えと解説

答えを見る

(\frac{9}{4}, \frac{5}{4})

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

1. 同時エントロピー $H (X, Y)$

定義 $H (X, Y) = - \sum_{x, y} p (x, y) lo g_{2} p (x, y)$ に表の値を代入する。 $0$ の欄は $0 lo g_{2} 0 = 0$ なので除いてよい。
$H (X, Y) = - 3 \cdot \frac{1}{4} lo g_{2} \frac{1}{4} - 2 \cdot \frac{1}{8} lo g_{2} \frac{1}{8} = 3 \cdot \frac{1}{4} \cdot 2 + 2 \cdot \frac{1}{8} \cdot 3 = \frac{3}{2} + \frac{3}{4} = \frac{9}{4} .$

2. 条件付きエントロピー $H (Y ∣ X)$

まず $X$ の周辺分布を求める（各行の和）。
$P (X = 0) = \frac{1}{4} + \frac{1}{4} + 0 = \frac{1}{2}, P (X = 1) = \frac{1}{8} + \frac{1}{8} + \frac{1}{4} = \frac{1}{2} .$

$X = 0$ のときの $Y$ の条件付き分布は、行の値を $P (X = 0) = \frac{1}{2}$ で割って $(\frac{1}{2}, \frac{1}{2}, 0)$ 。よって
$H (Y ∣ X = 0) = - \frac{1}{2} lo g_{2} \frac{1}{2} - \frac{1}{2} lo g_{2} \frac{1}{2} = 1.$

$X = 1$ のときは $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ 。よって
$H (Y ∣ X = 1) = 2 \cdot \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2} .$

これらを $P (X = x)$ で重み付けて平均する。
$H (Y ∣ X) = x \sum p (x) H (Y ∣ X = x) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4} .$

3. 連鎖律による確認

$H (X) = h (\frac{1}{2}) = 1$ なので
$H (X) + H (Y ∣ X) = 1 + \frac{5}{4} = \frac{9}{4} = H (X, Y)$
となり、連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ が成り立っていることが確かめられる。

答え： $(\frac{9}{4}, \frac{5}{4})$

別解

同時分布は 1/4, 1/4, 0, 1/8, 1/8, 1/4 で、合計は 1 になる。

同時エントロピー: 0 の項は 0 とする。
$H (X, Y) = 3 \cdot \frac{1}{4} lo g_{2} 4 + 2 \cdot \frac{1}{8} lo g_{2} 8 = 3 \cdot \frac{1}{4} \cdot 2 + 2 \cdot \frac{1}{8} \cdot 3 = \frac{3}{2} + \frac{3}{4} = \frac{9}{4}$ 。

周辺分布: $P (X = 0) = \frac{1}{2}$ , $P (X = 1) = \frac{1}{2}$ 。よって $H (X) = 1$ 。

連鎖律より $H (Y ∣ X) = H (X, Y) - H (X) = \frac{9}{4} - 1 = \frac{5}{4}$ 。

検算: $X = 0$ のとき $Y$ の条件付き分布は $(\frac{1}{2}, \frac{1}{2}, 0)$ で、エントロピーは 1。 $X = 1$ のとき $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ で、エントロピーは $\frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2}$ 。よって $H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4}$ 。これは上の結果と一致する。

答え: $(H (X, Y), H (Y ∣ X)) = (\frac{9}{4}, \frac{5}{4})$ （単位はビット）。

	$Y = 0$	$Y = 1$	$Y = 2$
$X = 0$	$\frac{1}{4}$	$\frac{1}{4}$	$0$
$X = 1$	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{4}$

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題