この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 1教科書の例題レベル大学数学情報理論・符号理論

確率変数 $X$ は ${0, 1}$ に、確率変数 $Y$ は ${0, 1, 2}$ に値をとり、同時分布 $P (X = x, Y = y)$ が次の表で与えられている。
$X = 0 X = 1 Y = 0 \frac{1}{4} \frac{1}{8} Y = 1 \frac{1}{4} \frac{1}{8} Y = 2 0 \frac{1}{4}$
$X$ を与えたときの $Y$ の条件付きエントロピー $H (Y ∣ X)$ を求めよ。ただし、対数の底は $2$ とし、 $0 lo g_{2} 0 = 0$ と約束する。

この問題で使うもの

同時エントロピーと条件付きエントロピー（説明と入口の問題）

この問題を解けるようになるまで（63 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

条件付きエントロピーの定義 $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ を使うか、連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ を使います。まず表から $X$ の周辺分布を求めましょう。

ヒント 2

表の各行を、その行の和 $P (X = x)$ で割ると条件付き分布 $P (Y = y ∣ X = x)$ が得られます。それぞれのエントロピー $H (Y ∣ X = x)$ を計算します。

ヒント 3

$P (X = 0) = P (X = 1) = \frac{1}{2}$ で、条件付き分布は $X = 0$ のとき $(\frac{1}{2}, \frac{1}{2}, 0)$ 、 $X = 1$ のとき $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ です。それぞれのエントロピーは $1$ と $\frac{3}{2}$ になります。

答えと解説

答えを見る

\frac{5}{4}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

手順 1：周辺分布 $p (x)$ を求める。 表の各行を足すと
$P (X = 0) = \frac{1}{4} + \frac{1}{4} + 0 = \frac{1}{2}, P (X = 1) = \frac{1}{8} + \frac{1}{8} + \frac{1}{4} = \frac{1}{2} .$

手順 2：各 $x$ について条件付き分布とそのエントロピーを求める。

$X = 0$ のとき、 $P (Y = y ∣ X = 0) = \frac{P ( X = 0 , Y = y )}{P ( X = 0 )}$ より、条件付き分布は $(\frac{1}{2}, \frac{1}{2}, 0)$ である。よって
$H (Y ∣ X = 0) = - \frac{1}{2} lo g_{2} \frac{1}{2} - \frac{1}{2} lo g_{2} \frac{1}{2} - 0 lo g_{2} 0 = \frac{1}{2} + \frac{1}{2} + 0 = 1.$

$X = 1$ のとき、条件付き分布は $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ である。よって
$H (Y ∣ X = 1) = - \frac{1}{4} lo g_{2} \frac{1}{4} - \frac{1}{4} lo g_{2} \frac{1}{4} - \frac{1}{2} lo g_{2} \frac{1}{2} = \frac{2}{4} + \frac{2}{4} + \frac{1}{2} = \frac{3}{2} .$

手順 3： $p (x)$ で重み付けして平均する。
$H (Y ∣ X) = x \sum p (x) H (Y ∣ X = x) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4} .$

手順 4：連鎖律で確かめる。 同時エントロピーは、表の $0$ でない確率 $\frac{1}{4}, \frac{1}{4}, \frac{1}{8}, \frac{1}{8}, \frac{1}{4}$ を使って
$H (X, Y) = 3 \cdot (- \frac{1}{4} lo g_{2} \frac{1}{4}) + 2 \cdot (- \frac{1}{8} lo g_{2} \frac{1}{8}) = 3 \cdot \frac{2}{4} + 2 \cdot \frac{3}{8} = \frac{3}{2} + \frac{3}{4} = \frac{9}{4} .$
また、 $X$ の分布は $(\frac{1}{2}, \frac{1}{2})$ なので $H (X) = 1$ である。連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ より
$H (Y ∣ X) = \frac{9}{4} - 1 = \frac{5}{4}$
となり、手順 3 の結果と一致する。

したがって $H (Y ∣ X) = \frac{5}{4}$ である。

別解

周辺分布は $P (X = 0) = \frac{1}{4} + \frac{1}{4} + 0 = \frac{1}{2}$ 、 $P (X = 1) = \frac{1}{8} + \frac{1}{8} + \frac{1}{4} = \frac{1}{2}$ 。

$X = 0$ のときの $Y$ の条件付き分布は $(\frac{1}{2}, \frac{1}{2}, 0)$ なので、エントロピーは $H (Y ∣ X = 0) = 1$ ビット。

$X = 1$ のときの条件付き分布は $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ なので、 $H (Y ∣ X = 1) = \frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2}$ ビット。

よって $H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4}$ 。

検算: $H (X, Y) = \frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{8} \cdot 3 + \frac{1}{8} \cdot 3 + \frac{1}{4} \cdot 2 = \frac{1}{2} + \frac{1}{2} + \frac{3}{8} + \frac{3}{8} + \frac{1}{2} = \frac{9}{4}$ 。 $H (X) = 1$ なので $H (Y ∣ X) = H (X, Y) - H (X) = \frac{9}{4} - 1 = \frac{5}{4}$ 。一致する。

	$Y = 0$	$Y = 1$	$Y = 2$
$X = 0$	$\frac{1}{4}$	$\frac{1}{4}$	$0$
$X = 1$	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{4}$

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題