この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

情報理論・符号理論の問題

難易度 1教科書の例題レベル大学数学情報理論・符号理論

確率変数 $X$ は ${0, 1}$ に、確率変数 $Y$ は ${0, 1, 2}$ に値をとり、同時分布 $P (X = x, Y = y)$ が次の表で与えられている。

	$Y = 0$	$Y = 1$	$Y = 2$
$X = 0$	$\frac{1}{4}$	$\frac{1}{4}$	$0$
$X = 1$	$\frac{1}{8}$	$\frac{1}{8}$	$\frac{1}{4}$

エントロピーの対数の底は $2$ とし、 $0 lo g_{2} 0 = 0$ と約束する。同時エントロピー $H (X, Y)$ と条件付きエントロピー $H (Y ∣ X)$ を、この順に組 $(H (X, Y), H (Y ∣ X))$ の形で求めよ。

この問題で使うもの

同時エントロピーと条件付きエントロピー（説明と入口の問題）

この問題を解けるようになるまで（63 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

同時エントロピーは表の全マスについて $- p lo g_{2} p$ を足したもの、条件付きエントロピーは $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ で求めます。連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ も使えます。

ヒント 2

$- \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{1}{2}$ 、 $- \frac{1}{8} lo g_{2} \frac{1}{8} = \frac{3}{8}$ です。また、各行を $P (X = x)$ で割ると $X = x$ のときの $Y$ の条件付き分布が得られます。

ヒント 3

$P (X = 0) = P (X = 1) = \frac{1}{2}$ なので $H (X) = 1$ 。 $X = 0$ のときの条件付き分布は $(\frac{1}{2}, \frac{1}{2}, 0)$ 、 $X = 1$ のときは $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ です。それぞれのエントロピーを計算して重み $\frac{1}{2}$ で平均しましょう。

答えと解説

答えを見る

(\frac{9}{4}, \frac{5}{4})

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

手順 1：同時エントロピー $H (X, Y)$ を求める。

同時分布の表の各確率 $p$ について $- p lo g_{2} p$ を足し合わせる。確率 $0$ のマスは $0 lo g_{2} 0 = 0$ なので無視してよい。

$- \frac{1}{4} lo g_{2} \frac{1}{4} = \frac{1}{4} \cdot 2 = \frac{1}{2}$ 、 $- \frac{1}{8} lo g_{2} \frac{1}{8} = \frac{1}{8} \cdot 3 = \frac{3}{8}$ である。表には $\frac{1}{4}$ が $3$ か所、 $\frac{1}{8}$ が $2$ か所あるから
$H (X, Y) = 3 \cdot \frac{1}{2} + 2 \cdot \frac{3}{8} = \frac{3}{2} + \frac{3}{4} = \frac{9}{4} .$

手順 2： $X$ の周辺分布と $H (X)$ を求める。

行ごとに和をとると
$P (X = 0) = \frac{1}{4} + \frac{1}{4} + 0 = \frac{1}{2}, P (X = 1) = \frac{1}{8} + \frac{1}{8} + \frac{1}{4} = \frac{1}{2} .$
よって $H (X) = h (\frac{1}{2}) = 1$ 。

手順 3： $H (Y ∣ X) = \sum_{x} p (x) H (Y ∣ X = x)$ を求める。

$X = 0$ のときの $Y$ の条件付き分布は、行を $P (X = 0) = \frac{1}{2}$ で割って $(\frac{1}{2}, \frac{1}{2}, 0)$ 。よって
$H (Y ∣ X = 0) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot 1 + 0 = 1.$
$X = 1$ のときは、行を $P (X = 1) = \frac{1}{2}$ で割って $(\frac{1}{4}, \frac{1}{4}, \frac{1}{2})$ 。よって
$H (Y ∣ X = 1) = \frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2} .$
したがって
$H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4} .$

手順 4：連鎖律で確かめる。

$H (X) + H (Y ∣ X) = 1 + \frac{5}{4} = \frac{9}{4}$ となり、手順 1 の $H (X, Y)$ と一致する。これは連鎖律 $H (X, Y) = H (X) + H (Y ∣ X)$ が成り立っていることを示している。

以上より $(H (X, Y), H (Y ∣ X)) = (\frac{9}{4}, \frac{5}{4})$ 。

別解

同時分布の確率は 1/4, 1/4, 0, 1/8, 1/8, 1/4（合計 1）。

同時エントロピー:
$H (X, Y) = 3 \cdot \frac{1}{4} \cdot 2 + 2 \cdot \frac{1}{8} \cdot 3 = \frac{3}{2} + \frac{3}{4} = \frac{9}{4}$ 。

周辺分布 $X$ : $P (X = 0) = \frac{1}{2}$ , $P (X = 1) = \frac{1}{2}$ 。よって $H (X) = 1$ 。

条件付きエントロピーは連鎖律より $H (Y ∣ X) = H (X, Y) - H (X) = \frac{9}{4} - 1 = \frac{5}{4}$ 。

検算: $X = 0$ のとき $Y$ の条件付き分布は $(1/2, 1/2, 0)$ でエントロピーは 1。 $X = 1$ のとき $(1/4, 1/4, 1/2)$ でエントロピーは $\frac{1}{4} \cdot 2 + \frac{1}{4} \cdot 2 + \frac{1}{2} \cdot 1 = \frac{3}{2}$ 。したがって $H (Y ∣ X) = \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot \frac{3}{2} = \frac{5}{4}$ 。これは上の結果と一致する。

情報理論・符号理論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題