情報理論・符号理論の問題

条件付き相互情報量は、$Z$ の値ごとに分けて
$$I(X;Y\mid Z)=\sum _{z}P(Z=z)I(X;Y\mid Z=z),I(X;Y\mid Z=z)=H(X\mid Z=z)-H(X\mid Y,Z=z)$$
と計算できる。

$Z$ の値によらない部分。 $X$ と $Z$ は独立なので、$Z=z$ のもとでも $X$ は $\{0,1,2,3\}$ 上の一様分布である。よって
$$H(X\mid Z=0)=H(X\mid Z=1)={\log }_{2}4=2.$$

$Z=0$ のとき。 $Y=W$ であり、$W$ は $X,Z$ と独立である。したがって $Z=0$ のもとで $Y$ は $X$ と独立なので、$Y$ の値を知っても $X$ の分布は一様のままである。
$$H(X\mid Y,Z=0)=2,I(X;Y\mid Z=0)=2-2=0.$$

$Z=1$ のとき。 $Y$ は $X$ を $2$ で割った余りである。$Y=0$ を知ると $X\in \{0,2\}$ がそれぞれ確率 $\frac{1}{2}$、$Y=1$ を知ると $X\in \{1,3\}$ がそれぞれ確率 $\frac{1}{2}$ になる。どちらの場合も条件付きエントロピーは ${\log }_{2}2=1$ である。
$$H(X\mid Y,Z=1)=\frac{1}{2}\cdot 1+\frac{1}{2}\cdot 1=1,I(X;Y\mid Z=1)=2-1=1.$$

重み付き平均をとる。
$$I(X;Y\mid Z)=\frac{1}{4}\cdot 0+\frac{3}{4}\cdot 1=\frac{3}{4}.$$

（確認）$H(X\mid Z)=2$、$H(X\mid Y,Z)=\frac{1}{4}\cdot 2+\frac{3}{4}\cdot 1=\frac{5}{4}$ より、$2-\frac{5}{4}=\frac{3}{4}$ となり一致する。

よって $I(X;Y\mid Z)=\frac{3}{4}$ ビットである。

$I(X;Y\mid Z)={\sum }_{z}P(Z=z)I(X;Y\mid Z=z)$ として計算する。

(1) $Z=0$ のとき、$Y=W$ は $X$ と独立なので $I(X;Y\mid Z=0)=0$。

(2) $Z=1$ のとき、$Y=X\mathrm{mod}2$ は $X$ の関数である。よって $I(X;Y\mid Z=1)=H(Y\mid Z=1)-H(Y\mid X,Z=1)=H(Y\mid Z=1)-0$。$X$ は一様なので $Y$ は $\{0,1\}$ 上の一様分布で、$H(Y\mid Z=1)=1$ ビット。よって $I(X;Y\mid Z=1)=1$。

(3) 重み付けすると $I(X;Y\mid Z)=\frac{1}{4}\cdot 0+\frac{3}{4}\cdot 1=\frac{3}{4}$。

検算: $H(X\mid Z)=2$（$X$ は $Z$ と独立で一様）。$H(X\mid Y,Z)$ は、$Z=0$ のとき $2$ ビット、$Z=1$ のとき $Y$ が分かると $X$ は 2 通りに絞られるので $1$ ビット。よって $H(X\mid Y,Z)=\frac{1}{4}\cdot 2+\frac{3}{4}\cdot 1=\frac{5}{4}$。したがって $2-\frac{5}{4}=\frac{3}{4}$ となり、一致する。