情報理論・符号理論の問題

条件付き相互情報量は
$$I(X_1;X_2\mid Y)=H(X_1\mid Y)-H(X_1\mid X_2,Y)$$
で計算できる。以下、対数の底は $2$ とし、$h(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p)$ を二値エントロピー関数とする。

1. $H(X_1\mid Y)$. $Y$ は二項分布 $B(3,\frac{1}{2})$ に従い、$P(Y=0)=P(Y=3)=\frac{1}{8}$, $P(Y=1)=P(Y=2)=\frac{3}{8}$。
- $Y=0$ または $Y=3$ のとき $X_1$ は確定するので、条件付きエントロピーは $0$。
- $Y=1$ のとき、$(X_1,X_2,X_3)$ は $(1,0,0),(0,1,0),(0,0,1)$ の 3 通りが等確率なので $P(X_1=1\mid Y=1)=\frac{1}{3}$。$Y=2$ のときも同様に $P(X_1=0\mid Y=2)=\frac{1}{3}$。

$$h\left(\frac{1}{3}\right)=\frac{1}{3}{\log }_{2}3+\frac{2}{3}{\log }_2\frac{3}{2}={\log }_{2}3-\frac{2}{3}$$
より
$$H(X_1\mid Y)=2\cdot \frac{3}{8}\left({\log }_{2}3-\frac{2}{3}\right)=\frac{3}{4}{\log }_{2}3-\frac{1}{2}.$$

2. $H(X_1\mid X_2,Y)$. $(X_2,Y)$ を知ることは $(X_2,X_1+X_3)$ を知ることと同じである（$X_1+X_3=Y-X_2$）。$(X_1,X_3)$ は $X_2$ と独立なので
$$H(X_1\mid X_2,Y)=H(X_1\mid X_2,X_1+X_3)=H(X_1\mid X_1+X_3).$$
$S=X_1+X_3$ は $P(S=0)=P(S=2)=\frac{1}{4}$, $P(S=1)=\frac{1}{2}$。$S=0,2$ なら $X_1$ は確定し、$S=1$ なら $X_1$ は $0,1$ を等確率でとる。よって
$$H(X_1\mid X_1+X_3)=\frac{1}{2}\cdot 1=\frac{1}{2}.$$

3. 結論.
$$I(X_1;X_2\mid Y)=\left(\frac{3}{4}{\log }_{2}3-\frac{1}{2}\right)-\frac{1}{2}=\frac{3}{4}{\log }_{2}3-1(\approx 0.189).$$
$X_1$ と $X_2$ は独立なので $I(X_1;X_2)=0$ だが、和 $Y$ で条件付けると正の相互情報量が生じる。

$I(X_1;X_2\mid Y)={\sum }_{y}P(Y=y)I(X_1;X_2\mid Y=y)$ と分解する。

$Y=0$（確率 $1/8$）と $Y=3$（確率 $1/8$）では $X_1,X_2$ が確定するので条件付き相互情報量は $0$。

$Y=1$（確率 $3/8$）: 3 つのうちちょうど 1 つが 1 で、3 通りは等確率。
- $H(X_1\mid Y=1)=h(1/3)={\log }_{2}3-\frac{2}{3}$（$h$ は 2 値エントロピー）。
- $X_2=1$（確率 $1/3$）のとき $X_1=0$ が確定でエントロピー 0。$X_2=0$（確率 $2/3$）のとき $X_1$ は $1/2$ ずつなのでエントロピー 1。よって $H(X_1\mid X_2,Y=1)=\frac{2}{3}$。
- $I(X_1;X_2\mid Y=1)={\log }_{2}3-\frac{2}{3}-\frac{2}{3}={\log }_{2}3-\frac{4}{3}$。

$Y=2$（確率 $3/8$）も 0 と 1 を入れ替えた対称な状況なので同じ値 ${\log }_{2}3-\frac{4}{3}$。

合計: $I=\frac{3}{8}\cdot 2\left({\log }_{2}3-\frac{4}{3}\right)=\frac{3}{4}{\log }_{2}3-1\approx 0.1887$。

検算: ${\log }_{2}3\approx 1.58496$ より ${\log }_{2}3-4/3\approx 0.2516>0$、$0.75\times 0.2516\approx 0.1887$ で一致。