情報理論・符号理論の問題

条件付き相互情報量は
$$I(X_1;X_2\mid Z)=\sum _{z}P(Z=z)I(X_1;X_2\mid Z=z),$$
$$I(X_1;X_2\mid Z=z)=H(X_1\mid Z=z)+H(X_2\mid Z=z)-H(X_1,X_2\mid Z=z)$$
で計算できる。

$Z$ の分布

$(X_1,X_2,X_3)$ は $8$ 通りが等確率 $\frac{1}{8}$ で、$Z=1$ となるのは $110,101,011,111$ の $4$ 通り。よって $P(Z=1)=P(Z=0)=\frac{1}{2}$。

$Z=1$ のとき

条件付きで $(X_1,X_2,X_3)$ は $110,101,011,111$ が各確率 $\frac{1}{4}$。$(X_1,X_2)$ の条件付き分布は
$$P(1,1)=\frac{1}{4}+\frac{1}{4}=\frac{1}{2},P(1,0)=\frac{1}{4},P(0,1)=\frac{1}{4},P(0,0)=0$$
なので
$$H(X_1,X_2\mid Z=1)=\frac{1}{2}{\log }_{2}2+\frac{1}{4}{\log }_{2}4+\frac{1}{4}{\log }_{2}4=\frac{1}{2}+\frac{1}{2}+\frac{1}{2}=\frac{3}{2}.$$
周辺は $P(X_1=1\mid Z=1)=\frac{1}{2}+\frac{1}{4}=\frac{3}{4}$ で
$$H(X_1\mid Z=1)=-\frac{3}{4}{\log }_2\frac{3}{4}-\frac{1}{4}{\log }_2\frac{1}{4}=\frac{3}{4}(2-{\log }_{2}3)+\frac{1}{4}\cdot 2=2-\frac{3}{4}{\log }_{2}3.$$
対称性から $H(X_2\mid Z=1)$ も同じ値。したがって
$$I(X_1;X_2\mid Z=1)=2\left(2-\frac{3}{4}{\log }_{2}3\right)-\frac{3}{2}=\frac{5}{2}-\frac{3}{2}{\log }_{2}3.$$

$Z=0$ のとき

$X_k$ をすべて $1-X_k$ に置きかえると分布は変わらず、$Z$ は $1-Z$ になる。この置きかえはエントロピーを変えないので、$I(X_1;X_2\mid Z=0)=I(X_1;X_2\mid Z=1)$。（直接計算しても、$(X_1,X_2)$ の条件付き分布は $P(0,0)=\frac{1}{2},P(0,1)=P(1,0)=\frac{1}{4}$ で同じ値になる。）

結論

$$I(X_1;X_2\mid Z)=\frac{1}{2}\left(\frac{5}{2}-\frac{3}{2}{\log }_{2}3\right)+\frac{1}{2}\left(\frac{5}{2}-\frac{3}{2}{\log }_{2}3\right)=\frac{5}{2}-\frac{3}{2}{\log }_{2}3\text{ビット}$$
（約 $0.123$ ビット）。$X_1,X_2$ は独立なので $I(X_1;X_2)=0$ だが、多数決 $Z$ を知ると $X_1$ と $X_2$ の間に依存関係が生じ、条件付き相互情報量は正になる。

$I(X_1;X_2\mid Z)={\sum }_{z}P(Z=z)I(X_1;X_2\mid Z=z)$。対称性（0 と 1 の入れ替え）より $z=0,1$ で同じ値なので $z=1$ だけ計算する。\n\n$P(Z=1)=\frac{1}{2}$。$Z=1$ のとき $(X_1,X_2,X_3)\in \{111,110,101,011\}$ で各確率 $\frac{1}{4}$。\n$(X_1,X_2)$ の条件付き同時分布: $(1,1)$ が $\frac{1}{2}$（111, 110）、$(1,0)$ が $\frac{1}{4}$（101）、$(0,1)$ が $\frac{1}{4}$（011）、$(0,0)$ が $0$。\n周辺分布: $P(X_1=1\mid Z=1)=\frac{3}{4}$、$P(X_1=0\mid Z=1)=\frac{1}{4}$。$X_2$ も同じ。\n\n$I(X_1;X_2\mid Z=1)=\sum p(x_1,x_2){\log }_2\frac{p(x_1,x_2)}{p(x_1)p(x_2)}$\n$=\frac{1}{2}{\log }_2\frac{1/2}{9/16}+2\cdot \frac{1}{4}{\log }_2\frac{1/4}{3/16}=\frac{1}{2}{\log }_2\frac{8}{9}+\frac{1}{2}{\log }_2\frac{4}{3}=\frac{1}{2}{\log }_2\frac{32}{27}$。\n\n${\log }_2\frac{32}{27}=5-3{\log }_{2}3$ なので $I(X_1;X_2\mid Z)=\frac{5-3{\log }_{2}3}{2}\approx 0.1225$ ビット。\n\n検算: エントロピーで確認。$H(X_1\mid Z=1)=H(\frac{3}{4},\frac{1}{4})\approx 0.8113$、$H(X_1,X_2\mid Z=1)=H(\frac{1}{2},\frac{1}{4},\frac{1}{4})=1.5$。$I=2\cdot 0.8113-1.5=0.1226$ で一致する。