情報理論・符号理論の問題

確率変数 $X,W,Z$ は互いに独立とする。$X$ と $W$ はそれぞれ $\{0,1,2,3\}$ 上の一様分布に従う。$Z$ は $P(Z=0)=\frac{1}{4}$, $P(Z=1)=\frac{3}{4}$ に従う。確率変数 $Y$ を次のように定める。
$$Y=\{\begin{array}{ll}W& (Z=0)\\ X\text{ を }2\text{ で割った余り}& (Z=1)\end{array}$$
このとき、条件付き相互情報量 $I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

確率変数 $X,Z$ は互いに独立で、それぞれ $$P(X=0)=P(X=1)=\frac{1}{2},P(Z=0)=P(Z=1)=\frac{1}{2}$$ に従う。積 $Y=XZ$ とおく。$X$ と $Y$ の相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする。

確率変数 $X$ は $\{0,1\}$ に値をとり、$P(X=0)=P(X=1)=\frac{1}{2}$ に従う。確率変数 $Z$ は $X$ と独立で、$\{0,1,2\}$ に値をとり、$P(Z=0)=P(Z=1)=P(Z=2)=\frac{1}{3}$ に従う。$Y=X+Z$ とおくとき、相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする。

表と裏が等しい確率 $\frac{1}{2}$ で出る硬貨を $2$ 回投げる。$2$ 回の結果は互いに独立である。$1$ 回目に表が出れば $X=1$、裏が出れば $X=0$ とし、$2$ 回のうち表が出た回数を $Y$ とする（$Y\in \{0,1,2\}$）。相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

確率変数 $X$ は $\{0,1\}$ に、確率変数 $Y$ は $\{0,1,2\}$ に値をとり、同時分布 $P(X=x,Y=y)$ が次の表で与えられている。
$$\begin{array}{cccc}& Y=0& Y=1& Y=2\\ X=0& \frac{1}{4}& \frac{1}{4}& 0\\ X=1& \frac{1}{8}& \frac{1}{8}& \frac{1}{4}\end{array}$$
$X$ を与えたときの $Y$ の条件付きエントロピー $H(Y\mid X)$ を求めよ。ただし、対数の底は $2$ とし、$0{\log }_{2}0=0$ と約束する。