情報理論・符号理論の問題

確率変数 $X$ は $\{1,2,3,4,5,6\}$ に値をとり、その確率分布は次のとおりである。
$$P(X=1)=P(X=2)=P(X=3)=\frac{1}{4},P(X=4)=\frac{1}{8},P(X=5)=P(X=6)=\frac{1}{16}$$
$X$ のエントロピー
$$H(X)=-\sum _{x=1}^{6}P(X=x){\log }_{2}P(X=x)$$
を求めよ。

確率変数 $X$ は $\{1,2,3,4,5\}$ に値をとり、その確率分布は次の表で与えられる。

$$\begin{array}{cccccc}x& 1& 2& 3& 4& 5\\ P(X=x)& \frac{1}{2}& \frac{1}{4}& \frac{1}{8}& \frac{1}{8}& 0\end{array}$$

$X$ のエントロピー $$H(X)=-\sum _{x}P(X=x){\log }_{2}P(X=x)$$ を求めよ。ただし、$0{\log }_{2}0=0$ と約束する。

表と裏が等しい確率 $\frac{1}{2}$ で出る硬貨を $2$ 回投げる。$2$ 回の結果は互いに独立である。$1$ 回目に表が出れば $X=1$、裏が出れば $X=0$ とし、$2$ 回のうち表が出た回数を $Y$ とする（$Y\in \{0,1,2\}$）。相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

確率変数 $X,W,Z$ は互いに独立とする。$X$ と $W$ はそれぞれ $\{0,1,2,3\}$ 上の一様分布に従う。$Z$ は $P(Z=0)=\frac{1}{4}$, $P(Z=1)=\frac{3}{4}$ に従う。確率変数 $Y$ を次のように定める。
$$Y=\{\begin{array}{ll}W& (Z=0)\\ X\text{ を }2\text{ で割った余り}& (Z=1)\end{array}$$
このとき、条件付き相互情報量 $I(X;Y\mid Z)=H(X\mid Z)-H(X\mid Y,Z)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,1,2\}$ の離散無記憶通信路を考える。入力 $X$ と出力 $Y$ の条件付き確率は次のとおりである。
$$P(Y=0\mid X=0)=\frac{1}{2},P(Y=1\mid X=0)=\frac{1}{4},P(Y=2\mid X=0)=\frac{1}{4},$$
$$P(Y=0\mid X=1)=\frac{1}{4},P(Y=1\mid X=1)=\frac{1}{4},P(Y=2\mid X=1)=\frac{1}{2}.$$
入力分布を $P(X=1)=q$, $P(X=0)=1-q$（$0\le q\le 1$）とし、相互情報量 $I(X;Y)$ を $q$ の関数として表して最大化することで、この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、対数の底は $2$ とする（単位はビット）。