情報理論・符号理論の問題

確率変数 $X$ は $\{1,2,3,4,5\}$ に値をとり、その確率分布は次の表で与えられる。

$$\begin{array}{cccccc}x& 1& 2& 3& 4& 5\\ P(X=x)& \frac{1}{2}& \frac{1}{4}& \frac{1}{8}& \frac{1}{8}& 0\end{array}$$

$X$ のエントロピー $$H(X)=-\sum _{x}P(X=x){\log }_{2}P(X=x)$$ を求めよ。ただし、$0{\log }_{2}0=0$ と約束する。

確率変数 $X,Z$ は互いに独立で、それぞれ $$P(X=0)=P(X=1)=\frac{1}{2},P(Z=0)=P(Z=1)=\frac{1}{2}$$ に従う。積 $Y=XZ$ とおく。$X$ と $Y$ の相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする。

$1$ から $8$ までの整数が $1$ つずつ書かれた正八面体のさいころがある。どの目も同じ確率 $\frac{1}{8}$ で出るものとする。このさいころを $1$ 回投げ、出た目の数を $2$ 進法で表したときの桁数を $X$ とする（たとえば、目が $5$ のときは $5=101_{(2)}$ なので $X=3$ である）。

確率変数 $X$ のエントロピー
$$H(X)=-\sum _{x}P(X=x){\log }_{2}P(X=x)$$
を求めよ（単位はビット）。

$\{0,1\}$ に値をとる確率変数 $X,Y$ の同時分布が次で与えられている。
$$P(X=0,Y=0)=\frac{1}{2},P(X=0,Y=1)=\frac{1}{4},P(X=1,Y=0)=0,P(X=1,Y=1)=\frac{1}{4}$$
対数の底を $2$ とするとき、相互情報量 $I(X;Y)$ を求めよ。ただし $0{\log }_{2}0=0$ とする。

情報源 $X$ は 4 個の記号 $a_1,a_2,a_3,a_4$ を、それぞれ次の確率で出力する。$$P(a_1)=\frac{2}{5},P(a_2)=\frac{1}{4},P(a_3)=\frac{1}{5},P(a_4)=\frac{3}{20}$$ 符号記号を $\{0,1,2\}$ とする 3 元の語頭符号で $X$ の各記号を 1 個ずつ符号化するとき、1 記号あたりの平均符号長 $\bar{L}={\sum }_{i=1}^{4}P(a_i)l_i$（$l_i$ は $a_i$ の符号語の長さ）の最小値を求めよ。