情報理論・符号理論の問題

確率変数 $X$ は $\{0,1\}$ に、確率変数 $Y$ は $\{0,1,2\}$ に値をとり、同時分布 $P(X=x,Y=y)$ が次の表で与えられている。
$$\begin{array}{cccc}& Y=0& Y=1& Y=2\\ X=0& \frac{1}{4}& \frac{1}{4}& 0\\ X=1& \frac{1}{8}& \frac{1}{8}& \frac{1}{4}\end{array}$$
$X$ を与えたときの $Y$ の条件付きエントロピー $H(Y\mid X)$ を求めよ。ただし、対数の底は $2$ とし、$0{\log }_{2}0=0$ と約束する。

確率変数 $X$ は $\{1,2,3,4,5,6\}$ に値をとり、その確率分布は次のとおりである。
$$P(X=1)=P(X=2)=P(X=3)=\frac{1}{4},P(X=4)=\frac{1}{8},P(X=5)=P(X=6)=\frac{1}{16}$$
$X$ のエントロピー
$$H(X)=-\sum _{x=1}^{6}P(X=x){\log }_{2}P(X=x)$$
を求めよ。

確率変数 $X\in \{0,1\}$ と $Y\in \{0,1,2\}$ の同時分布 $P(X=x,Y=y)$ が次の表で与えられている。
$$\begin{array}{cccc}& Y=0& Y=1& Y=2\\ X=0& \frac{1}{4}& \frac{1}{4}& 0\\ X=1& \frac{1}{8}& \frac{1}{8}& \frac{1}{4}\end{array}$$
対数の底を $2$ とし、$0{\log }_{2}0=0$ と約束する。同時エントロピー $H(X,Y)$ と条件付きエントロピー $H(Y\mid X)$ を、この順に組で求めよ。

$1$ から $8$ までの整数が $1$ つずつ書かれた正八面体のさいころがある。どの目も同じ確率 $\frac{1}{8}$ で出るものとする。このさいころを $1$ 回投げ、出た目の数を $2$ 進法で表したときの桁数を $X$ とする（たとえば、目が $5$ のときは $5=101_{(2)}$ なので $X=3$ である）。

確率変数 $X$ のエントロピー
$$H(X)=-\sum _{x}P(X=x){\log }_{2}P(X=x)$$
を求めよ（単位はビット）。

確率変数 $X$ は $\{0,1\}$ に、確率変数 $Y$ は $\{0,1,2\}$ に値をとり、同時分布 $P(X=x,Y=y)$ が次の表で与えられている。

エントロピーの対数の底は $2$ とし、$0{\log }_{2}0=0$ と約束する。同時エントロピー $H(X,Y)$ と条件付きエントロピー $H(Y\mid X)$ を、この順に組 $(H(X,Y),H(Y\mid X))$ の形で求めよ。