情報理論・符号理論の問題

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,1,e\}$ の離散無記憶通信路を考える。ここで $e$ は「消失」を表す記号である。入力 $X$ と出力 $Y$ の条件付き確率は、$x\in \{0,1\}$ に対して
$$P(Y=x\mid X=x)=\frac{5}{8},P(Y=e\mid X=x)=\frac{1}{4},P(Y=1-x\mid X=x)=\frac{1}{8}$$
で与えられる。この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、エントロピーと相互情報量の対数の底は $2$ とする（単位はビット）。

入力アルファベット・出力アルファベットがともに $\{0,1,2\}$ の離散無記憶通信路を考える。入力 $X$ と出力 $Y$ の条件付き確率は、各 $x\in \{0,1,2\}$ について
$$P(Y=x\mid X=x)=\frac{1}{2},P(Y=y\mid X=x)=\frac{1}{4}(y\ne x)$$
で与えられる。すなわち、送った記号は確率 $\frac{1}{2}$ で正しく届き、残りの $2$ つの記号のそれぞれに確率 $\frac{1}{4}$ ずつで変わる。

この通信路の通信路容量 $C=\underset{P_X}{\max }I(X;Y)$（単位はビット、すなわち対数の底は $2$）を求めよ。ここで最大値は入力 $X$ の確率分布 $P_X$ 全体にわたってとる。

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,\mathrm{e},1\}$ の通信路を考える（$\mathrm{e}$ は「消失」を表す記号である）。入力 $X$ と出力 $Y$ の条件付き確率は、$x=0,1$ に対して
$$P(Y=x\mid X=x)=\frac{2}{3},P(Y=\mathrm{e}\mid X=x)=\frac{1}{3}$$
であり、それ以外の出力が現れる確率は $0$ である（すなわち、入力が反転して出力されることはない）。入力の分布を
$$P(X=0)=\frac{3}{4},P(X=1)=\frac{1}{4}$$
とするとき、相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

入力アルファベット $\{0,1\}$、出力アルファベット $\{0,1,\mathrm{e}\}$ の離散無記憶通信路を考える。入力 $X=x$（$x\in \{0,1\}$）に対して、出力 $Y$ は
$$P(Y=x\mid X=x)=\frac{1}{2},P(Y=\mathrm{e}\mid X=x)=\frac{1}{4},P(Y=1-x\mid X=x)=\frac{1}{4}$$
で定まる（$\mathrm{e}$ は消失を表す記号である）。この通信路の通信路容量（$1$ 回の使用あたり、単位はビット）を求めよ。対数の底は $2$ とする。

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,1,2\}$ の離散無記憶通信路を考える。入力 $X$ と出力 $Y$ の条件付き確率は次のとおりである。
$$P(Y=0\mid X=0)=\frac{1}{2},P(Y=1\mid X=0)=\frac{1}{4},P(Y=2\mid X=0)=\frac{1}{4},$$
$$P(Y=0\mid X=1)=\frac{1}{4},P(Y=1\mid X=1)=\frac{1}{4},P(Y=2\mid X=1)=\frac{1}{2}.$$
入力分布を $P(X=1)=q$, $P(X=0)=1-q$（$0\le q\le 1$）とし、相互情報量 $I(X;Y)$ を $q$ の関数として表して最大化することで、この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、対数の底は $2$ とする（単位はビット）。