情報理論・符号理論の問題

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,1,e\}$ の離散無記憶通信路を考える。ここで $e$ は「消失」を表す記号である。入力 $X$ と出力 $Y$ の条件付き確率は、$x\in \{0,1\}$ に対して
$$P(Y=x\mid X=x)=\frac{5}{8},P(Y=e\mid X=x)=\frac{1}{4},P(Y=1-x\mid X=x)=\frac{1}{8}$$
で与えられる。この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、エントロピーと相互情報量の対数の底は $2$ とする（単位はビット）。

入力アルファベット・出力アルファベットがともに $\{0,1,2,3\}$ の離散無記憶通信路を考える。入力 $X=x$ に対して、出力 $Y$ は次のように定まる（和と差は $4$ を法として計算する）。
$$P(Y=x\mid X=x)=\frac{1}{2},P(Y=x+1\mid X=x)=\frac{1}{4},P(Y=x-1\mid X=x)=\frac{1}{4}$$
すなわち、入力の記号はそのまま届くか、「隣の」記号にずれて届く（たとえば $X=0$ のとき $Y$ は $0,1,3$ のいずれか）。

この通信路の通信路容量
$$C=\underset{P_X}{\max }I(X;Y)$$
を求めよ。ただし、最大は入力 $X$ の確率分布 $P_X$ 全体でとり、相互情報量の対数の底は $2$ とする（単位はビット）。

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,\mathrm{e},1\}$ の通信路を考える（$\mathrm{e}$ は「消失」を表す記号である）。入力 $X$ と出力 $Y$ の条件付き確率は、$x=0,1$ に対して
$$P(Y=x\mid X=x)=\frac{2}{3},P(Y=\mathrm{e}\mid X=x)=\frac{1}{3}$$
であり、それ以外の出力が現れる確率は $0$ である（すなわち、入力が反転して出力されることはない）。入力の分布を
$$P(X=0)=\frac{3}{4},P(X=1)=\frac{1}{4}$$
とするとき、相互情報量 $I(X;Y)$ を求めよ。ただし、エントロピーの対数の底は $2$ とする（単位はビット）。

入力アルファベット・出力アルファベットがともに $\{0,1\}$ の離散無記憶通信路で、入力 $X$ と出力 $Y$ の条件付き確率が
$$P(Y=0\mid X=0)=1,P(Y=1\mid X=0)=0,P(Y=0\mid X=1)=\frac{1}{2},P(Y=1\mid X=1)=\frac{1}{2}$$
で与えられるもの（$0$ は必ず正しく届き、$1$ は確率 $\frac{1}{2}$ で $0$ に化ける通信路）を考える。

この通信路の通信路容量 $C=\underset{P_X}{\max }I(X;Y)$（最大値は入力分布 $P_X$ 全体でとる）を求めよ。ただし、エントロピー・相互情報量の対数の底は $2$ とする。

入力アルファベット $\{0,1\}$、出力アルファベット $\{0,1,\mathrm{e}\}$ の離散無記憶通信路を考える。入力 $X=x$（$x\in \{0,1\}$）に対して、出力 $Y$ は
$$P(Y=x\mid X=x)=\frac{1}{2},P(Y=\mathrm{e}\mid X=x)=\frac{1}{4},P(Y=1-x\mid X=x)=\frac{1}{4}$$
で定まる（$\mathrm{e}$ は消失を表す記号である）。この通信路の通信路容量（$1$ 回の使用あたり、単位はビット）を求めよ。対数の底は $2$ とする。