情報理論・符号理論の問題

入力・出力のアルファベットがともに $\{0,1\}$ の 2 元対称通信路（BSC）を考える。この通信路では、送った記号が確率 $\frac{1}{8}$ で反転して受信され、確率 $\frac{7}{8}$ でそのまま受信される。各記号の反転は互いに独立に起こる（無記憶）。この通信路の通信路容量 $C$（単位はビット／通信路使用 1 回）を求めよ。対数の底は $2$ とし、答えは ${\log }_{2}7$ を用いた式で表せ。

入力・出力のアルファベットがともに $\{0,1\}$ である 2 元対称通信路を考える。この通信路では、入力した 1 ビットが確率 $\frac{1}{8}$ で反転して出力され、確率 $\frac{7}{8}$ でそのまま出力される。この通信路の通信路容量 $C$（単位はビット／通信路 1 回の使用、対数の底は 2）を求めよ。答えは ${\log }_{2}7$ を用いた式で表せ。

入力・出力のアルファベットがともに $\{0,1\}$ で、ビット反転確率が $\frac{1}{4}$ の 2 元対称通信路（BSC）を考える。この通信路を 2 つ直列につなぎ、1 つ目の通信路の出力をそのまま 2 つ目の通信路の入力とする。2 つの通信路でのビット反転は互いに独立に起こるものとする。

1 つ目の通信路の入力 $X$ から 2 つ目の通信路の出力 $Z$ までを 1 つの通信路とみなしたとき、その通信路容量（1 回の使用あたり、単位はビット）を求めよ。ただし、対数の底は $2$ とする。

入力アルファベット $\{0,1\}$、出力アルファベット $\{0,1,2\}$ の離散無記憶通信路を考える。入力 $X$ に対して、$X$ と独立な雑音 $Z$ が $P(Z=0)=P(Z=1)=\frac{1}{2}$ で生じ、出力は通常の整数の和
$$Y=X+Z$$
で与えられる。入力分布を $P(X=1)=q$ $(0\le q\le 1)$ とする。この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、対数の底は $2$ とし、単位はビットとする。

入力アルファベットが $\{0,1\}$、出力アルファベットが $\{0,1,2\}$ の離散無記憶通信路を考える。入力 $X$ と出力 $Y$ の条件付き確率は次のとおりである。
$$P(Y=0\mid X=0)=\frac{1}{2},P(Y=1\mid X=0)=\frac{1}{4},P(Y=2\mid X=0)=\frac{1}{4},$$
$$P(Y=0\mid X=1)=\frac{1}{4},P(Y=1\mid X=1)=\frac{1}{4},P(Y=2\mid X=1)=\frac{1}{2}.$$
入力分布を $P(X=1)=q$, $P(X=0)=1-q$（$0\le q\le 1$）とし、相互情報量 $I(X;Y)$ を $q$ の関数として表して最大化することで、この通信路の通信路容量 $C={\max }_{P_X}I(X;Y)$ を求めよ。ただし、対数の底は $2$ とする（単位はビット）。