情報理論・符号理論の問題

符号アルファベットを $\{0,1,2\}$ とする 3 元符号を考える。符号長 $1$ の符号語が $2$ 個、符号長 $2$ の符号語が $2$ 個、符号長 $3$ の符号語が $k$ 個からなる語頭符号（瞬時符号）が存在するような正の整数 $k$ の最大値を求めよ。

記号 $0,1$ を使う 2 元符号を考える。長さ $2$ の符号語が $2$ 個、長さ $3$ の符号語が $1$ 個、長さ $4$ の符号語が $k$ 個からなる語頭符号（瞬時符号）を作りたい。ただし、どの 2 つの符号語も互いに異なるものとする。このような語頭符号が存在する 0 以上の整数 $k$ のうち、最大のものを求めよ。

情報源記号 $a_1,a_2,\dots ,a_6$ がそれぞれ確率
$$P(a_1)=\frac{1}{3},P(a_2)=\frac{1}{4},P(a_3)=\frac{1}{6},P(a_4)=\frac{1}{8},P(a_5)=\frac{1}{12},P(a_6)=\frac{1}{24}$$
で独立に発生する無記憶情報源がある。この情報源の各記号に、符号アルファベット $\{0,1,2\}$ の語を符号語として割り当てる 3 元の瞬時符号（どの符号語も他の符号語の接頭語にならない符号）を考える。このような符号の平均符号長（1 記号あたりの符号語の長さの期待値）の最小値を求めよ。

情報源の記号 $a_1,a_2,a_3,a_4$ が、それぞれ確率
$$\frac{9}{20},\frac{1}{4},\frac{1}{5},\frac{1}{10}$$
で出力される。この情報源に対して $2$ 元ハフマン符号（符号アルファベット $\{0,1\}$）を構成するとき、$1$ 記号あたりの平均符号長 $\bar{L}={\sum }_i{p}_i{l}_i$ を求めよ。ただし $p_i$ は $a_i$ の確率、$l_i$ は $a_i$ の符号語の長さである。

情報源 $X$ は 4 個の記号 $a_1,a_2,a_3,a_4$ を、それぞれ次の確率で出力する。$$P(a_1)=\frac{2}{5},P(a_2)=\frac{3}{10},P(a_3)=\frac{1}{5},P(a_4)=\frac{1}{10}$$符号記号を $\{0,1,2\}$ とする 3 元語頭符号で $X$ の各記号を符号化するとき、1 記号あたりの平均符号長 $\bar{L}={\sum }_{i=1}^{4}P(a_i)l_i$（$l_i$ は $a_i$ の符号語の長さ）の最小値を求めよ。