力学系・エルゴード理論の問題

1. 2 ブロックの分布への帰着

$\mu \in \mathcal{M}$ とし、$X_n(x)=x_n$ とおく。分割 $\xi =\{[0],[1]\}$ は $\sigma$ の生成分割なので、コルモゴロフ–シナイの定理と $\mu$ の不変性より
$$h_{\mu }(\sigma )=\underset{n\to \infty }{\lim }{H}_{\mu }(X_n\mid X_0,\dots ,X_{n-1})\le H_{\mu }(X_n\mid X_{n-1})=H_{\mu }(X_1\mid X_0).$$
（条件を減らすと条件付きエントロピーは増えず、また不変性から $(X_{n-1},X_n)$ と $(X_0,X_1)$ は同分布。）

2 ブロックの確率を $\mu ([11])=c=\frac{2}{3}$, $\mu ([10])=\alpha$, $\mu ([01])=\beta$, $\mu ([00])=b$ とおく。不変性より $\mu ([1])=\mu ({\sigma }^{-1}[1])$ なので $\alpha +c=\beta +c$、すなわち $\alpha =\beta =:a$ である。$s=\mu ([1])=a+c$ とおくと
$$a=s-\frac{2}{3},b=1-c-2a=\frac{5}{3}-2s,$$
$a\ge 0,b\ge 0$ より $\frac{2}{3}\le s\le \frac{5}{6}$ である。

逆に、このような $(a,b)$ に対し、遷移確率 $P_{ij}=\mu ([ij])/\mu ([i])$ と定常分布 $(1-s,s)$ をもつマルコフ測度は $\sigma$ 不変で $\mu ([11])=\frac{2}{3}$ を満たし、そのエントロピーは $H(X_1\mid X_0)$ にちょうど等しい。よって
$$\underset{\mu \in \mathcal{M}}{\sup }{h}_{\mu }(\sigma )=\underset{2/3\le s\le 5/6}{\max }G(s),G(s)=H(X_0,X_1)-H(X_0),$$
$$G(s)=-\left(c\log c+2a\log a+b\log b\right)+s\log s+(1-s)\log (1-s).$$

2. 最大化

$\frac{da}{ds}=1,\frac{db}{ds}=-2$ より
$$G^{\prime }(s)=-2\log a+2\log b+\log s-\log (1-s).$$
$G^{\prime }(s)=0$ は $b^{2}s=a^2(1-s)$、すなわち $(5-6s{)}^{2}s=(3s-2{)}^2(1-s)$。展開すると
$$45s^3-81s^2+41s-4=0⟺(5s-4)(9s^2-9s+1)=0.$$
$9s^2-9s+1=0$ の解 $s=\frac{3\pm \sqrt{5}}{6}(\approx 0.873,0.127)$ は区間 $\left[\frac{2}{3},\frac{5}{6}\right]$ の外なので、区間内の臨界点は $s=\frac{4}{5}$ のみ。条件付きエントロピーは同時分布について凹なので $G$ は凹関数であり、$s=\frac{4}{5}$ で最大となる（端点では $s\to \frac{2}{3}$ で $G^{\prime }\to +\infty$、$s\to \frac{5}{6}$ で $G^{\prime }\to -\infty$ となることからも確認できる）。

このとき $a=\frac{2}{15},b=\frac{1}{15}$ で、遷移確率は
$$P_{00}=\frac{1}{3},P_{01}=\frac{2}{3},P_{10}=\frac{1}{6},P_{11}=\frac{5}{6},\mu ([0])=\frac{1}{5},\mu ([1])=\frac{4}{5}.$$
よって
$$G\left(\frac{4}{5}\right)=\frac{1}{5}\left(-\frac{1}{3}\log \frac{1}{3}-\frac{2}{3}\log \frac{2}{3}\right)+\frac{4}{5}\left(-\frac{1}{6}\log \frac{1}{6}-\frac{5}{6}\log \frac{5}{6}\right)$$
$$=\frac{1}{5}\left(\log 3-\frac{2}{3}\log 2\right)+\frac{4}{5}\left(\log 6-\frac{5}{6}\log 5\right)=\log 3+\frac{2}{3}\log 2-\frac{2}{3}\log 5.$$

3. 検算（圧力による別解）

行列 $M=\left(\begin{array}{cc}1& 1\\ 1& \frac{5}{2}\end{array}\right)$（$e^t=\frac{5}{2}$, ポテンシャル $t{1}_{[11]}$）の最大固有値は $3$、固有ベクトルは $(1,2)$ で、対応する平衡状態は上のマルコフ測度に一致する。変分原理より任意の $\mu \in \mathcal{M}$ で $h_{\mu }(\sigma )+\frac{2}{3}\log \frac{5}{2}\le \log 3$ であり、等号はこの測度で成り立つ。結果は一致する。

以上より
$$\underset{\mu \in \mathcal{M}}{\sup }{h}_{\mu }(\sigma )=\log 3-\frac{2}{3}\log \frac{5}{2}(\approx 0.4877).$$

$\mu ([11])=2/3$ という条件は 2 ブロックの分布に対する制約である。この制約のもとでエントロピーを最大にするのは 1 次マルコフ測度であることを使う（理由は下の注意を参照）。

$a=\mu ([1])$、$b=a-\frac{2}{3}$ とおく。不変性より $\mu ([10])=\mu ([01])=b$ である。さらに $\mu ([00])=\frac{1}{3}-2b$、$\mu ([11])=\frac{2}{3}$ となる。非負性から $0\le b\le 1/6$ が必要である。

このマルコフ測度のエントロピーは $h=H(\text{2 ブロック})-H(\text{1 ブロック})$ で与えられる。
$$h(b)=-\frac{2}{3}\ln \frac{2}{3}-2b\ln b-(\frac{1}{3}-2b)\ln (\frac{1}{3}-2b)+a\ln a+(1-a)\ln (1-a)$$
ここで $a=\frac{2}{3}+b$、$1-a=\frac{1}{3}-b$ である。

$b$ で微分して $0$ とおくと
$$-2\ln b+2\ln (\frac{1}{3}-2b)+\ln a-\ln (1-a)=0$$
すなわち $(\frac{1}{3}-2b{)}^2(\frac{2}{3}+b)=b^2(\frac{1}{3}-b)$ を得る。

$b=c/3$ とおくと $(1-2c{)}^2(2+c)=c^2(1-c)$ となる。整理すると $5c^3+3c^2-7c+2=(5c-2)(c^2+c-1)=0$ である。

$c\le 1/2$ の範囲で解は $c=2/5$ のみ、つまり $b=2/15$ である。$h(b)$ は $b=0$ と $b=1/6$ の両端で微分が $\pm \infty$ になる形をしており、内部の臨界点が最大を与える。

このとき $a=4/5$、$\mu ([10])=\mu ([01])=2/15$、$\mu ([00])=1/15$ である。

2 ブロックのエントロピーは
$$H_2=\ln 3+\frac{1}{3}\ln 5-\frac{14}{15}\ln 2$$
1 ブロックのエントロピーは
$$H_1=\ln 5-\frac{8}{5}\ln 2$$
よって
$$h=H_2-H_1=\ln 3-\frac{2}{3}\ln 5+\frac{2}{3}\ln 2=\ln 3+\frac{2}{3}\ln \frac{2}{5}\approx \mathrm{0.4877.}$$

検算：遷移確率は、1 から 1 へが $5/6$、0 から 1 へが $2/3$ である。このとき $h=\frac{4}{5}H(1/6)+\frac{1}{5}H(1/3)\approx 0.3605+0.1273=0.4878$ となり、上の値と一致する。

注意：$\mu ([11])$ の値は 2 ブロックの分布で決まる。2 ブロックの分布を固定したとき、エントロピー最大の不変測度は 1 次マルコフ測度である。これは一般に $h_{\mu }\le H(x_1\mid x_0)$ が成り立ち、等号がマルコフ測度で成立するためである。