定常分布

ある町の天気は、毎日「晴れ」か「雨」のどちらかであるとする。天気の変わり方は次の規則に従う。

• ある日が晴れのとき、翌日が雨になる確率は $\frac{1}{4}$、晴れになる確率は $\frac{3}{4}$
• ある日が雨のとき、翌日が晴れになる確率は $\frac{1}{3}$、雨になる確率は $\frac{2}{3}$

翌日の天気は当日の天気だけで決まり、それより前の天気には関係しないものとする。$n$ を正の整数とし、今日から $n$ 日後が雨である確率を $r_n$ とする。今日の天気にかかわらず、極限 $\underset{n\to \infty }{\lim }{r}_n$ を求めよ。

ある町の天気は毎日「晴れ」か「雨」のどちらかであり、次のようなマルコフ連鎖に従うものとする。

• 今日が晴れのとき、明日が雨である確率は $\frac{1}{5}$、晴れである確率は $\frac{4}{5}$
• 今日が雨のとき、明日が晴れである確率は $\frac{1}{3}$、雨である確率は $\frac{2}{3}$

状態を（晴れ, 雨）の順に並べると、推移確率行列は
$$P=\left(\begin{array}{cc}\frac{4}{5}& \frac{1}{5}\\ \frac{1}{3}& \frac{2}{3}\end{array}\right)$$
である。$n$ 日後が雨である確率は、最初の日の天気によらず、$n\to \infty$ のとき一定の値に近づく。この極限の値を求めよ。

ある町の天気を「晴れ」と「雨」の 2 つの状態だけで考える。翌日の天気は当日の天気だけで決まり、次の規則に従うものとする。

• 晴れの日の翌日が雨になる確率は $\frac{1}{5}$、晴れになる確率は $\frac{4}{5}$
• 雨の日の翌日が晴れになる確率は $\frac{2}{5}$、雨になる確率は $\frac{3}{5}$

$n$ 日目の天気を $X_n$（$n$ は 0 以上の整数）とすると、$X_0,X_1,X_2,\dots$ は状態の順を（晴れ, 雨）とした推移確率行列
$$P=\left(\begin{array}{cc}\frac{4}{5}& \frac{1}{5}\\ \frac{2}{5}& \frac{3}{5}\end{array}\right)$$
をもつマルコフ連鎖である。このマルコフ連鎖では、最初の日の天気によらず $n\to \infty$ のときの $X_n$ の分布は、$\pi P=\pi$ と各成分の和が $1$ であることを満たすただ 1 つの確率分布 $\pi$（定常分布）に収束することが知られている。

$\underset{n\to \infty }{\lim }P(X_n=\text{雨})$ を求めよ。

状態空間 $S=\{1,2,3\}$ 上の時間一様なマルコフ連鎖 $(X_n{)}_{n\ge 0}$ の推移確率行列が
$$P=\left(\begin{array}{ccc}0& 1& 0\\ \frac{1}{3}& \frac{1}{3}& \frac{1}{3}\\ 0& \frac{1}{2}& \frac{1}{2}\end{array}\right)$$
で与えられている（$i$ 行 $j$ 列の成分が状態 $i$ から状態 $j$ への推移確率）。$X_0=1$ とし、$T=\min \{n\ge 1:X_n=1\}$ を状態 $1$ への最初の再帰時刻とする。平均再帰時間 $m_1=E[T]$ を求めよ。

状態空間 $S=\{1,2,3\}$ 上の時間的に一様なマルコフ連鎖 $(X_n{)}_{n\ge 0}$ の推移確率行列が
$$P=\left(\begin{array}{ccc}\frac{1}{2}& \frac{1}{2}& 0\\ \frac{1}{3}& 0& \frac{2}{3}\\ 1& 0& 0\end{array}\right)$$
で与えられている。第 $i$ 行第 $j$ 列の成分は、状態 $i$ から状態 $j$ へ 1 ステップで移る確率 $p_{ij}$ である。$X_0=3$ から出発したとき、初めて状態 $3$ に戻るまでのステップ数を $T_3=\min \{n\ge 1:X_n=3\}$ とする。状態 $3$ の平均再帰時間 $m_3=E[T_3\mid X_0=3]$ を求めよ。

状態空間 $S=\{1,2,3\}$ 上の時間一様なマルコフ連鎖 $(X_n{)}_{n\ge 0}$ の推移確率行列が
$$P=\left(\begin{array}{ccc}0& \frac{1}{2}& \frac{1}{2}\\ \frac{1}{2}& \frac{1}{2}& 0\\ 1& 0& 0\end{array}\right)$$
で与えられている（第 $i$ 行第 $j$ 列の成分が状態 $i$ から状態 $j$ への推移確率 $p_{ij}$）。$X_0=1$ とし、状態 $1$ への再帰時間を $T_1=\min \{n\ge 1:X_n=1\}$ とする。状態 $1$ の平均再帰時間 $m_1=E[T_1\mid X_0=1]$ を求めよ。

状態空間 $\{1,2,3\}$ 上の時間的に一様なマルコフ連鎖 $(X_n{)}_{n\ge 0}$ があり、その推移確率行列 $P=(p_{ij})$（$p_{ij}=P(X_{n+1}=j\mid X_n=i)$）が
$$P=\left(\begin{array}{ccc}\frac{1}{2}& \frac{1}{2}& 0\\ \frac{1}{4}& \frac{1}{2}& \frac{1}{4}\\ 0& \frac{1}{3}& \frac{2}{3}\end{array}\right)$$
で与えられている。この連鎖の定常分布 $\pi =({\pi }_1,{\pi }_2,{\pi }_3)$（$\pi P=\pi$, ${\pi }_1+{\pi }_2+{\pi }_3=1$, ${\pi }_i\ge 0$ を満たすもの）を求め、組 $({\pi }_1,{\pi }_2,{\pi }_3)$ の形で答えよ。

状態が $1,2,3$ の $3$ つであるマルコフ決定過程を考える。各時刻 $t=0,1,2,\dots$ に現在の状態を見て行動を $1$ つ選ぶと、その時刻の報酬を受け取り、次の時刻の状態が次の確率で決まる（$p_{ij}$ は状態 $i$ から状態 $j$ へ遷移する確率）。

• 状態 $1$ で行動 $a$：報酬 $2$、$(p_{11},p_{12},p_{13})=\left(\frac{1}{2},\frac{1}{2},0\right)$
• 状態 $1$ で行動 $b$：報酬 $0$、$(p_{11},p_{12},p_{13})=(0,0,1)$
• 状態 $2$ で行動 $a$：報酬 $4$、$(p_{21},p_{22},p_{23})=\left(\frac{1}{3},\frac{2}{3},0\right)$
• 状態 $2$ で行動 $b$：報酬 $1$、$(p_{21},p_{22},p_{23})=\left(0,\frac{1}{2},\frac{1}{2}\right)$
• 状態 $3$ で行動 $c$（選べる行動はこれのみ）：報酬 $6$、$(p_{31},p_{32},p_{33})=\left(\frac{1}{2},\frac{1}{4},\frac{1}{4}\right)$

方策 $\pi$ のもとで時刻 $t$ に得る報酬を $R_t$ とし、初期状態 $i$ からの長期平均報酬を
$$g^{\pi }(i)=\underset{N\to \infty }{\lim }\frac{1}{N}{E}^{\pi }\left[\sum _{t=0}^{N-1}{R}_t|X_0=i\right]$$
で定める。この長期平均報酬のすべての方策にわたる最大値（最適平均報酬）を求めよ。なお、状態と行動が有限のこのマルコフ決定過程では、最適な方策が定常な決定的方策（各状態で常に同じ行動を選ぶ方策）の中に存在し、その最適平均報酬は初期状態によらないことを用いてよい。

状態空間 $\{1,2,3\}$ 上の斉次マルコフ連鎖 $X_0,X_1,X_2,\dots$ の推移確率行列が
$$P=\left(\begin{array}{ccc}\frac{1}{2}& \frac{1}{2}& 0\\ \frac{1}{4}& \frac{1}{4}& \frac{1}{2}\\ \frac{1}{3}& 0& \frac{2}{3}\end{array}\right)$$
で与えられている（$(i,j)$ 成分が状態 $i$ から状態 $j$ へ 1 回で移る確率）。$X_0=1$ とするとき、極限
$$\underset{n\to \infty }{\lim }P(X_{n+1}=X_n)$$
の値を求めよ。

$n\ge 2$ を整数とし、$\{0,1{\}}^n$ に値をとるマルコフ連鎖 $(X_t{)}_{t\ge 0}$ を次のように定める。$X_0=(0,0,\dots ,0)$ とし、各時刻 $t=0,1,2,\dots$ において、添字 $i\in \{1,2,\dots ,n\}$ を一様に選び、それとは独立にビット $b\in \{0,1\}$ を等確率で選んで、$X_t$ の第 $i$ 成分だけを $b$ に置き換えたものを $X_{t+1}$ とする（他の成分は変えない）。各時刻の選択は互いに独立とする。

$$T=\min \{t\ge 0:X_t=(1,1,0,0,\dots ,0)\}$$

とおく（第 $1$ 成分と第 $2$ 成分が $1$、残りが $0$ の状態に初めて到達する時刻）。期待値 $E[T]$ を $n$ の式で求めよ。

ある小売店の売り場は、各期のはじめに「通常」（状態 $1$）か「繁盛」（状態 $2$）のどちらかの状態にある。各期のはじめに状態を見て行動を 1 つ選ぶと、その期の報酬が得られ、次の期のはじめの状態が次の確率で決まる。

• 状態 $1$ で行動「通常営業」: 報酬 $4$。次の期は確率 $\frac{4}{5}$ で状態 $1$、確率 $\frac{1}{5}$ で状態 $2$。
• 状態 $1$ で行動「宣伝」: 報酬 $1$。次の期は確率 $1$ で状態 $2$。
• 状態 $2$ で行動「値上げ」: 報酬 $10$。次の期は確率 $1$ で状態 $1$。
• 状態 $2$ で行動「維持」: 報酬 $8$。次の期は確率 $\frac{4}{5}$ で状態 $2$、確率 $\frac{1}{5}$ で状態 $1$。

第 $t$ 期（$t=1,2,\dots$）の報酬を $R_t$ とする。過去の状態と行動の履歴に基づいて行動を選ぶ規則（方策）$\pi$ に対し、長期平均報酬を
$$g^{\pi }=\underset{N\to \infty }{\mathrm{liminf}}\frac{1}{N}{E}^{\pi }\left[\sum _{t=1}^N{R}_t\right]$$
で定める。すべての方策の中での $g^{\pi }$ の最大値を求めよ（この値は第 $1$ 期の状態によらない）。