この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

確率論の問題

難易度 1大学院の講義の例題レベル大学院数学確率論

状態空間 $S = {1, 2, 3}$ 上の時間一様なマルコフ連鎖 $(X_{n})_{n \geq 0}$ の推移確率行列が
$P = 0 \frac{1}{3} 0 1 \frac{1}{3} \frac{1}{2} 0 \frac{1}{3} \frac{1}{2}$
で与えられている（ $i$ 行 $j$ 列の成分が状態 $i$ から状態 $j$ への推移確率）。 $X_{0} = 1$ とし、 $T = min {n \geq 1 : X_{n} = 1}$ を状態 $1$ への最初の再帰時刻とする。平均再帰時間 $m_{1} = E [T]$ を求めよ。

この問題で使うもの

マルコフ連鎖の再帰性とエルゴード性（説明と入口の問題）
定常分布（説明と入口の問題）
到達確率と平均到達時間（説明と入口の問題）

この問題を解けるようになるまで（66 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

「マルコフ連鎖の再帰性とエルゴード性」の技能を使う。有限既約な連鎖が正再帰的であることを確かめ、定常分布と平均再帰時間の関係 $π_{i} = 1/ m_{i}$ を使う。

ヒント 2

$π P = π$ と $π_{1} + π_{2} + π_{3} = 1$ を解いて定常分布を求めれば、 $m_{1} = 1/ π_{1}$ で求まる。

ヒント 3

$π P = π$ の第1成分から $π_{1} = \frac{1}{3} π_{2}$ 、第3成分から $π_{3} = \frac{2}{3} π_{2}$ が得られる。あとは和が $1$ になる条件で $π_{2}$ を決める。

答えと解説

答えを見る

6

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

手順1：再帰性の判定。 推移を見ると $1 \to 2$ , $2 \to 1$ , $2 \to 3$ , $3 \to 2$ がすべて正の確率で起こるので、どの状態からどの状態へも到達でき、この連鎖は既約である。状態が有限個の既約なマルコフ連鎖では、すべての状態が正再帰的（平均再帰時間が有限）であり、定常分布 $π$ がただ 1 つ存在して
$π_{i} = \frac{1}{m _{i}} (i \in S)$
が成り立つ。そこで、定常分布を求めればよい。

手順2：定常分布を求める。 $π = (π_{1}, π_{2}, π_{3})$ として $π P = π$ を成分ごとに書くと
$π_{1} = \frac{1}{3} π_{2}, π_{2} = π_{1} + \frac{1}{3} π_{2} + \frac{1}{2} π_{3}, π_{3} = \frac{1}{3} π_{2} + \frac{1}{2} π_{3} .$
第1式より $π_{1} = \frac{1}{3} π_{2}$ 。第3式より $\frac{1}{2} π_{3} = \frac{1}{3} π_{2}$ なので $π_{3} = \frac{2}{3} π_{2}$ 。このとき第2式の右辺は $\frac{1}{3} π_{2} + \frac{1}{3} π_{2} + \frac{1}{3} π_{2} = π_{2}$ となり、第2式も成り立つ。
$π_{1} + π_{2} + π_{3} = 1$ より $(\frac{1}{3} + 1 + \frac{2}{3}) π_{2} = 2 π_{2} = 1$ なので $π_{2} = \frac{1}{2}$ 。よって
$π = (\frac{1}{6}, \frac{1}{2}, \frac{1}{3}) .$

手順3：平均再帰時間を求める。 $π_{1} = \frac{1}{m _{1}}$ より
$m_{1} = \frac{1}{π _{1}} = 6.$

検算（一段解析）。 状態 $j$ から出発して初めて状態 $1$ に着くまでの平均時間を $h_{j}$ とする。最初の1ステップで場合分けすると
$h_{2} = 1 + \frac{1}{3} h_{2} + \frac{1}{3} h_{3}, h_{3} = 1 + \frac{1}{2} h_{2} + \frac{1}{2} h_{3} .$
第2式より $h_{3} = 2 + h_{2}$ 。これを第1式に代入すると $h_{2} = 1 + \frac{1}{3} h_{2} + \frac{1}{3} (2 + h_{2})$ なので $\frac{1}{3} h_{2} = \frac{5}{3}$ 、すなわち $h_{2} = 5$ 。状態 $1$ からは必ず状態 $2$ に移るので $m_{1} = 1 + h_{2} = 6$ となり、結果が一致する。

答え： $6$

別解

連鎖は既約で有限状態なので正再帰的であり、定常分布 $π$ が一意に存在して $m_{1} = 1/ π_{1}$ となる。

$π P = π$ より
- $π_{1} = \frac{1}{3} π_{2}$
- $π_{3} = \frac{1}{3} π_{2} + \frac{1}{2} π_{3}$ 、すなわち $π_{3} = \frac{2}{3} π_{2}$

$π_{2} = 3 t$ とおくと $π_{1} = t, π_{3} = 2 t$ である。和が 1 なので $6 t = 1$ 、 $t = \frac{1}{6}$ 。よって $π_{1} = \frac{1}{6}$ 、 $m_{1} = 6$ 。

検算（一歩先の分解）： $h_{i}$ を状態 $i$ から状態 1 に到達するまでの平均時間とする。
- $h_{3} = 1 + \frac{1}{2} h_{3} + \frac{1}{2} h_{2}$ より $h_{3} = 2 + h_{2}$
- $h_{2} = 1 + \frac{1}{3} h_{2} + \frac{1}{3} h_{3} = 1 + \frac{1}{3} h_{2} + \frac{1}{3} (2 + h_{2})$ より $\frac{1}{3} h_{2} = \frac{5}{3}$ 、 $h_{2} = 5$

状態 1 からは必ず状態 2 へ進むので $m_{1} = 1 + h_{2} = 6$ 。定常分布による結果と一致する。

確率論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題