この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

確率論の問題

難易度 1大学院の講義の例題レベル大学院数学確率論

状態空間 $S = {1, 2, 3}$ 上の時間一様なマルコフ連鎖 $(X_{n})_{n \geq 0}$ の推移確率行列が
$P = 0 \frac{1}{2} 1 \frac{1}{2} \frac{1}{2} 0 \frac{1}{2} 00$
で与えられている（第 $i$ 行第 $j$ 列の成分が状態 $i$ から状態 $j$ への推移確率 $p_{ij}$ ）。 $X_{0} = 1$ とし、状態 $1$ への再帰時間を $T_{1} = min {n \geq 1 : X_{n} = 1}$ とする。状態 $1$ の平均再帰時間 $m_{1} = E [T_{1} ∣ X_{0} = 1]$ を求めよ。

この問題で使うもの

マルコフ連鎖の再帰性とエルゴード性（説明と入口の問題）
定常分布（説明と入口の問題）

この問題を解けるようになるまで（66 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

「既約な有限マルコフ連鎖は正再帰的で、定常分布 $π$ と平均再帰時間 $m_{i}$ の間に $π_{i} = 1/ m_{i}$ が成り立つ」という再帰性・エルゴード性の技能を使います。まず連鎖が既約かどうかを確かめましょう。

ヒント 2

$π P = π$ と $π_{1} + π_{2} + π_{3} = 1$ を連立して定常分布を求め、 $m_{1} = 1/ π_{1}$ を計算します。

ヒント 3

$π P = π$ の第 2 成分から $π_{2} = π_{1}$ 、第 3 成分から $π_{3} = \frac{1}{2} π_{1}$ が得られます。あとは和が $1$ になる条件を使います。

答えと解説

答えを見る

\frac{5}{2}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

手順 1：再帰性の判定。 $1 \to 2$ （確率 $\frac{1}{2}$ ）、 $1 \to 3$ （確率 $\frac{1}{2}$ ）、 $2 \to 1$ （確率 $\frac{1}{2}$ ）、 $3 \to 1$ （確率 $1$ ）なので、どの状態からどの状態へも正の確率で到達できる。よってこの連鎖は既約である。状態が有限個の既約マルコフ連鎖では、すべての状態が正再帰的であり、定常分布 $π$ がただ一つ存在して、各状態 $i$ について
$π_{i} = \frac{1}{m _{i}}$
が成り立つ。したがって $π_{1}$ を求めればよい。

手順 2：定常分布を求める。 $π P = π$ を成分で書くと
$π_{1} = \frac{1}{2} π_{2} + π_{3}, π_{2} = \frac{1}{2} π_{1} + \frac{1}{2} π_{2}, π_{3} = \frac{1}{2} π_{1} .$
2 番目の式から $\frac{1}{2} π_{2} = \frac{1}{2} π_{1}$ 、すなわち $π_{2} = π_{1}$ 。3 番目の式から $π_{3} = \frac{1}{2} π_{1}$ 。これらを 1 番目の式に代入すると $\frac{1}{2} π_{1} + \frac{1}{2} π_{1} = π_{1}$ となり、矛盾なく成り立つ。

正規化条件 $π_{1} + π_{2} + π_{3} = 1$ より
$π_{1} (1 + 1 + \frac{1}{2}) = 1 ⟹ π_{1} = \frac{2}{5} .$
よって $π = (\frac{2}{5}, \frac{2}{5}, \frac{1}{5})$ である。

手順 3：平均再帰時間を求める。 $π_{1} = 1/ m_{1}$ より
$m_{1} = \frac{1}{π _{1}} = \frac{5}{2} .$

検算（一段解析）。 状態 $j$ から出発して初めて状態 $1$ に着くまでの平均時間を $h_{j}$ とする。状態 $2$ からは確率 $\frac{1}{2}$ で $1$ に着き、確率 $\frac{1}{2}$ で $2$ にとどまるので、 $h_{2} = 1 + \frac{1}{2} h_{2}$ より $h_{2} = 2$ 。状態 $3$ からは必ず $1$ へ移るので $h_{3} = 1$ 。状態 $1$ から出発すると最初の 1 歩で $2$ か $3$ へ移るので
$m_{1} = 1 + \frac{1}{2} h_{2} + \frac{1}{2} h_{3} = 1 + 1 + \frac{1}{2} = \frac{5}{2} .$
手順 3 の結果と一致する。

答え： $m_{1} = \frac{5}{2}$

別解

連鎖は既約（1→2, 1→3, 2→1, 3→1）で有限状態なので正再帰的であり、定常分布 $π$ が一意に存在して $m_{1} = 1/ π_{1}$ である。

$π P = π$ より
$π_{1} = \frac{1}{2} π_{2} + π_{3}$ , $π_{2} = \frac{1}{2} π_{1} + \frac{1}{2} π_{2}$ , $π_{3} = \frac{1}{2} π_{1}$ 。

2 番目の式から $π_{2} = π_{1}$ 、3 番目の式から $π_{3} = \frac{1}{2} π_{1}$ 。

$π_{1} + π_{2} + π_{3} = \frac{5}{2} π_{1} = 1$ より $π_{1} = \frac{2}{5}$ となる。

(検算) 1 番目の式に代入すると $\frac{1}{2} \cdot \frac{2}{5} + \frac{1}{5} = \frac{2}{5}$ で成り立つ。よって $m_{1} = \frac{5}{2}$ 。

(別解) 状態 1 から出発して 1 ステップ進む。確率 $\frac{1}{2}$ で状態 3 に行き、あと 1 ステップで 1 に戻る。確率 $\frac{1}{2}$ で状態 2 に行き、2 では確率 $\frac{1}{2}$ で 1 へ進み、確率 $\frac{1}{2}$ で 2 に留まるので、1 に戻るまでの平均ステップ数は 2。
したがって $m_{1} = 1 + \frac{1}{2} \cdot 1 + \frac{1}{2} \cdot 2 = \frac{5}{2}$ 。これは上の結果と一致する。

確率論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題