この問題は、利用者からの報告を受けて確認中です。答えや解説に誤りがあるかもしれません。

確率論の問題

難易度 1大学院の講義の例題レベル大学院数学確率論

状態空間 $S = {1, 2, 3}$ 上の時間的に一様なマルコフ連鎖 $(X_{n})_{n \geq 0}$ の推移確率行列が
$P = \frac{1}{2} \frac{1}{3} 1 \frac{1}{2} 00 0 \frac{2}{3} 0$
で与えられている。第 $i$ 行第 $j$ 列の成分は、状態 $i$ から状態 $j$ へ 1 ステップで移る確率 $p_{ij}$ である。 $X_{0} = 3$ から出発したとき、初めて状態 $3$ に戻るまでのステップ数を $T_{3} = min {n \geq 1 : X_{n} = 3}$ とする。状態 $3$ の平均再帰時間 $m_{3} = E [T_{3} ∣ X_{0} = 3]$ を求めよ。

この問題で使うもの

マルコフ連鎖の再帰性とエルゴード性（説明と入口の問題）
定常分布（説明と入口の問題）
到達確率と平均到達時間（説明と入口の問題）

この問題を解けるようになるまで（66 技能）

算数中学高校大学大学院

読み込み中…

右端（太枠）がこの問題で使う技能です。左へドラッグすると、さらに前の前提をさかのぼれます。技能を押すと、そこまでの道筋が光ります。

一覧で見る（前提が先）

ヒント

行き詰まったら、上から順に 1 つずつ開いてください。

ヒント 1

「マルコフ連鎖の再帰性とエルゴード性」の技能を使います。まず連鎖が既約で正再帰的かどうかを確かめ、定常分布と平均再帰時間の関係 $π_{i} = 1/ m_{i}$ を使いましょう。

ヒント 2

$π P = π$ と $π_{1} + π_{2} + π_{3} = 1$ を連立させて定常分布を求めれば、 $m_{3} = 1/ π_{3}$ が得られます。

ヒント 3

$π P = π$ から $π_{2} = \frac{1}{2} π_{1}$ 、 $π_{3} = \frac{1}{3} π_{1}$ がわかります。これを和が $1$ になる条件に代入してください。

答えと解説

答えを見る

\frac{11}{2}

結果を記録する（このブラウザにだけ保存されます）:

解説を読む

手順 1：再帰性の判定。 $1 \to 2 \to 3 \to 1$ と正の確率で移れるので、すべての状態は互いに行き来でき、連鎖は既約である。状態空間は有限なので、既約な有限マルコフ連鎖のすべての状態は正再帰的である。このとき定常分布 $π$ がただ 1 つ存在し、各状態 $i$ について
$π_{i} = \frac{1}{m _{i}}$
が成り立つ。したがって、 $π_{3}$ を求めれば $m_{3} = 1/ π_{3}$ が得られる。

手順 2：定常分布を求める。 $π P = π$ を成分ごとに書くと
$π_{1} = \frac{1}{2} π_{1} + \frac{1}{3} π_{2} + π_{3}, π_{2} = \frac{1}{2} π_{1}, π_{3} = \frac{2}{3} π_{2}$
となる。第 2 式と第 3 式から $π_{2} = \frac{1}{2} π_{1}$ 、 $π_{3} = \frac{2}{3} \cdot \frac{1}{2} π_{1} = \frac{1}{3} π_{1}$ である（このとき第 1 式は $\frac{1}{2} π_{1} + \frac{1}{6} π_{1} + \frac{1}{3} π_{1} = π_{1}$ となり、成り立つ）。条件 $π_{1} + π_{2} + π_{3} = 1$ より
$π_{1} (1 + \frac{1}{2} + \frac{1}{3}) = \frac{11}{6} π_{1} = 1$
なので、 $π_{1} = \frac{6}{11}$ 、 $π_{2} = \frac{3}{11}$ 、 $π_{3} = \frac{2}{11}$ である。

手順 3： $π_{i} = 1/ m_{i}$ を使う。
$m_{3} = \frac{1}{π _{3}} = \frac{11}{2} .$

検算（一段解析）. 状態 $i$ から状態 $3$ に初めて到達するまでの平均ステップ数を $h_{i}$ とおく。最初の 1 ステップで場合分けすると
$h_{1} = 1 + \frac{1}{2} h_{1} + \frac{1}{2} h_{2}, h_{2} = 1 + \frac{1}{3} h_{1}$
となる（状態 $2$ から確率 $\frac{2}{3}$ で状態 $3$ に着くので、その場合の残りのステップ数は $0$ である）。第 2 式を第 1 式に代入すると $h_{1} = \frac{3}{2} + \frac{2}{3} h_{1}$ となり、 $h_{1} = \frac{9}{2}$ が得られる。状態 $3$ からは必ず状態 $1$ に移るので、 $m_{3} = 1 + h_{1} = \frac{11}{2}$ となり、上の結果と一致する。

答え： $m_{3} = \frac{11}{2}$

別解

この連鎖は既約で、有限状態なので正再帰的である。定常分布 $π = π P$ を求める。

$π_{2} = \frac{1}{2} π_{1}$ 、 $π_{3} = \frac{2}{3} π_{2} = \frac{1}{3} π_{1}$ 。

$π_{1} + π_{2} + π_{3} = 1$ より $π_{1} (1 + \frac{1}{2} + \frac{1}{3}) = \frac{11}{6} π_{1} = 1$ 。よって $π_{1} = \frac{6}{11}$ 、 $π_{2} = \frac{3}{11}$ 、 $π_{3} = \frac{2}{11}$ 。

検算として $π_{1}$ の式を確かめる。 $\frac{1}{2} \cdot \frac{6}{11} + \frac{1}{3} \cdot \frac{3}{11} + \frac{2}{11} = \frac{3 + 1 + 2}{11} = \frac{6}{11}$ となり成立する。

平均再帰時間は $m_{3} = 1/ π_{3} = \frac{11}{2}$ 。

別解として、状態 $i$ から状態 $3$ に初めて到達するまでの平均ステップ数を $h_{i}$ とおく。
$h_{1} = 1 + \frac{1}{2} h_{1} + \frac{1}{2} h_{2}$ 、 $h_{2} = 1 + \frac{1}{3} h_{1}$ 。
これを解くと $h_{1} = \frac{9}{2}$ 。
状態 $3$ からは 1 ステップで必ず状態 $1$ に移るので、 $m_{3} = 1 + h_{1} = \frac{11}{2}$ 。2 つの方法で一致する。

確率論の問題

この問題で使うもの

ヒント

答えと解説

次のおすすめ

この問題の確認

間違いを報告する

関連する問題