Seria 14 Łańcuchy Markowa.

1. (Model Ehrenfestów) W naczynach I, II rozmieszczono losowo k cząstek. W chwili n losowo wybraną cząstkę przenosi się z naczynia w którym była do drugiego. Jaki jest rozklad stacjonarny.

2. Niech S = {1, ..., m}, a P macierzą podwójnie stochastyczną, to znaczy ∑_{i=1}^{m} p_{ij} = 1, j = 1, 2, ..., m. Udowodnić, że rozkład π_{i} = \frac{1}{m}, i = 1, 2, ..., m jest rozkładem stacjonarnym dla łańcucha Markowa z tą macierzą przejścia.

3. Niech (X_{n}) będzie łańcuchem okresowym o okresie d z rozkładm stacjonarnym π. Jeżeli i ∈ S_{l}, j ∈ S_{(l+m)( mod d)}, to lim_{n→∞} p_{ij}(nd + m) = F_{ij}dπ_{j}

4. Rozważmy łańcuch Markowa z dwoma stanami i macierzą przejścia

\{ \begin{matrix}\frac{1}{2} & \frac{1}{2} \\ \frac{1}{4} & \frac{3}{4} \end{matrix} \}

Oba stany są powracające, czy są zerowe?

5. W nieprzywiedlnym łańcuchu Markowa wszystkie stany są zerowe lub wszystkie stany są dodatnie.

6. Dla nieprzywiedlnego łańcucha Markowa istnieje dokładnie jeden rozkład stacjonarny wtedy i tylko wtedy, gdy łańcuch jest powracający dodatni.

7. W nieprzywiedlnym łańcuchu Markowa stan powracający j jest dodatni wtedy i tylko wtedy, gdy lim_{n→∞} p_{ij}(n) = 0 dla dowolnego stanu i.

8. W grze planszowej (o stanach 1, 2, 3) macierz przejścia zadana jest wzorem

P = \{ \begin{matrix}\frac{1}{4} & 0 & \frac{3}{4} \\ \frac{1}{4} & \frac{1}{4} & \frac{1}{2} \\ 0 & \frac{2}{3} & \frac{1}{3} \end{matrix} \}

Ile średnio trzba gier by przejść ze stanu 1 do stanu 2.

9. Pchła porusza się pomiędzy psem, kotem, człowiekiem i podłogą. Niezależnie od tego, gdzie jest teraz wybiera następne miejsce pobytu z równymi prawdopodobieństwami. Swoją drogę zaczyna od podłogi. Na psie i kocie może się pożywić, na podlodze głoduje, a na człowieku ginie.

(a) Jaka jest średnia liczba posiłków pchły przed śmiercią?

(b) Jakie jest prawdopodobieństwo, ze pchła zginie na czczo?