Seria 13. Łańcuchy Markowa.

1. Wykazać, że dla stanu chwilowego i po i zachodzi wzór

F_{ii} = \frac{P_{i}}{1 + P_{i}} .

2. Wykazać, że jeśli stan j jest powracający oraz i → j, to ∑_{n=1}^{∞} p_{ij}(n) = ∞.

3. Wykazać, że jeśli j jest stanem chwilowym, to ∑_{n} p_{i,j}(n) < ∞ dla dowolnego stanu i. W szczególności lim_{n} p_{ij}(n) = 0.

4. Udowodnić, że dla skończonego łańcucha Markowa j jest stanem chwilowym wtedy i tylko wtedy, gdy jest stanem nieistotnym.

5. Udowodnić, że zagadnieniu ruiny średni czas oczekiwania wynosi ab.

6. Udowodnić, że jeśli łańcuch Markowa jest powracający, to F_{i,j} = 1 dla każdych stanów i, j.

7. Niech łańcuch Markowa o przestrzeni stanów S = {0, 1, 2, 3, ...} ma macierz przejścia postaci p_{01} = p_{0}, p_{00} = 1 − p_{0}, p_{n,n+1} = p_{n}, p_{n,0} = 1 − p_{n}. Kiedy ten łańcuch jest powracający, a kiedy chwilowy.

8. Czy łańcuch Markowa o macierzy przejścia

\{ \begin{matrix}0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \end{matrix} \} , \{ \begin{matrix}0 & \frac{1}{4} & 0 & \frac{3}{4} \\ 0 & \frac{1}{3} & \frac{2}{3} & 0 \\ 1 & 0 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix} \}

jest łańcuchem okresowym?

9. Udowodnić, że jeśli dla macierzy przejścia nieprzywiedlnego łańcucha Markowa istnieje j takie, że p_{jj} > 0, to łańcuch nie jest okresowy.

10. W pudełku A jest 6 kul ponumerowanych liczbami od 1 do 6, w pudełku B ani jednej. Wykonano 100000 rzutów kostką i po każdym rzucie przekładano kule z wylosowanym numerem do drugiego pudełka. Jaka jest mniej więcej szansa, że pudełko B jest puste?

11. Znaleźć wszystkie rozkłady stacjonarne dla łańcucha Markowa o macierzy przejścia

P = \{ \begin{matrix}\frac{1}{3} & \frac{2}{3} & 0 & 0 \\ \frac{1}{4} & \frac{3}{4} & 0 & 0 \\ 0 & 0 & \frac{1}{5} & \frac{4}{5} \\ 0 & 0 & \frac{4}{5} & \frac{1}{5} \end{matrix} \}

12. Udowodnić, że jeśli π jest rozkładem stacjonarnym oraz j nie jest stanem powracającym dodatnim, to π_{j} = 0.