Zadania z RP2. Seria 12. Łańcuchy Markowa.

Zad 1. Przypuścmy, że macierz przejścia zadana jest wzorem

P = \{ \begin{matrix}0, 3 & 0, 2 & 0, 5 \\ 0, 4 & 0, 3 & 0, 3 \\ 0, 3 & 0, 7 & 0, 0 \end{matrix} \}

Znajdź rozkład stacjonarny dla tego łańcucha Markowa. Zad 2. Pewien obywatel zamierza spędzić noc w następujących lokalach: Amnezja, Bezsens, Cela, Denko, i Entropia. Ma taki plan: start w Amnezji, a następnie wybór kolejnego miejsca drogą losowania:

1. z Amnezji od Bezsensu z pr. \frac{1}{6}, do Celi z pr. \frac{5}{6};

2. z Bezsensu do Denka z pr. \frac{1}{6}, do Denka z pr. \frac{1}{3}, do Entropii z pr. \frac{1}{2};

3. z Celi do Bezsensu z pr. \frac{1}{6}, \frac{1}{3}, do Entropii z pr. \frac{1}{2};

4. gdy trafi do Denka lub Entropii, pozostaje tam do końca.

Jak jest szansa na zakończenie eskapady w Entropii? Jak zmieni się odpowiedź przy zmianie punktu startowego. Zad 3. Oblicz średni czas trwania eskapady opisanej w Zad. 2. Zad 4. Niech U_{n} będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie P(U_{n} = 1) = P(U_{n} = −1) = \frac{1}{2}. Czy (a) X_{n} = U_{n}U_{n+1}, (b) Y_{n} = \frac{U_{n}+U_{n+1}}{2} są łańcuchami Markowa? Zad 5. Niech U_{n} będzie ciągiem niezależnych zmiennych losowych, φ_{n} : S × ℝ → S będą funkcjami borelowskimi. Niech X_{0} będzie zmienną losową o wartościach w S niezależną od U_{n} i niech

X_{n+1} := φ_{n}(X_{n}, U_{n}), n = 0, 1, 2, ....

Wykazać, że (X_{n}) jest łańcuchem Markowa. Zad 6. Niech X_{n} będzie błądzeniem przypadkowym na prostej z, X_{0} = 0. Pokazać, że ciągi (Y_{n}), (Z_{n}) zdefiniowane wzorami

1. Y_{n} = |X_{n}|;

2. Z_{n} = U_{n} − X_{n}, gdzie U_{n} = max_{k⩽n} X_{k}

są łańcuchami Markowa; znaleźć ich macierze przejścia. Zad 7. Cząsteczka porusza się wzdłuż osi OX ze stałą prędkością +v lub −v. W chwilach 1, 2, ... kierunek ruchu pozostaje bez mian z pr. p a z pr. q = 1 − p zmienia się na przeciwny. Zmienna X_{n} opisuje kierunek ruchu w momencie n. Znaleźć P(X_{n} = +v|X_{0} = −v), P(X_{0} = +v|X_{n} = +v) oraz rozkład X_{n}, gdy wiemy, że P(X_{0} = v) = r. Zad 8. Wiemy, że k kul białych i k kul czarnych umieszczono w dwóch pudełkach, po k kul w każdym. Stan ukladu opisany jest przez liczbę kul białych w 1 pudełku. Przejście pomiędzy stanami odbywa się w następujący sposób: z obu pudełek losujemy po jednej kuli i zamieniamy miejscami. Znaleźć macierz przejścia dla takiego łańcucha Markowa. Jaki jest rozkład stacjonarny dla tego łańcucha.