Seria 8. Łańcuchy Markowa

1. Jeśli (a(n)), (b(n)) są dodatnimi ciągami takimi, że b(n) → b(∞) < ∞, kiedy n → ∞ oraz ∑ a(j) < ∞, to

a ∗ b(n) → b(∞) ∑_{j=0}^{∞} a(j) < ∞, n → ∞.

2. Zbiór C ∈ B(X) nazywamy regularnym jeśli X jest ψ-nieredukowalne oraz

sup_{x∈C} E_{x}τ_{B} < ∞, B ∈ B^{+}(X).

Pokaż, że na przeliczalnej przestrzeni stanów dodatniość łańcucha (powracalność + istnienie skończonej miary niezmienniczej) i regulraność są rónoważne.

3. Pokaż, że jesli istnieje osiągalny atom α ∈ B^{+}(X), to

(a) Jeśli X jest dodatni wtedy istnieje dekompozycja X = S ∪N, gdzie S jest pełny pochlaniający a X obciety do S jest regularny.

(b) Łańcuh X jest regularny wtedy i tylko wtedy, gdy E_{x}τ_{α} < ∞ dla każdego x ∈ X.

4. Niech X będzie ψ-nieredukowalny. Wówczas dodatniość łańcucha jest rownoważna istnieniu dekompozycji X = S ∪ N, gdzie S jest pełny pochłaniający i taki, że X obcięty do S jest regularny.

5. Udowodnij formułę Dynkina. Niech F_{k} = σ(X_{0}, ..., X_{k}) oraz Z_{k}(X_{0}, ..., X_{k}) = Z(X_{k}). Dla dowolnego momentu stopu τ (wg (F_{k})) definujemy

τ_{n} = min(n, τ, inf{k ⩾ 0, Z_{k} ⩾ n}).

Pokaż, że

E_{x}Z_{τ_{n}} = E_{x}Z_{0} + E_{x}(∑_{i=1}^{τ_{n}} E(Z_{i}|F_{i−1}) − Z_{i−1}).

6. Pokaż, że dla dowolnych ciągów funkcji dodatnich (g_{k}, f_{k} : k ⩾ 0) mamy

E(Z_{k+1}|F_{k}) ⩽ Z_{k} − f(X_{k}) + g_{k}(X_{k})

Zatem dla momentu stopu τ

E_{x}(∑_{k=0}^{τ−1} f_{k}(X_{k})) ⩽ Z_{0}(x) + E_{x}(∑_{k=0}^{τ−1} g_{k}(X_{k})).

7. Pokaż, że jeśli C ∈ B(X) i V spełnia warunek dryfu △V (x) ⩽ −1 + b1_{C}(x), to

E_{x}τ_{C} ⩽ V (x) + b1_{C}(x), x ∈ C.