Zadania z RP 1. Seria 11. Mocne prawo wielkich liczb

Rodzaje zbieżności zmiennych losowych Niech X_{n} będzie ciągiem zmiennych losowych, zbudowanych na przestrzeni probabilistycznej (Ω, F, P). Możemy wyróżnić trzy rodzaje zbieżności zmiennych losowych:

• Zbieżność prawie na pewno: X_{n} →^{p.n.} X ⟺ P({ω ∈ Ω : lim_{n→∞} X_{n}(ω) = X(ω)}) = 1.

• Zbieżność według prawdopodobieństwa: X_{n} →^{P} X ⟺ ∀ ϵ > 0, lim_{n→∞} P(|X_{n} − X| > ϵ) = 0.

• Zbieżność według p-tego momentu (p > 0): X_{n} →^{L_{p}} X ⟺ lim_{n→∞} E|X_{n} − X|^{p} = 0.

Twierdzenie 1 Zachodzą następujące relacje pomiędzy zmiennymi rodzajami zbieżności:

• Zbieżność p.n. implikuje zbieżność według P: X_{n} →^{p.n.} X ⇒ X_{n} →^{P} X.

• Zbieżność według P, implikuje istnienie podciągu zbieżnego p.n.: X_{n} →^{P} X ⇒ ∃ (n_{k}) X_{n_{k}} →^{p.n.} X.

• Zbieżność L_{p} implikuje zbieżność według P: X_{n} →^{L_{p}} X ⇒ X_{n} →^{P} X.

• Zbieżność według P ani zbieżność L_{p} nie implikują zbieżności p.n..

• Bez dodatkowych założeń zbieżność p.n. ani zbieżność P nie implikują zbieżności L_{p}

Twierdzenie 2 Prawo 0 − 1 Kołmogorowa. Jeśli zmienne losowe X_{n} są niezależne, a zdarzenie A jest mierzalne względem każdego σ-ciała ogonowego (tj. σ(F_{n}, F_{n+1}, ...), gdzie F_{n} = σ(X_{n})), to P(A) = 0 lub P(A) = 1. W ludzkim języku oznacza to, że zdarzenie A zależące jedynie od dowolnie dalekich zmiennych X_{n} jest albo pewne albo niemożliwe.

Zad 1 Udowodnij prawo 0 − 1 Kołmogorowa.

Niech S_{n} := X_{1} + ... + X_{n}.

Zad 2 Pokaż, że dla ciągu zmiennych niezależnych X_{n} z p-stwem 1 albo z p-stwem równym 0:

• lim sup \frac{S_{n}}{n} ⩽ a, a ∈ ℝ; lim inf \frac{S_{n}}{n} ⩾ a, a ∈ ℝ;

• istnieje skończona granica lim_{n→∞} \frac{S_{n}}{n}; istnieje skończona suma szeregu ∑_{n=1}^{∞}.

Zad 3 Udowodnij następująca nierówność Kołmogorowa. Jeśli X_{1}, ..., X_{n} są niezaleznymi zmiennymi, EX_{i} = 0, EX_{i}^{2} < ∞, to dla każdego ε > 0

P(max_{k⩽n} |S_{k}| ⩾ ε) ⩽ \frac{ES_{n}^{2}}{ε^{2}} .

Zad 4 Wywnioskuj z poprzedniego zadania twierdzenie o dwóch szeregach. Jeśli X_{n} niezależne, ∑_{n=0}^{∞} EX_{n}, ∑_{n=0}^{∞} D^{2}X_{n} zbieżne, to szereg ∑_{n=0}^{∞} X_{n} jest zbieżny p.n.

Zad 5 Niech X^{(c)} = X1_{|X|⩽c}. Z lematu BC udowodnij twierdzenie Kołmogorowa o trzech szeregach. Warunkiem koniczenym zbieżności p.n. szeregu niezależnych zmiennych losowych ∑_{n=0}^{∞} X_{n} jest zbieżność dla każdego c > 0 szeregów

∑_{n=1}^{∞} EX_{n}^{(c)}, ∑_{n=1}^{∞} D^{2}X_{n}^{(c)}, ∑_{n=1}^{∞} P(|X_{n}| > c),

a warunkiem dostatecznym jest zbieżność tych szeregów przy pewnym c > 0.

Zad 6 Zbadaj zbieżność szeregu ∑ X_{n} niezależnych zmiennych losowych, gdy:

1. P(X_{n} = 2^{−n}) = P(X_{n} = 0) = \frac{1}{2},

2. P(X_{n} = 1) = 1 − P(X_{n} = 0) = \frac{1}{n}.

Zad 7 Niech X_{n} będą niezależne i mają ten sam rozkład P(X_{n} = 1) = P(X_{n} = −1) = \frac{1}{2} (zmienne Rademachera). Udowodnij, że ∑_{n=1}^{∞} a_{n}X_{n} jest zbieżny p.n wtedy i tylko wtedy, gdy ∑_{n=0}^{∞} a_{n}^{2} < ∞, to.

Zad 8 (bardzo trudne) Zdefiniujmy Y = ∑_{n=1}^{∞} λ^{n}X_{n}, gdzie X_{n} zmienne Rademachera. Wiemy, że dla 0 < λ < 1 Y jest dobrze określone. Udowodnij (korzystając z prawa 0−1 Kołmogorowa), że Y ma rozkład albo absolutnie ciągły wg. miary Lebsgue’a (ma gęstość), albo singularny względem miary Lebesgue’a.

Uwaga 1 Erdos wykazał, że parametry λ dla których Y ma rozkład singularny mają miarę Lebesgue’a 0. Ich dokładna postać nie jest wszakże znana (znamy liczne przykłady).

Prawa wielkich liczb Niech X_{n} będą zmiennymi losowymi. Oznaczmy S_{n} = X_{1} + ... + X_{n}. Jednym z ważniejszych twierdzeń klasycznego rachunku prawdopodobieństwa jest MPWL:

Twierdzenie 3 Jeśli X_{n} stanowią ciąg niezależnych zmiennych losowych o tym samym rozkładzie (tj μ_{X_{1}} = μ_{X_{2}} = ...) o skończonej wartości oczekiwanej (tj. EX_{1} = EX_{2} = ... < ∞), to lim_{n→∞} \frac{S_{n}}{n} = EX_{1} p.n.

Zad 9 Znacznie łatwiej udowodnić słabe prawo wielkich liczb SPWL. Niech X_{i} będą niezależne o tym samym rozkładzie. Pokaż, że jeśli istnieje E|X_{n}|^{2} wówczas lim_{n→∞} \frac{S_{n}}{n} = EX_{1} według P. Zauważ, że SPWL zachodzi bez założenia niezależności, przy założeniu, że lim_{n→∞} \frac{D^{2}S_{n}}{n^{2}} = 0.

Zad 10 Pierwszym krokiem na drodze do wykazania MP W L jest następujące twiedzenie Kołmogorowa. Przypuśćmy, że X_{n} są niezależne i niech b_{n} będzie ciągiem takim, że ∑_{n=0}^{∞} \frac{D^{2}X_{n}}{b_{n}^{2}} < ∞. Korzystając z twierdzenia Toeplitza (z Analizy 1) udowodnij, że lim_{n→∞} \frac{S_{n}−ES_{n}}{b_{n}} = 0.

W szczególności jeśli ∑_{n=0}^{∞} \frac{D^{2}X_{n}}{n^{2}} < ∞, to X_{n} spełnia MPWL.

Zad 11 Niech X_{n} będą niezależne o tym samym rozkładzie. Pokaż, że definując Y_{n} = X_{n}1_{|X_{n}|⩽n} dostajemy niezależne zmienne takie, że ∑_{n=0}^{∞} \frac{D^{2}Y_{n}}{n^{2}} < ∞.

Zad 12 Resztę dowodu MPWL stanowi umiejętne zastosowanie lematu Borela-Canteli. Udowodnij, że ∑_{n=0}^{∞} P(X_{n} ≠ Y_{n}) < ∞ i wywnioskuj stąd, że lim_{n→∞} \frac{X_{1}+...+X_{n}}{n} = EX_{1} wtedy i tylko wtedy, gdy lim_{n→∞} \frac{Y_{1}+...+Y_{n}}{n} = EX_{1}. Następni pokaż, że lim_{n→∞} ^{\frac{∑_{i=1}^{n} EY_{i}}{n}} = EX_{1}. Zatem na mocy poprzedniego zadania dostajemy MPWL.

Zad 13 Niech X_{n} będą niezaleznymi zmiennymi losowymi, P(X_{n} = 1) = P(X_{n} = −1) = p_{n}, P(X_{n} = 0) = 1 − 2p_{n}. Korzystając z lematu BC znajdź warunek konieczny i dostateczny, by ciąg X_{n} spełniał MPWL.

Zad 14 Niech X_{n}, n = 1, 2, ... będą niezależnymi zmiennymi losowymi takimi, że

P(X_{n} = n + 1) = P(X_{n} = −(n + 1)) = \frac{1}{2(n + 1) log(n + 1)}, P(X_{n} = 0) = 1 − \frac{1}{(n + 1) log(n + 1)}.

Pokaż, że X_{n} spełnia SPWL, a nie spełnia MPWL.