Rachunek Prawdopodobieństwa 3

Rafał Latała

22 maja 2007

Poniższe notatki powstają na podstawie (wybranych) wykładów z Rachunku Prawdopodobieństwa 3, prowadzonych w semestrze wiosennym 2006/07.

Przepraszam za wszystkie nieścisłości i omyłki mogące pojawić się w tekście i jednocześnie zwracam się z prośbą do czytelników, którzy zauważyli błędy lub mają jakieś inne uwagi na temat notatek o kontakt mailowy na adres rlatala@mimuw.edu.pl z podaniem wersji notatek (daty) do której chcą się ustosunkować.

Rafał Latała

1 Wielkie Odchylenia

W tej części, jeśli nie napiszemy inaczej będziemy zakładać, że X, X_{1}, X_{2}, … jest ciągiem niezależnych zmiennych losowym o jednakowym rozkładzie. Definiujemy

S_{n} := X_{1} + X_{2} + … + X_{n}, S̄_{n} := \frac{S_{n}}{n} .

Ze słabego prawa wielkich liczb wiemy, że P(|S̄_{n} − EX| > ε) → 0 przy n → ∞. Możemy zapytać jak szybka jest zbieżność. Z nierówności Czebyszewa dostajemy

P(|S̄_{n} − EX| > ε) \frac{Var(X)}{nε^{2}}.

Jednak oszacowanie to jest dalekie od optymalnego dla �porządnych” zmiennych X. Przykładowo, gdy X ∼ N (0, 1), to S̄_{n} ∼ N (0, 1/n) ∼ X/\sqrt{n}, zatem wykorzystując oszacowanie z poniżej sformułowanego Faktu 1.1,

P(|S̄_{n} | ε) = 2P(X ε\sqrt{n}) ∼ \frac{2}{\sqrt{2πn}ε} exp(−nε^{2}/2).

Fakt 1.1. Dla dowolnego t > 0,

(t^{−1} − t^{−3} )e^{−t^{2} /2} ∫_{t}^{∞} e^{−s^{2} /2} ds t^{−1} e^{−t^{2} /2} .

Dowód. Mamy (s^{−1} exp(−s^{2}/2))′ = −(1 + s^{−2} ) exp(−s^{2}/2) oraz ((s^{−1} − s^{−3} ) exp(−s^{2}/2))′ = −(1 − 3s^{−4} ) exp(−s^{2}/2), stąd

(t^{−1} − t^{−3} )e^{−t^{2} /2} = ∫_{t}^{∞} (1 − 3s^{−4} ) e^{−s^{2} /2} ds ∫_{t}^{∞} e^{−s^{2} /2} ds
∫_{t}^{∞} (1 + s^{−2} )e^{−s^{2} /2} ds = t^{−1} e^{−t^{2} /2} .

Możemy więc postawić pytania:

1) Czy oszacowanie P(|S̄_{n} − EX| > ε) rzędu exp(−nf(ε)) zachodzi dla szerszej klasy zmiennych?

2) Czy istnieje granica lim_{n→∞} n^{−1} logP(S̄_{n} ∈ A) dla ogólnej klasy zmiennych X i zbiorów A?

Na te pytania poszukamy odpowiedzi w kolejnych sekcjach.

1.1 Podstawowe definicje. Nierówność Chernoffa

Definicja 1.1. Funkcję tworzącą momenty (transformatę Laplace’a) zmiennej X definiujemy wzorem

M_{X} (t) := Ee^{tX} , t ∈ ℝ.

Przykłady.

a) Dla X ∼ N (a, σ^{2}), M_{X} (t) = exp(at + σ^{2}t^{2}/2).

b) Dla X = g^{3}, gdzie g ∼ N (0, 1), M_{X} (t) = ∞ dla t ≠ 0 i M_{X} (0) = 1.

Fakt 1.2. Jeśli X i Y są niezależnymi zmiennymi losowymi, to M_{X+Y} = M_{X} M_{Y}. W szczególności, M_{S_{n}} = (M_{X})^{n}.

Dowód. Oczywisty.

Łatwe szacowanie z nierówności Czebyszewa daje dla t > 0,

P(S̄_{n} s) = P(tS_{n} stn) e^{−snt} Ee^{tS_{n}} = e^{−snt} (M_{X} (t))^{n}
= exp(−n(st − logM_{X} (t))).

Biorąc infimum lewej strony po wszystkich t > 0 dostajemy

P(S̄_{n} s) exp( − n sup_{t 0}(st − logM_{X} (t))) .  (1)

Motywuje to następującą definicję

Definicja 1.2. Dla zmiennej losowej X określamy

Λ_{X} (t) := logM_{X} (t), D_{Λ_{X}} := {t ∈ ℝ: Λ_{X} (t) < ∞}

oraz

Λ_{X}^{∗} (s) := sup{st − Λ_{X} (t): t ∈ ℝ}.

Przykłady

a) Dla X ∼ N (a, σ^{2}), Λ_{X} (t) = at + σ^{2}t^{2}/2, D_{Λ_{X}} = ℝ oraz Λ_{X}^{∗} (t) = (t − a)^{2}/(2σ^{2}).

b) Dla X = g^{3}, g ∼ N (0, 1), D_{Λ_{X}} = {0} oraz Λ_{X}^{∗} ≡ 0.

Lemat 1.3. Funkcje Λ_{X} : ℝ → (−∞, ∞], Λ_{X}^{∗} : ℝ → [0, ∞) są wypukłe.

Dowód. Wypukłość funkcji Λ wynika z nierówności Höldera. Funkcja Λ_{X}^{∗} jest wypukła jako supremum funkcji wypukłych (liniowych). Ponadto Λ_{X}^{∗} (t) 0t − Λ_{X} (0) = 0.

Przed sformułowaniem kolejnego lematu przypomnijmy konwencje, że wartość oczekiwana X da się określić za pomocą wzoru EX := EX_{+} − EX_{−} , jeśli tylko EX_{+} < ∞ lub EX_{−} < ∞.

Lemat 1.4. i) Jeśli D_{Λ_{X}} = {0}, to Λ_{X}^{∗} ≡ 0. Jeśli Λ_{X} (t) < ∞ dla pewnego t > 0, to EX_{+} < ∞, a jeśli Λ_{X} (t) < ∞ dla pewnego t < 0, to EX_{−} < ∞. ii) Jeśli EX_{+} < ∞ lub EX_{−} < ∞, to st − Λ_{X} (t) 0 dla s EX, t 0 lub s EX, t 0. W szczególności,

Λ_{X}^{∗} (s) = sup{st − Λ_{X} (t): t 0} dla s EX

oraz

Λ_{X}^{∗} (s) = sup{st − Λ_{X} (t): t 0} dla s EX.

iii) Jeśli E|X| < ∞, to Λ_{X}^{∗} (EX) = 0. Ponadto, dla dowolnego X, inf_{t} Λ_{X}^{∗} (t) = 0.

Dowód. i) Dla t > 0 mamy e^{tx} tx_{+} , więc skończoność Ee^{tX} implikuje EX_{+} < ∞. Podobnie dla t < 0, e^{tx} > −tx_{−} , a zatem EX_{−} < ∞, jeśli Ee^{tX} < ∞.

ii) Z nierówności Jensena,

Λ_{X} (t) = logEe^{tX} E loge^{tX} = tEX,

zatem st − Λ_{X} (t) (s − EX)t 0 dla s EX, t 0 lub s EX, t 0.

iii) Jeśli E|X| < ∞, to z udowodnionego wyżej oszacowania Λ_{X} (t) tEX i

0 Λ_{X}^{∗} (EX) sup_{t}(tEX − tEX) = 0.

Przypadek E|X| = ∞ podzielimy na trzy podprzypadki:

a) EX_{+} = EX_{−} = ∞. Wówczas D_{Λ_{X}} = {0} i Λ_{X}^{∗} ≡ 0.

b) EX_{+} < ∞ = EX_{−} . Dla s ∈ ℝ dostajemy

logP(X s) inf_{t 0} logE exp(t(X − s)) = inf_{t 0}(Λ_{X} (t) − ts) = −Λ_{X}^{∗} (s),

czyli 0 Λ_{X}^{∗} (s) − logP(X s) → 0 przy s → ∞.

c) EX_{+} = ∞ > EX_{−} . Jak w b) dowodzimy, że Λ_{X}^{∗} (s) → 0 przy s → −∞.

Twierdzenie 1.5 (Nierówność Chernoffa). Jeśli EX_{+} < ∞ lub EX_{−} < ∞, to

P(S̄_{n} s) exp(−nΛ_{X}^{∗} (s)) dla s EX

oraz

P(S̄_{n} s) exp(−nΛ_{X}^{∗} (s)) dla s EX.

Dowód. Pierwsza nierówność wynika z (1) i Lematu 1.4 ii). Drugą nierówność dowodzimy analogicznie.

Przykłady.

a) Dla X ∼ N (a, σ^{2}) nierówność Chernoffa daje

P(S̄_{n} t) exp(−\frac{n(t − a)^{2}}{2σ^{2}} ) dla t a

oraz

P(S̄_{n} t) exp(−\frac{n(t − a)^{2}}{2σ^{2}} ) dla t a.

W rzeczywistości mamy S̄_{n} ∼ N (a, σ^{2}/n) ∼ a + σg/\sqrt{n}, gdzie g ∼ N (0, 1), zatem np dla t > a

P(S̄_{n} t) = P(g \frac{\sqrt{n}}{σ}(t − a)) ∼ \frac{σ}{\sqrt{2πn}(t − a)} exp(−\frac{n(t − a)^{2}}{2σ^{2}} ).

b) Dla X = g^{3},g ∼ N (0, 1), nierówność Chernoffa daje tylko trywialne oszacowanie P(S̄_{n} t) 1.

1.2 Oszacowania z dołu

Widzieliśmy, że bez dodatkowych założeń, nie możemy liczyć na odwrócenie nierówności Chernoffa. Daje się to jednak (w pewnym stopniu) zrobić przy założeniach o skończoności funkcji tworzącej momenty. Dlatego w tej części będziemy zazwyczaj dodatkowo zakładać, że

Ee^{tX} < ∞ dla wszystkich t ∈ ℝ.  (2)

Lemat 1.6. Przy założeniu (2) funkcja M_{X} przedłuża się do funkcji analitycznej na całej płaszczyźnie zespolonej. Ponadto M_{X}^{(n)} (t) = E(X^{n}e^{tX} ) dla n = 1, 2, . . ..

Dowód. Funkcja f(z) := E exp(zX) jest dobrze określona dla z ∈ ℂ, bo E| exp(zX)| = E exp(Re(z)X) < ∞. Oczywiście f jest przedłużeniem M_{X}, nietrudno też wykazać (korzystając z twierdzenia Lebesgue’a o zbiezności zmajoryzowanej), że f jest różniczkowalna i f′(z) = E(X exp(zX)). Podobnie indukcyjnie dowodzimy, że f^{(n)} (z) = E(X^{n} exp(zX)).

Definicja 1.3. Dla t ∈ ℝ definiujemy miarę probabilistyczną μ_{t} na ℝ wzorem dμ_{t}(x) = M_{X} (t)^{−1} e^{tx}dμ_{X} (x), tzn.

μ_{t}(A) = \frac{1}{M_{X} (t)}E(e^{tX} 𝟙_{\{X∈A\}} ).

Lemat 1.7. Miara probabilistyczna μ_{t} spełnia warunki

E_{μ_{t}} (x) = ∫_{ℝ} xdμ_{t}(x) = Λ′_{X} (t),

Var_{μ_{t}} (x) = ∫_{ℝ} x^{2}dμ_{t}(x) − (∫_{ℝ} xdμ_{t}(x))^{2} = Λ′′_{X}(t).

Dowód. Zauważmy, że z Lematu 1.6, M_{X}^{(n)} (t) = M_{X} (t)E_{μ_{t}} (x^{n}), więc

Λ′_{X} (t) = M_{X} (t)^{−1} M′_{X} (t) = E_{μ_{t}} (x)

oraz

Λ′_{X} (t) = M_{X} (t)^{−1} M′′_{X}(t)−M_{X} (t)^{−2} (M′_{X} (t))^{2} = E_{μ_{t}} (x^{2})−(E_{μ_{t}} (x))^{2} = Var_{μ_{t}} (x).

Określmy

α := essinfX = inf{t: P(X < t) > 0},
β := esssupX = sup{t: P(X > t)) > 0}.

Lemat 1.8. Dla dowolnej zmiennej losowej X,

Λ_{X}^{∗} (t) = ∞ dla t ∉ [α, β],
P(X = α) = exp(−Λ_{X}^{∗} (α)) jeśli α > −∞,
P(X = β) = exp(−Λ_{X}^{∗} (β)) jeśli β < ∞.

Dowód. Dla t 0 mamy Λ_{X} (t) αt, stąd dla s > α,

Λ_{X}^{∗} (s) sup{st − αt: t 0} = ∞.

Podobnie Λ_{X} (t) βt dla t 0 i dla S < β,

Λ_{X}^{∗} (s) sup{st − βt: t 0} = ∞.

Dla dowolnego t ∈ ℝ, Λ_{X} (t) log(e^{tβ} P(X = β)), czyli

P(X = β) inf_{t} exp(−tβ + Λ_{X} (t)) = exp(− sup_{t}(tβ − Λ_{X} (t)) = exp(−Λ_{X}^{∗} (β)).

Z drugiej strony,

exp(−Λ_{X}^{∗} (β)) exp(Λ_{X} (t) − tβ) = E exp(t(X − β)) → P(X = β) dla t → ∞.

Zatem P(X = β) = exp(−Λ_{X}^{∗} (β)). Tożsamość P(X = α) = exp(−Λ_{X}^{∗} (α)) dowodzimy analogicznie.

Lemat 1.9. Załóżmy, że zachodzi warunek (2) oraz α < β. Wówczas Λ′_{X} jest funkcją ściśle rosnącą z ℝ na (α, β). Przekształcenie Θ := (Λ′_{X})^{−1} : (α, β) → ℝ spełnia

Λ_{X}^{∗} (s) = sΘ(s) − Λ_{X} (Θ(s)) dla s ∈ (α, β).

Dowód. Miara μ_{X} jest niezdegenerowana, tzn. μ_{X} ({x}) ≠ 1 dla x ∈ ℝ, więc miary μ_{t} też są niezdegenerowane. Zatem Var_{μ_{t}} (x) > 0 i z Lematu 1.7, Λ′′_{X}(t) > 0 czyli Λ′_{X} jest ściśle rosnąca i funkcja Θ = (Λ′_{X})^{−1} jest dobrze określona na Λ′_{X} (ℝ). Oczywiście dla dowolnego t,

Λ′_{X} (t) = \frac{∫_{α}^{β} xe^{tx}dμ_{X} (x)}{∫_{α}^{β} e^{tx}dμ_{X} (x)} ∈ (α, β),

więc Λ′_{X} (ℝ) ⊂ (α, β). Wykażemy, że zachodzi też odwrotna inkluzja. Ustalmy t ∈ [EX, β) oraz u ∈ (t, β). Dla dowolnego s 0,

Λ_{X} (s) log(e^{su} P(X u)) = su + logP(X u),

zatem

st − Λ_{X} (s) s(t − u) − logP(X u) < 0 dla s > \frac{− logP(X u)}{u − t} .

Z Lematu 1.4 ii), st − Λ_{X} (s) 0 dla s 0, zatem supremum funkcji f(s) = st − Λ_{X} (s) jest osiągane w pewnym punkcie s_{0} ∈ [0, −(u − t)^{−1} logP(X u)]. W szczególności f′(s_{0}) = 0 czyli t = Λ′_{X} (s_{0}). Wykazaliśmy więc, że Λ′(ℝ) ⊃ [EX, β) oraz Λ_{X}^{∗} (t) = tΘ(t) − Λ_{X} (Θ(t)) dla t ∈ [EX, β).

Przypadek t ∈ (α, EX] rozważamy analogicznie.

Twierdzenie 1.10. Załóżmy, że zachodzi (2). Wówczas dla a ∈ (α, β) oraz ε > 0,

P(|S̄_{n} − a| < ε) (1 − \frac{Λ′′_{X}(Θ(a))}{nε^{2}} ) exp(−n(Λ_{X}^{∗} (a) + ε|Θ(a)|)),

gdzie Θ := (Λ′_{X})^{−1} .

Dowód. Zdefiniujmy t := Θ(a), wówczas z Lematu 1.9, Λ_{X}^{∗} (a) = at − Λ_{X} (t). Niech Y, Y_{1}, …, Y_{n} będą niezależnymi zmiennymi losowymi o rozkładzie zadanym przez miarę probabilistyczną μ_{t}. Na mocy Lematu 1.7, EY = Λ′_{X} (t) = a i Var(Y) = Λ′′_{X}(t). Zauważmy, że dla dowolnej nieujemnej funkcji f na ℝ^{n},

Ef(Y_{1}, …, Y_{n}) = (M_{X} (t))^{−n} Ee^{tS_{n}} f(X_{1}, …, X_{n}).

Zatem

P(|\frac{1}{n} ∑_{i=1}^{n} Y_{i} − a| < ε) = (M_{X} (t))^{−n} Ee^{tS_{n}} 𝟙_{\{|S̄_{n} −a|<ε\}}
(M_{X} (t))^{−n} e^{n(ta+|t|ε)} P(|S̄_{n} − a| < ε).

Z nierówności Czebyszewa

P(|\frac{1}{n} ∑_{i=1}^{n} Y_{i} − a| ε) \frac{Var(Y)}{nε^{2}} = \frac{Λ′′_{X}(t)}{nε^{2}} ,

zatem

P(|S̄_{n} − a| < ε) P(|\frac{1}{n} ∑_{i=1}^{n} Y_{i} − a| < ε) exp(−n(ta − Λ_{X} (t) + |t|ε))

(1 − \frac{Λ′′_{X}(t)}{nε^{2}} ) exp(−n(Λ_{X}^{∗} (a) + |t|ε)).

1.3 Twierdzenie Cramera na ℝ

Jesteśmy wreszcie gotowi do sformułowania twierdzenia o wielkich odchyleń w przypadku jednowymiarowym. W odróżnieniu od poprzedniego paragrafu nie stawiamy żadnych wstępnych założeń o rozkładzie X.

Twierdzenie 1.11 (Prawo Wielkich Odchyleń Cramera).

i) Dla dowolnego zbioru domkniętego F ⊂ ℝ,

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F) − inf_{x∈F} Λ_{X}^{∗} (x).

ii) Dla dowolnego zbioru otwartego G ⊂ ℝ,

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ G) − inf_{x∈G} Λ_{X}^{∗} (x).

iii) Dla dowolnego zbioru Γ ∈ B(ℝ),

− inf_{x∈int(Γ)} Λ_{X}^{∗} (x) lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ Γ)
lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ Γ) − inf_{x∈cl(Γ)} Λ_{X}^{∗} (x).

Dowód. i) Niech I_{F} := inf_{x∈F} Λ_{X}^{∗} (x). Jeśli I_{F} = 0, to teza jest oczywista, możemy zatem zakładać, że I_{F} > 0. Wtedy D_{Λ_{X}} ≠ {0}, czyli EX_{+} < ∞ lub EX_{−} < ∞. Rozważymy trzy przypadki.

a) E|X| < ∞. Ponieważ Λ_{X}^{∗} (EX) = 0 więc EX ∉ F. Niech (a, b) będzie składową ℝ \ F zawierającą EX. Jeśli a > −∞, to a ∈ F, Λ_{X}^{∗} (a) I_{F}, podobnie jeśli b < ∞, to b ∈ F, Λ_{X}^{∗} (b) I_{F}. Mamy zatem z nierówności Chernoffa,

P(S̄_{n} ∈ F) P(S̄_{n} a) + P(S̄_{n} b) e^{−nΛ_{X}^{∗} (a)} + e^{−nΛ_{X}^{∗} (b)} 2e^{−nI_{F}} ,

skąd n^{−1} logP(S̄_{n} ∈ F) −I_{F} + n^{−1} log2 → −I_{F} przy n → ∞.

b) EX = −∞, wówczas Λ_{X}^{∗} jest niemalejąca, Λ_{X}^{∗} (x) → 0 przy x → −∞, a zatem warunek I_{F} > 0 implikuje b = inf F > −∞. Z domkniętości b ∈ F, czyli Λ_{X}^{∗} (b) I_{F} oraz

P(S̄_{n} ∈ F) P(S̄_{n} b) e^{−nΛ_{X}^{∗} (b)} e^{−nI_{F}} .

c) EX = ∞. Rozumujemy analogicznie jak w b).

ii) Musimy, że warunek x ∈ G implikuje lim inf n^{−1} logP(S̄_{n} ∈ G) −Λ_{X}^{∗} (x). Zmienna Y = X − x spełnia Λ_{Y}(t) = Λ_{X} (t) − xt, Λ_{Y}^{∗}(s) = Λ_{X}^{∗} (s + x). Zatem rozpatrując X − x i G − x zamiast X i G widzimy, że możemy zakładać, iż x = 0. Z otwartości G, mamy (−δ, δ) ⊂ G dla pewnego δ > 0. Wystarczy zatem wykazać

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ (−δ, δ)) −Λ_{X}^{∗} (0) = inf_{t∈ℝ} Λ_{X} (t).  (3)

Dowód (3) rozbijemy na kilka przypadków.

Przypadek I. X 0 p.n. Mamy wówczas z twierdzenia Lebesgue’a o zbieżności zmajoryzowanej,

inf_{t} Λ_{X} (t) lim_{t→−∞} Λ_{X} (t) = log lim_{t→−∞} Ee^{tX} = logP(X = 0).

Ponadto P(S̄_{n} ∈ (−δ, δ)) P(S̄_{n} = 0) = P(X = 0)^{n} i natychmiast dostajemy (3).

Przypadek II. X 0 p.n. Dowodzimy w taki sam sposób jak w przypadku I.

Przypadek III. essinfX < 0 < esssupX oraz D_{Λ_{X}} = ℝ. Z Twierdzenia 1.10 (z a = 0) dostajemy dla 0 < ε < δ,

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ (−δ, δ)) lim inf_{n→∞} \frac{1}{n} logP(|S̄_{n} | ε) −Λ_{X}^{∗} (0) − ε.

Biorąc ε → 0+ dostajemy (3).

Przypadek IV. essinfX < 0 < esssupX i X dowolne. Wybierzmy M > 0 na tyle duże by P(X ∈ [−M, 0)), P(X ∈ (0, M]) > 0. Niech Y będzie miało taki rozkład jak zmienna X pod warunkiem |X| M, tzn.

P(Y ∈ A) = P(X ∈ A, |X| M)/P(|X| M),

zaś Y_{1}, Y_{2}, … będą niezależnymi kopiami Y oraz T̄_{n} = (Y_{1} + … + Y_{n})/n. Zauważmy, że dla dowolnej funkcji mierzalnej f: ℝ^{n} → [0, ∞) mamy

Ef(X_{1}, …, X_{n}) Ef(X_{1}, …, X_{n})𝟙_{{|X_{1} | M,...,|X_{n} | M}}
= P(|X| M)^{n}Ef(Y_{1}, …, Y_{n}).

W szczególności,

P(S̄_{n} ∈ (−δ, δ)) P(|X| M)^{n}P(T̄_{n} ∈ (−δ, δ)).

Zmienna Y jest ograniczona, więc na mocy przypadku III,

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ (−δ, δ)) logP(|X| M) + lim inf_{n→∞} \frac{1}{n} logP(T̄_{n} ∈ (−δ, δ))
logP(|X| M) + inf_{t} Λ_{Y}(t) = inf_{t} Λ_{M} (t),

gdzie Λ_{M} (t) := logEe^{tX} 𝟙_{{|X| M}} . Zauważmy, że funkcje Λ_{M} rośnie po M, więc inf_{t} Λ_{M} (t) zbiega przy M → ∞ do pewnego a. Wykazaliśmy, że

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ (−δ, δ)) a,

więc wystarczy wykazać, że a inf_{t} Λ_{X} (t). Rozpatrzmy zbiory

K_{M} := {t: Λ_{M} (t) a}.

Funkcja Λ_{M} (t) zbiega do nieskończoności przy t → ∞, więc zbiory K_{M} tworzą zstępującą rodzinę zbiorów zwartych, niepustych. Istnieje więc punkt t_{0} należący do ich przecięcia, ale wtedy Λ_{M} (t_{0}) a dla wszystkich M czyli, z twierdzenia Lebesgue’a o zbieżności monotonicznej, Λ_{X} (t_{0}) = lim_{M→∞} Λ_{M} (t_{0}) a.

Uwaga 1.1 Analiza pierwszej części dowodu pokazuje, że wykazaliśmy

P(S̄_{n} ∈ Γ) 2 exp(−n inf_{x∈cl(Γ)} Λ_{X}^{∗} (x)) dla dowolnego Γ ∈ B(ℝ).

1.4 Twierdzenie Cramera na ℝ^{d}

W tej części będziemy zakładać, że X, X_{1}, … są niezależnymi d-wymiarowymi wektorami losowymi o jednakowym rozkładzie.

Definicja 1.4. Dla d-wymiarowego wektora losowego X określamy dla t ∈ ℝ^{d},

M_{X} (t) := Ee^{⟨t,X⟩} , Λ_{X} (t) := logM_{X} (t)

oraz dla s ∈ ℝ^{d},

Λ_{X}^{∗} (s) := sup{⟨s, t⟩ − Λ_{X} (t): t ∈ ℝ^{d}}.

Współrzędne wektorów X (odp. X_{i}) będziemy oznaczać X^{(j)} (odp. X_{i}^{(j)} ) i definiujemy S̄_{n}^{(j)} := n^{−1} ∑ _{i=1}^{n} X_{i}^{(j)} .

Będziemy zakładać, że

M_{X} (t) < ∞ dla wszystkich t ∈ ℝ^{d}.  (4)

Lemat 1.12. Przy założeniu warunku (4),

i) Funkcja Λ_{X} : ℝ^{d} → ℝ jest wypukła, klasy C^{∞} oraz

\frac{∂}{∂t_{i}} Λ(t) = E(X^{(i)} e^{⟨t,X⟩}).

ii) Funkcja Λ_{X}^{∗} : ℝ^{d} → [0, ∞] jest wypukła. iii) Jeśli s = ∇Λ_{X} (t) dla pewnych s, t ∈ ℝ^{d}, to Λ_{X}^{∗} (s) = ⟨t, s⟩ − Λ(t).

Dowód. i) Wypukłość Λ_{X} wynika z nierówności Höldera jak w przypadku jednowymiarowym. By udowodnić gładkość, indukcyjnie po |α| = α_{1} + …+ α_{d}, dowodzimy, że dla α ∈ ℤ_{+}^{d} ,

\frac{∂^{α_{1}}}{∂t_{1}^{α_{1}}} ⋯\frac{∂^{α_{d}}}{∂t_{d}^{α_{d}}} Λ_{X} (t) = E((X^{(1)})^{α_{1}} ⋯ (X^{(d)})^{α_{d}} e^{⟨t,X⟩}).

ii) Funkcja Λ_{X}^{∗} jest wypukła jako supremum funkcji liniowych. Nieujemność Λ_{X}^{∗} wynika z szacowania Λ_{X}^{∗} (t) ⟨0, t⟩ − Λ_{X} (0) = 0.

iii) Ustalmy u ∈ ℝ^{d} i określmy

g(α) := α⟨u − t, s⟩ − Λ_{X} (t + α(u − t)) + ⟨t, s⟩, α ∈ ℝ.

Wypukłość Λ_{X} implikuje wklęsłość g, zatem

g(1) − g(0) lim_{α→0+} \frac{g(α) − g(0)}{α} = ⟨u − t, s⟩ − ⟨u − t, ∇Λ_{X} (t)⟩ = 0.

Dostaliśmy więc g(1) g(0), czyli ⟨u, s⟩ − Λ_{X} (u) ⟨t, s⟩ − Λ_{X} (t), co po wzięciu supremum po u ∈ ℝ^{d} daje tezę.

Twierdzenie 1.13. Załóżmy, że M_{X} (t) < ∞ dla wszystkich t ∈ ℝ^{d}. Wówczas i) Dla dowolnego zbioru domkniętego F ⊂ ℝ^{d},

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F) − inf_{x∈F} Λ_{X}^{∗} (x).

ii) Dla dowolnego zbioru otwartego G ⊂ ℝ^{d},

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ G) − inf_{x∈G} Λ_{X}^{∗} (x).

iii) Dla dowolnego zbioru Γ ∈ B(ℝ^{d}),

− inf_{x∈int(Γ)} Λ_{X}^{∗} (x) lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ Γ)
lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ Γ) − inf_{x∈cl(Γ)} Λ_{X}^{∗} (x).

Dowód. i) Zauważmy, że 2δ − inf_{s∈F} (Λ_{X}^{∗} (s) ∧ M) → − inf_{s∈F} Λ_{X}^{∗} (s) przy δ → 0+, M → ∞, więc wystarczy iż wykażemy

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F) 2δ − inf_{s∈F} (Λ_{X}^{∗} (s) ∧ M) dla δ > 0, M < ∞.  (5)

Ustalmy δ > 0 i M < ∞, dowód (5) podzielimy na dwa kroki.

Krok I. F ⊂ ℝ^{d} zwarty. Dla s ∈ F niech t_{s} ∈ ℝ^{d} będzie takie, że

⟨s, t_{s}⟩ − Λ_{X} (t_{s}) Λ_{X}^{∗} (s) ∧ M − δ

oraz r_{s} > 0 takie, że r_{s}|t_{s}| δ. Przez B(s, r) będziemy oznaczać kulę otwartą o środku w s i promieniu r. Zauważmy, że dla dowolnego zbioru G ∈ B(ℝ^{d}),

P(S̄_{n} ∈ G) = E𝟙_{{S̄_{n} ∈G}} E exp(⟨t, S̄_{n} ⟩ − inf_{x∈G} ⟨t, x⟩).

Zauważmy, że

inf_{x∈B(s,r_{s} )} ⟨t_{s}, x⟩ = ⟨t_{s}, s⟩ + inf_{x∈B(s,r_{s} )} ⟨t_{s}, x − s⟩ = ⟨t_{s}, s⟩ − r_{s}|t_{s}| ⟨t_{s}, s⟩ − δ.

Zatem

P(S̄_{n} ∈ B(s, r_{s})) E exp(n⟨t_{s}, S̄_{n} ⟩) exp(− inf_{x∈B(s,r_{s} )} n⟨t_{s}, x⟩)
exp(n(Λ_{X} (t_{s}) − ⟨t_{s}, s⟩ + δ)) exp(n(2δ − Λ_{X}^{∗} (s) ∧ M)).

Zbiór F jest zwarty więc istnieje skończony podzbiór S ⊂ F taki, że F ⊂ ⋃ _{s∈S} B(s, r_{s}) i wówczas

P(S̄_{n} ∈ F) ∑_{s∈S} P(S̄_{n} ∈ B(s, r_{s})) ∑_{s∈S} exp(n(2δ − Λ_{X}^{∗} (s) ∧ M)),

zatem

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F) 2δ − min_{s∈S}(Λ_{X}^{∗} (s) ∧ M) 2δ − inf_{s∈F} (Λ_{X}^{∗} (s) ∧ M).

Krok II. F dowolny zwarty. Dla ρ > 0 niech K_{ρ} := [−ρ, ρ]^{d}. Jeśli ρ > max_{j} E|X^{(j)} |, to z nierówności Chernoffa,

P(S̄_{n} ∉ K_{ρ}) ∑_{j=1}^{d} P(|S̄_{n}^{(j)} | > ρ) ∑_{j=1}^{d} (exp(−nΛ_{X^{(j)}}^{∗} (ρ)) + exp(−nΛ_{X^{(j)}}^{∗} (−ρ))).

Ponieważ Λ_{X^{(j)}}^{∗} (s) → ∞ przy |s| → ∞, więc dla odpowiednio dużego ρ, P(S̄_{n} ∉ K_{ρ}) exp(−nM), czyli

P(S̄_{n} ∈ F) P(S̄_{n} ∈ F ∩ K_{ρ}) + P(S̄_{n} ∉ K_{ρ}) P(S̄_{n} ∈ F ∩ K_{ρ}) + exp(−nM).

Zbiór F ∩ K_{ρ} jest zwarty, więc na mocy Kroku I,

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F ∩ K_{ρ}) 2δ − inf_{s∈F ∩K_{ρ}} (Λ_{X}^{∗} (s) ∧ M),

a ponieważ 2δ − inf_{s∈F ∩K_{ρ}} (Λ_{X}^{∗} (s) ∧ M) > −M, więc

lim sup_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ F) 2δ − inf_{s∈F ∩K_{ρ}} (Λ_{X}^{∗} (s) ∧ M) 2δ − inf_{s∈F} (Λ_{X}^{∗} (s) ∧ M).

ii) Wystarczy iż wykażemy, że lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ G) −Λ_{X}^{∗} (s) dla dowolnego s ∈ G. Ponieważ B(s, δ) ⊂ G dla pewnego δ > 0, więc musimy jedynie wykazać, że

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ B(s, δ)) −Λ_{X}^{∗} (s) dla δ > 0.

Rozpatrzymy dwa przypadki.

Przypadek I. s = ∇Λ_{X} (t) dla pewnego t ∈ ℝ^{d}.

Określmy miarę probabilistyczną μ_{t} na ℝ^{d} wzorem

dμ_{t}(x) := \frac{1}{M_{X} (t)}e^{⟨x,t⟩}dμ_{X} (x),

czyli dμ_{X} (x) = exp(−⟨x, t⟩ + Λ_{X} (t))dμ_{t}(x). Niech Y, Y_{1}, Y_{2}, … będą niezależnymi wektorami losowymi o rozkładzie μ_{t}, T_{n} := (Y_{1} + …+ Y_{n}) oraz T̄_{n} := T_{n}/n. Dla dowolnej nieujemnej funkcji mierzalnej f na ℝ^{d} mamy

Ef(X_{1}, …, X_{n}) = exp(nΛ_{X} (t))Ef(Y_{1}, …, Y_{n}) exp(−⟨t, T_{n}⟩),

zatem

P(S̄_{n} ∈ B(s, δ)) = exp(nΛ_{X} (t))E exp(−⟨t, T_{n}⟩)𝟙_{{T̄_{n} ∈B(s,δ)}}
= exp(−n(⟨t, s⟩ − Λ_{X} (t)))E exp(−n⟨t, T̄_{n} − s⟩)𝟙_{{|T_{n} −s|<δ)}}
exp(−nΛ_{X}^{∗} (s) + nδ)P(|T_{n} − s| < δ).

Mamy jednak

EY = \frac{1}{M_{X} (t)}E(Xe^{⟨t,X⟩}) = \frac{∇M_{X} (t)}{M_{X} (t)} = ∇Λ_{X} (t) = s,

czyli ze słabego prawa wielkich liczb,

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ B(s, δ)) −Λ_{X}^{∗} (s) + δ + lim inf_{n→∞} \frac{1}{n} logP(|T̄_{n} − s| < δ))
= −Λ_{X}^{∗} (s) + δ.

Otrzymujemy więc

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ B(s, δ)) lim_{δ′→0+} lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ B(s, δ)) −Λ_{X}^{∗} (s).

Przypadek II. X dowolna zmienna spełniająca (4). Niech G, G_{1}, G_{2}, … niezależne kanoniczne d-wymiarowe wektory gaussowskie (tzn. współrzędne G_{i} są niezależnymi zmiennymi N (0, 1)), niezależne od X, X_{1}, X_{2}, . . .. Ustalmy M > 0 i zdefinujmy

Y := X + \frac{1}{\sqrt{M}} G, Y_{i} := X_{i} + \frac{1}{\sqrt{M}} G_{i}, R_{n} := \frac{G_{1} + …G_{n}}{n\sqrt{M}}

Wówczas M_{Y}(t) = M_{X} (t)M_{G}(t/\sqrt{M}) = M_{X} (t) exp(|t|^{2}/(2M)), czyli Λ_{Y}(t) = Λ_{X} (t)+|t|^{2}/(2M) Λ_{X} (t) oraz Λ_{Y}^{∗}(s) Λ_{X}^{∗} (s) dla wszystkich s. Z nierówności Jensena, Λ_{X} (t) = logE exp(⟨t, X⟩) E⟨t, X⟩, czyli Λ_{Y}(t) |t|^{2}/(2M)+⟨t, EX⟩ oraz

⟨s, t⟩ − Λ_{Y}(t) −|t|^{2}/(2M) + ⟨t, s − EX⟩ → −∞ przy |t| → ∞,

a więc funkcja t → ⟨s, t⟩ − Λ_{Y}(t) osiąga swoje supremum czyli istnieje t takie, że s = ∇Λ_{Y}(t). Mamy

\frac{Y_{1} + …Y_{n}}{n} = S̄_{n} + R_{n},

na mocy przypadku I otrzymujemy

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} + R_{n} ∈ B(s, δ/2)) −Λ_{Y}^{∗}(s) −Λ_{X}^{∗} (s).

Zmienna R_{n} ma ten sam rozkład, co G/\sqrt{nM}, więc

P(|R_{n}| \frac{δ}{2}) = P(|G| \sqrt{nM} \frac{δ}{2}) ∑_{j=1}^{d} P(|G^{(j)} | \sqrt{nM} \frac{δ}{2d}) 2d exp(−\frac{nMδ^{2}}{8d^{2}} ),

ostatnie szacowanie wynika stąd, że G^{(j)} ∼ N (0, 1). Jeśli przyjmiemy M := 8δ^{−2} d^{2}(Λ_{X}^{∗} (s) + 1), to dostaniemy

P(|R_{n}| \frac{δ}{2}) 2d exp(−n(Λ_{X}^{∗} (s) + 1)) \frac{1}{2}P(S̄_{n} + R_{n} ∈ B(S, \frac{δ}{2}))

dla dostatecznie duzych n. Zatem

P(S̄_{n} ∈ B(S, δ)) P(S̄_{n} +R_{n} ∈ B(S, \frac{δ}{2}))−P(|R_{n}| \frac{δ}{2}) \frac{1}{2}P(S̄_{n} +R_{n} ∈ B(s, \frac{δ}{2}))

dla dużych n, czyli

lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} ∈ B(s, δ)) lim inf_{n→∞} \frac{1}{n} logP(S̄_{n} + R_{n} ∈ B(s, δ/2)) −Λ_{X}^{∗} (s).

2 Nierówności Wykładnicze.

Nierówność Chernoffa pokazuje, że jeśli S = ∑ _{i=1}^{n} X_{i} oraz X_{i} są niezależne o jednakowym rozkładzie, to P(S s) exp(−nΛ_{X}^{∗} (s/n)). Jednak stosowanie tej nierówności w praktyce natrafia na pewne ograniczenia:

i) Nie zawsze da się dokładnie obliczyć Λ_{X}, a co za tym idzie Λ_{X}^{∗}; ii) Założenie o jednakowym rozkładzie X_{i} bywa często niewygodne.

By te trudności obejść zauważmy, że dowód nierówności Chernoffa pokazuje, że

P(S s) exp( − sup_{t>0}(st − Λ_{S}(t))) dla s > 0.

Ponadto jeśli będziemy umieli oszacować dla wszystkich i, Λ_{X_{i}} z góry, to da nam to górne ograniczenie Λ_{S} = ∑ _{i=1}^{n} Λ_{X_{i}} i za pośrednictwem powyższej nierówności ograniczymy też P(S s). Metodę tę bedziemy stosować w kolejnych paragrafach.

Szacowania P(S s) z dołu są z reguły dużo trudniejsze, co już wcześniej widzieliśmy przy próbie odwrócenia nierówności Chernoffa.

2.1 Nierówności dla ograniczonych przyrostów

W tym paragrafie pokażemy jakie szacowania można wyprowadzić, jeśli potrafimy oszacować poszczególne zmienne z góry.

Lemat 2.1. Załóżmy, że X jest zmienną losową o średniej zero taką, że d = ∥X∥_{∞} < ∞. Wówczas

Λ_{X} (t) exp((dt)^{2}/2) dla wszystkicht.

Dowód. Ponieważ Λ_{X} (t) = Λ_{X/d} (dt) możemy zakładać, że d = 1. Dla |x| 1 mamy \frac{1−x}{2} t + \frac{1+x}{2} t = tx, więc z wypukłości exp(x),

e^{tx} \frac{1 − x}{2} e^{t} + \frac{1 + x}{2} e^{t} = sinh(t) + x cosh(t) dla |x| 1.

Zatem, jeśli ∥X∥_{∞} 1, to

E exp(tX) cosh(t) + sinh(t)EX = cosh(t) exp(t^{2}/2).

Twierdzenie 2.2. Załóżmy, że X_{i} są niezależnymi zmiennymi losowymi o średniej zero oraz ∥X_{i}∥_{∞} d_{i}. Wówczas

E exp( t ∑_{i=1}^{n} X_{i}) exp( ∑_{i=1}^{n} d_{i}^{2} \frac{t^{2}}{2})

oraz

P( ∑_{i=1}^{n} X_{i} s) exp( \frac{s^{2}}{2 ∑ _{i=1}^{n} d_{i}^{2}}) .

Dowód. Pierwsza nierówność wynika natychmiast z Lematu 2.1. By uzyskać drugą szacujemy dla S = ∑ _{i=1}^{n} X_{i},

P(S s) exp( − sup_{t>0}(st − Λ_{S}(t))) exp( − sup_{t>0}( st − ∑_{i=1}^{n} d_{i}^{2} \frac{t^{2}}{2}) )

= exp( \frac{s^{2}}{2 ∑ _{i=1}^{n} d_{i}^{2}}) .

Wniosek 2.3. Załóżmy, że (ε_{i}) jest ciągiem Bernouliego tzn. ciągiem niezależnych zmiennych losowych takim, że P(ε_{i} = ±1) = 1/2. Wówczas dla dowolnego ciągu a_{i} spełniającego ∑ _{i} a_{i}^{2} < ∞ zachodzi

P( ∑_{i} a_{i}ε_{i} s)) exp( − \frac{s^{2}}{2 ∑ _{i} a_{i}^{2}} ) .

Dowód. Prosty argument graniczny pokazuje, że wystarczy rozważać przypadek skończony, który jest natychmiastowym wnioskiem z Twierdzenia 2.2.

Uwaga 2.2 Można udowodnić znacznie ogólniejsze twierdzenie - nierówność Azumy. Dla dowolnego martyngału (M_{k}, F_{k})_{k=1}^{n} takiego, że ∥M_{k} − M_{k−1} ∥_{∞} d_{k} zachodzi

P(M_{n} − M_{0} s) exp( \frac{s^{2}}{2 ∑ _{i=1}^{n} d_{i}^{2}}) .

2.2 Nierówności typu Bernsteina

Nierówności z poprzedniego paragrafu są mało precyzyjne, działają dobrze tylko, gdy wariancja zmiennych jest zbliżona do kwadratu ich normy supremum. Jest to związane z tym, że w założeniach występowała tylko norma L^{∞} . W tym paragrafie pokażemy jak można jednocześnie wykorzystywać znajomość wariancji i normy supremum.

Lemat 2.4. Załóżmy, że X jest zmienną losową o średniej zero taką, że istnieją σ^{2}, M < ∞ spełniające

E|X|^{k} \frac{k!}{2}σ^{2}M^{k−2} dla k = 2, 3, . . ..

Wówczas

Λ_{X} (t) \frac{σ^{2}t^{2}}{2(1 − M|t|)} dla M|t| < 1.

Dowód. Liczymy

M_{X} (t) = ∑_{k=0}^{∞} \frac{t^{k}}{k!}EX^{k} 1 + ∑_{k=2}^{∞} \frac{t^{k}}{2} σ^{2}M^{k−2} = 1 + \frac{t^{2}σ^{2}}{2} ∑_{k=2}^{∞} (tM)^{k−2}

= 1 + \frac{σ^{2}t^{2}}{2(1 − M|t|)} exp( \frac{σ^{2}t^{2}}{2(1 − M|t|)} ) .

Twierdzenie 2.5 (Nierówność Bernsteina). Załóżmy, że X_{i} są niezależnymi zmiennymi losowymi o średniej zero, zaś σ_{i}^{2}, M < ∞ są takie, że

E|X_{i}|^{k} \frac{k!}{2}σ_{i}^{2}M^{k−2} dla i 1, k 2.  (6)

Wówczas

E exp( t ∑_{i=1}^{n} X_{i}) exp( \frac{t^{2} ∑ _{i=1}^{n} σ_{i}^{2}}{2(1 − M|t|)} ) dla M|t| < 1

oraz dla s > 0,

P( ∑_{i=1}^{n} X_{i} s) exp( − \frac{s^{2}}{2 ∑ _{i=1}^{n} σ_{i}^{2} + 2Ms} ) ,

P( | ∑_{i=1}^{n} X_{i}| s) 2 exp( − \frac{s^{2}}{2 ∑ _{i=1}^{n} σ_{i}^{2} + 2Ms} ) .

Dowód. Niech S := ∑ _{i=1}^{n} X_{i}, σ^{2} := ∑ _{i=1}^{n} σ_{i}^{2}, wówczas Λ_{S} = ∑ _{i} Λ_{X_{i}} i pierwsze oszacowanie wynika z Lematu 2.4. Dalej szacujemy

P(S s) exp( − sup_{t>0}(st − Λ_{S}(t))) exp( − sup_{0<t<M^{−1}} (st − \frac{t^{2}σ^{2}}{2(1 − M|t|)} ))

exp( − \frac{s^{2}}{2σ^{2} + 2Ms} ) ,

gdzie ostatnią nierówność dostajemy przujmując t = s(σ^{2} + Ms)^{−1} . Ponieważ zmienne −X_{i} spełniają te same założenia co X_{i}, więc dostajemy dla s < 0,

P(S s) = P(−S −s) exp( − \frac{s^{2}}{2σ^{2} + 2Ms} )

i z tożsamości P(|S| s) = P(S s) + P(S −s) wynika ostatnia część tezy.

Uwaga 2.3 Na mocy centralnego twierdzenia granicznego oraz Faktu 1.1 nie możemy się spodziewać lepszego oszacowania niż exp(−s^{2}/(2σ^{2})). Ponadto zmienne X_{i} o rozkładzie symetrycznym wykładniczym z parametrem 1 (tzn. zmienne z gęstością exp(−|x|)/2) spełniają E|X_{i}|^{2} = k!, czyli dla takich zmiennych zachodzą założenia Twierdzenia 2.5 z σ_{i}^{2} = 2, M = 1. Pokazuje to, że i nie możemy uzyskać szacowania lepszego niż exp(−s/M).

Wniosek 2.6. Załóżmy, że X_{i} są ograniczonymi niezależnymi zmiennymi losowymi o średniej zero, wówczas dla s > 0,

P( ∑_{i=1}^{n} X_{i} s) exp( − \frac{s^{2}}{2σ^{2} + 2as/3} ) ,

gdzie σ^{2} = Var(∑ _{i=1}^{n} X_{i}) = ∑ _{i=1}^{n} EX_{i}^{2} oraz a = max_{i} ∥X_{i}∥_{∞} .

Dowód. Mamy dla k 2,

E|X_{i}|^{k} a^{k−2} EX_{i}^{2} \frac{k!}{2}( \frac{a}{3})^{k−2} EX_{i}^{2},

zatem warunek (6) jest spełniony z M = a/3 oraz σ_{i} = EX_{i}^{2}.

Uwaga 2.4 Nierówność Bernsteina pokazuje, iż jeśli s max_{i} ∥X_{i}∥_{∞} 3ε ∑ _{i} EX_{i}^{2}, to

P( ∑_{i=1}^{n} X_{i} s) exp( − \frac{s^{2}}{2(1 + ε)σ^{2}} ) .

Kolejny wynik pokazuje jak odwrócić szacowanie z powyższej uwagi.

Twierdzenie 2.7 (Odwrotna nierówność wykładnicza Kołmogorowa). Dla ε > 0 istnieją stałe K(ε) i δ(ε) takie, że dla ograniczonych niezależnych zmiennych losowych X_{i} o średniej zero oraz σ^{2} = Var(∑ _{i=1}^{n} X_{i}),

P( ∑_{i=1}^{n} X_{i} s) exp( − (1 + ε)\frac{s^{2}}{2σ^{2}} ) ,

o ile

s max_{i}∥X∥_{∞} δ(ε)σ^{2} oraz s K(ε)σ.

Dowód. Ustalmy ε > 0 i niech u = u(ε) będzie taką liczbą dodatnią dla której

1 − Φ(u) 2 exp(−\sqrt{1 + ε} u^{2}/2).

Wybranie u jest możliwe na podstawie np. oszacowań Faktu 1.1.

Krok I. Istnieje stała γ = γ(ε) taka, że jeśli ograniczone niezależne zmienne losowe X_{i} o sredniej zero spełniają

max_{i k}∥X_{i}∥_{∞} γ(ε)( ∑_{i=1}^{k} EX_{i}^{2})^{1/2} ,

to

P( ∑_{i=1}^{k} X_{i} u(∑_{i=1}^{k} EX_{i}^{2})^{1/2} ) \frac{1}{2}(1 − Φ(u)) exp( − \sqrt{1 + ε} \frac{u^{2}}{2} ) .

Oczywiście wystarczy rozpatrywać przypadek ∑ _{i=1}^{k} EX_{i}^{2} = 1. Załóżmy, że takie γ nie istnieje. Wówczas dla każdego n istnieją niezależne zmienne losowe X_{n,1} , X_{n,2} , …, X_{n,k_{n}} o średniej zero takie, że ∥X_{n,i} ∥_{∞} n^{−1} , ∑ _{i=1}^{k_{n}} EX_{n,i}^{2} = 1 oraz

P( ∑_{i=1}^{k_{n}} X_{n,i} u) < \frac{1}{2}(1 − Φ(u)).

Łatwo sprawdzić, że układ trójkątny (X_{n,i} )_{n,i} spełnia warunek Lindeberga, więc na mocy centralnego twierdzenia granicznego,

lim_{n→∞} P( ∑_{i=1}^{k_{n}} X_{n,i} u) = 1 − Φ(u),

co daje sprzeczność z poprzednią nierównością. Zatem teza Kroku I została wykazana.

Krok II. Dowód twierdzenia. Bez straty ogólności możemy zakładać, że ∑ _{i=1}^{n} EX_{i}^{2} = 1. Zdefiniujmy n_{0} = 0 oraz indukcyjnie

n_{j} := inf \{ m: ∑_{i=n_{j−1} +1}^{m} EX_{i}^{2} \frac{u^{2}}{s^{2} \sqrt{1 + ε}} \} .

Konstrukcje przerywamy na takim n_{k} dla którego

∑_{i=n_{k} +1}^{n} EX_{i}^{2} < \frac{u^{2}}{s^{2} \sqrt{1 + ε}} ,

wtedy oczywiście k u^{−2} s^{2} \sqrt{1 + ε}. Określmy

S_{j} := ∑_{i=n_{j−1} +1}^{n_{j}} X_{i} dla j = 1, …, k − 1

oraz

S_{k} := ∑_{i=n_{k−1} +1}^{n} X_{i}.

Wówczas S_{1} + … + S_{k} = ∑ _{i=1}^{n} X_{i} oraz Var(S_{j}) u^{2}/(s^{2} \sqrt{1 + ε}). Ponadto

max_{i}∥X_{i}∥_{∞} s^{−1} δ(ε) γ(Var(S_{j}))^{1/2} ,

jeśli δ(ε) uγ(1 + ε)^{−1/4} . Zatem na mocy kroku I,

P( S_{j} \frac{u^{2}}{s\sqrt[4]{1 + ε}} ) P(S_{j} u(Var(S_{j}))^{1/2} ) exp( − \sqrt{1 + ε} \frac{u^{2}}{2} ) .

oraz

P( S k \frac{u^{2}}{t\sqrt[4]{1 + ε}} ) ∏_{j=1}^{k} P( S_{j} \frac{u^{2}}{s\sqrt[4]{1 + ε}} ) exp( − k\sqrt{1 + ε} \frac{u^{2}}{2} )
exp(−(1 + ε)s^{2}/2).

Oszacujmy k z dołu. Mamy dla j = 1, …, k,

∑_{i=n_{j} −1}^{n_{j}} EX_{i}^{2} \frac{u^{2}}{s^{2} \sqrt{1 + ε}} + EX_{n_{j}}^{2} \frac{1}{s^{2}} ( \frac{u^{2}}{\sqrt{1 + ε}} + δ^{2}(ε)) ,

co daje

1 = ∑_{i=1}^{n} EX_{i}^{2} \frac{k}{s^{2}} ( \frac{u^{2}}{\sqrt{1 + ε}} + δ^{2}(ε)) + \frac{u^{2}}{s^{2} \sqrt{1 + ε}} ,

czyli

k \frac{s^{2} \sqrt{1 + ε} − u^{2}}{u^{2} + \sqrt{1 + ε} δ^{2}(ε)} \frac{s^{2}}{u^{2}} \sqrt[4]{1 + ε} ,

o ile δ(ε) jest odpowiednio małe, a K(ε) odpowiednio duże. I wtedy

P(S s) P( S k \frac{u^{2}}{t\sqrt[4]{1 + ε}} ) exp( − (1 + ε)\frac{s^{2}}{2} ) .

Uwaga 2.5 Nierówność z powyższego twierdzenia można też równoważnie sformułować jako

P( ∑_{i=1}^{n} X_{i} s) \frac{1}{K̃(ε)} exp( − (1 + ε)\frac{s^{2}}{2σ^{2}} ) ,

o ile

max(s, σ) max_{i}∥X∥_{∞} δ̃(ε)σ^{2}.

2.3 Nierówność Bennetta

Szacowanie podane we Wniosku 2.6 jest z uwagi na centralne twierdzenie graniczne bliskie optymalnego dla s małych. Jednak dla s dużych można je poprawić o czynnik logarytmiczy.

Lemat 2.8. Załóżmy, że X jest zmienną losową o średniej zero, wariancji σ^{2} oraz ∥X_{i}∥_{∞} a. Wówczas

Λ_{X} (t) \frac{σ^{2}}{a^{2}} (e^{ta} − ta − 1).

Dowód. Liczymy

Ee^{tX} = 1 + tEX + ∑_{k=2}^{∞} \frac{t^{k}EX^{k}}{k!} 1 + σ^{2} ∑_{k=2}^{∞} \frac{t^{k}a^{k−2}}{k!} = 1 + \frac{σ^{2}}{a^{2}} (e^{ta} − ta − 1)

i teza wynika łatwo z nierówności ln(1 + x) x.

Twierdzenie 2.9 (nierówność Bennetta). Załóżmy, że X_{i} są ograniczonymi niezależnymi zmiennymi losowymi o średniej zero, σ^{2} = Var(∑ _{i=1}^{n} X_{i}) = ∑ _{i=1}^{n} EX_{i}^{2} oraz a max_{i} ∥X_{i}∥_{∞} . Wówczas dla t > 0,

E exp( t ∑_{i=1}^{n} X_{i}) exp( \frac{σ^{2}}{a^{2}} (e^{ta} − ta − 1))

oraz dla s > 0,

P( ∑_{i=1}^{n} X_{i} s) exp( − \frac{σ^{2}}{a^{2}} h( \frac{sa}{σ^{2}} ) ) exp( − \frac{s}{2a} ln( 1 + \frac{sa}{σ^{2}} ) ) ,

gdzie

h(x) := (1 + x) ln(1 + x) − x.

Dowód. Pierwsza część wynika natychmiast z Lematu 2.8. By pokazać drugą zauważamy, że dla S = ∑ _{i=1}^{n} X_{i},

P(S s) exp( − sup_{t>0}Λ_{S}(t) − ts) exp( − sup_{t>0}( st − \frac{σ^{2}}{a^{2}} (e^{ta} − ta − 1)) ) .

Prosty rachunek pokazuje, że powyższe supremum jest osiągane w punkcie

t = \frac{1}{a} ln( 1 + \frac{as}{σ^{2}} )

i wynosi

\frac{σ^{2}}{a^{2}} [( 1 + \frac{sa}{σ^{2}} ) ln( 1 + \frac{sa}{σ^{2}} ) − \frac{sM}{σ^{2}} ] = \frac{σ^{2}}{a^{2}} h( \frac{sa}{σ^{2}} ) , \frac{s}{2a} ln( 1 + \frac{sa}{σ^{2}} ) ,

gdzie ostatnie oszacowanie wynika z poniższego lematu.

Lemat 2.10. Dla dowolnego x 0,

(1 + x) ln(1 + x) − x \frac{x}{2} ln(1 + x).

Dowód. Niech f(x) = (1+x) ln(1+x)−x−(x/2) ln(1+x) = (1+x/2) ln(1+

x) − x. Liczymy f′(x) = (ln(1 + x) − x(1 + x)^{−1} )/2, f′′(x) = x(1 + x)^{−2} , zatem f(0) = f′(0) = 0 oraz f′′(x) 0 dla x 0.

Uwaga 2.6 Jeśli P(X_{n,i} = 1) = 1 − P(X_{n,i} ) = 1/n oraz X_{n,i} są niezależne, to rozkład ∑ _{i=1}^{n} X_{i,n} zbiega do rozkładu Poissona z parametrem 1. Oczywiście ∑ _{i=1}^{n} EX_{i,n}^{2} = 1 = max_{i} ∥X_{i,n} ∥_{∞} . To pokazuje, że przy założeniach Twierdzenia 2.9 nie można uzyskać przy s → ∞ oszacowania lepszego rzędu niż s lns.

3 Nierówności maksymalne

W tym rozdziale będziemy zakładać, że (F, ∥ · ∥) jest ośrodkową przestrzenią Banacha, a X_{i} wektorami losowymi o wartościach w F. Tradycyjnie definiujemy

S_{n} := ∑_{i=1}^{n} X_{i}.

Przy dowodzeniu twierdzeń granicznych przydają się nierówności pozwalające szacować max_{k} ∥S_{k}∥ przez pojedynczą zmienną S_{k}.

3.1 Nierówności Levy’ego i Levy’ego-Octavianiego

Twierdzenie 3.1 (Nierówność Levy’ego). Załóżmy, że X_{i} są niezależnymi symetrycznymi wektorami losowymi w F. Wówczas dla s > 0,

P( max_{1 k n} ∥S_{k}∥ s) 2P(∥S_{n}∥ s).

Dowód. Niech

A_{k} := {∥S_{1}∥ < s, …, ∥S_{k−1} ∥ < s, ∥S_{k}∥ s}.

Zauważmy, że dla dowolnych x, y ∈ F,

max(∥x + y∥, ∥x − y∥) \frac{1}{2}∥x + y∥ + \frac{1}{2}∥x − y∥ ∥x∥,

zatem

A_{k} ⊂ (A_{k} ∩ {∥S_{k} + (S_{n} − S_{k})∥ s}) ∪ (A_{k} ∩ {∥S_{k} − (S_{n} − S_{k})∥ s}).

Łączny rozkład zmiennych (S_{1}, S_{2}, …, S_{k}, S_{n} − S_{k}) jest taki sam jak łączny rozkład (S_{1}, S_{2}, …, S_{k}, −(S_{n}−S_{k})), więc oba zbiory po prawej stronie powyższej inkluzji mają jednakowe prawdopodobieństwo, zatem

P(A_{k}) 2P(A_{k} ∩ {∥S_{n}∥ s}),

czyli

P( max_{1 k n} ∥S_{k}∥ s) = ∑_{k=1}^{n} P(A_{k}) 2 ∑_{k=1}^{n} P(A_{k} ∩{∥S_{n}∥ s}) 2P(∥S_{n}∥ s).

Wniosek 3.2. Załóżmy, że zmienne X_{i} sa niezależne i symetryczne oraz |a_{i}|

1. Wówczas

P(∥ ∑_{i=1}^{n} a_{i}X_{i}∥ > t) 2P(∥S_{n}∥ > t).

Dowód. Możemy zakładać, że a_{1} a_{2} … a_{n} 0, wówczas

∑_{i=1}^{n} a_{i}X_{i} = a_{n}S_{n} + ∑_{k=1}^{n−1} (a_{k} − a_{k+1} )S_{k},

czyli ∥ ∑ _{i=1}^{n} a_{i}X_{i}∥ max_{1 k n} ∥S_{k}∥ i teza wniosku wynika z nierówności Levy’ego.

Uwaga 3.7 Jeśli założenia Wniosku 3.2 są spełnione, to dla dowolnej funkcji wypukłej f: F → ℝ_{+} ,

EF (∑_{i=1}^{n} a_{i}X_{i}) EF (∑_{i=1}^{n} X_{i}),

w szczególności ∥ ∑ _{i=1}^{n} a_{i}X_{i}∥_{p} ∥ ∑ _{i=1}^{n} X_{i}∥_{p}. Nie jest jednak prawdą, że nierówność z Wniosku 3.2 zachodzi ze stałą 1.

Przejdźmy teraz do przypadku niesymetrycznego.

Lemat 3.3. Dla dowolnych niezależnych zmiennych losowych X_{i} oraz u, t > 0,

P( max_{1 k n} ∥S_{k}∥ t + u) \frac{P(∥S_{n}∥ u)}{1 − max_{1 k n} P(∥S_{n} − S_{k}∥ t)} ,  (7)

o ile P(∥S_{n} − S_{k}∥ t) < 1 dla 1 k n.

Dowód. Zdefiniujmy

A_{k} := {∥S_{1}∥ < t + u, …, ∥S_{k−1} ∥ < t + u, ∥S_{k}∥ t + u}

zbiory A_{k} są parami rozłączne oraz

A := ⋃_{k=1}^{n} A_{k} = { max_{1 k n} ∥S_{k}∥ t + u}.

Zauważmy, że ∥S_{n}∥ ∥S_{k}∥ − ∥S_{n} − S_{k}∥, zatem wykorzystując założenie o niezależności,

P(∥S_{n} − S_{k}∥ < t)P(A_{k}) = P(A_{k} ∩ {∥S_{n} − S_{k}∥ < t}) P(A_{k} ∩ {∥S_{n}∥ u}).

Otrzymujemy

min_{1 k n} P(∥S_{n} − S_{k}∥ < t)P(A) ∑_{k=1}^{n} P(∥S_{n} − S_{k}∥ < t)P(A_{k})

∑_{k=1}^{n} P(A_{k} ∩ {∥S_{n}∥ u}) P(∥S_{n}∥ u),

co po podzieleniu stronami przez min_{1 k n} P(∥S_{n}−S_{k}∥ < t) = 1−max_{1 k n} P(∥S_{n}− S_{k}∥ t) daje tezę lematu.

Twierdzenie 3.4 (Nierówność Levy’ego-Octavianiego). . Załóżmy, że X_{i} są niezależnymi wektorami losowymi w F. Wówczas dla s > 0,

P( max_{1 k n} ∥S_{k}∥ s) 3 max_{1 k n} P(∥S_{k}∥ s/3).  (8)

Dowód. Szacujemy

P(∥S_{n} − S_{k}∥ t) P(∥S_{n}∥ t/2) + P(∥S_{k}∥ t/2) 2 max_{1 k n} P(∥S_{k}∥ t/2),

zatem

max_{1 k n} P(∥S_{n} − S_{k}∥ < t) 2 max_{1 k n} P(∥S_{k}∥ t/2).

Oczywiście by udowodnić (8) możemy założyć, że max_{1 k n} P(∥S_{k}∥ s/3) < 1/3. Kładąc u = s/3 oraz t = 2s/3 w (7) dostajemy

P( max_{1 k n} ∥S_{k}∥ s) \frac{P(∥S_{n}∥ s/3)}{1 − 2 max_{1 k n} P(∥S_{k}∥ s/3)} 3P(∥S_{n}∥ s/3).

3.2 Nierówności dla sum zmiennych o jednakowym rozkładzie

W tym paragrafie będziemy dodatkowo zakładać, że

Niezależne zmienne X_{i} o wartościach w F mają jednakowy rozkład. (9)

Dla wektora losowego X o wartościach w F i s > 0 określmy

A(X, s) = inf_{x∈F} P(∥X − x∥ > s).

Lemat 3.5. Jeśli X i Y są niezależne, to

A(X + Y, s) A(X, s) dla s > 0.

Dowód. Dla dowolego x ∈ F dostajemy

P(∥X + Y − x∥ > s) = E_{Y}P_{X} (∥X + Y − x∥ > s) E_{Y}A(X, s) = A(X, s).

Lemat 3.6. Załóżmy, że zachodzi (9) oraz P(∥S_{n}∥ > s/5) < 1/4. Wówczas

max_{1 k n} P(∥S_{k}∥ > s) P(∥S_{n}∥ > s/5).

Dowód. Ustalmy liczbę α taką, że 1/4 > α > P(∥S_{n}∥ > s/5). Wówczas oczywiście A(S_{n}, s/5) < α, czyli na mocy Lematu 3.5, A(S_{k}, s/5) < α dla k = 1, …, n. Możemy zatem wybrać x_{1}, …, x_{n−1} ∈ F dla których

P(∥S_{k} − x_{k}∥ > s/5) α, k = 1, …, n − 1.

Wybierzmy i n − 1 takie, że ∥x_{i}∥ = max_{1 j n−1} ∥x_{j} ∥. Wiemy, że P(∥S_{i} − x_{i}∥ > s/5) α oraz P(∥S_{n}∥ > s/5) α), stąd

P(∥S_{n−i} + x_{i}∥ > 2s/5) = P(∥S_{n} − (S_{i} − x_{i})∥ > 2s/5) 2α.

Rozpatrzymy trzy przypadki.

i) i = n − i. Mamy

P({∥S_{i} − x_{i}∥ > s/5} ∪ {∥S_{n−i} + x_{i}∥ > 2s/5}) < 3α < 1,

więc istnieje zdarzenie elementarne ω dla którego ∥S_{i}(w) − x_{i}∥ s/5 oraz ∥S_{n−i} (w)+x_{i}∥ = ∥S_{i}(w)+x_{i}∥ 2s/5. Na mocy nierówności trójkąta dostajemy ∥2x_{i}∥ 3s/5.

ii) i > n − i. Mamy

P(∥S_{2i−n} − 2x_{i}∥ > 3s/5) = P(∥(S_{i} − x_{i}) − (S_{i} − S_{2i−n} + x_{i})∥ > 3s/5)
P(∥S_{i} − x_{i}∥ > s/5) + P(∥S_{i} − S_{2i−n} + x_{i}∥ > 2s/5)
α + P(∥S_{n−i} + x_{i}∥ > 2s/5) 3α.

Zatem

P({∥S_{2i−n} − 2x_{i}∥ > 3s/5} ∪ {∥S_{2i−n} − x_{2i−n} ∥ > 2s/5}) < 4α < 1,

czyli istnieje ω takie, że ∥S_{2i−n} (w)−2x_{i}∥ 3s/5 and ∥S_{2i−n} (w)−x_{2i−n} ∥ s/5. Zatem ∥x_{2i−n} − 2x_{i}∥ 4s/5. Stąd ∥x_{i}∥ ∥x_{2i−n} ∥ 2∥x_{i}∥ − 4s/5, czyli w tym przypadku ∥x_{i}∥ 4s/5.

iii) i < n − i. Dostajemy

P(∥S_{n−2i} + 2x_{i}∥ > 3s/5) = P(∥(S_{n−i} + x_{i}) − (S_{n−i} − S_{n−2i} − x_{i})∥ > 3s/5)

P(∥S_{n−i} + x_{i}∥ > 2s/5) + P(∥S_{n−i} − S_{n−2i} − x_{i}∥ > s/5)

2α + P(∥S_{i} − x_{i}∥ > s/5) 3α.

Tak samo jak w poprzednim przypadku pokazujemy, że ∥x_{n−2i} + 2x_{i}∥ 4s/5 oraz ∥x_{i}∥ 4s/5.

Udowodniliśmy zatem, że max_{1 j n−1} ∥x_{j} ∥ 4s/5, stąd

max_{1 k n} P(∥S_{k}∥ > s) max_{1 k n} P(∥S_{k} − x_{k}∥ > s/5) α,

co z dowolności α ∈ (P(∥S_{n}∥ > s/5), 1/4) dowodzi tezy.

Twierdzenie 3.7. Przy założeniu (9),

P( max_{1 k n} ∥S_{k}∥ > s) 4P(∥S_{n}∥ > s/6).

Dowód. Oczywiście możemy zakładać, że P(∥S_{n}∥ > s/6) < 1/4. Wówczas na mocy Lematu 3.6, max_{1 k n} P(∥S_{k}∥ > 5s/6) P(∥S_{n}∥ > s/6) < 1/4. Z nierówności (7) (z t = 5s/6, u = s/6),

P( max_{1 k n} ∥S_{k}∥ > s) \frac{P(∥S_{n}∥ > s/6)}{1 − max_{1 k n} P(∥S_{n} − S_{k}∥ > 5s/6)}

= \frac{P(∥S_{n}∥ > s/6)}{1 − max_{1 k n} P(∥S_{n−k} ∥ > 5s/6)} \frac{4}{3}P(∥S_{n}∥ > s/6).

Wniosek 3.8. Załóżmy, że zachodzi (9) oraz 0 a_{i} 1. Wówczas

P( ∥ ∑_{i=1}^{n} a_{i}X_{i} ∥ > s) 4P(∥S_{n}∥ > s/6).

Dowód. Możemy zakładać, że a_{1} a_{2} … a_{n} i wtedy tak jak we Wniosku 3.2 dostajemy ∥ ∑ _{i=1}^{n} a_{i}X_{i}∥ max_{1 k n} ∥S_{k}∥.

4 Mocne prawa wielkich liczb

Będziemy zakładali, że X, X_{1}, X_{2}, … są niezależnymi zmiennymi losowymi o wartościach w ośrodkowej przestrzeni Banacha (F, ∥ ∥).

4.1 Prawo Wielkich Liczb Kołmogorowa

Okazuje się, że przeniesienie tradycyjnego sformułowania mocnego prawa wielkich na przypadek przestrzeni Banacha jest łatwe. Dzieje się tak dzięki następującemu lematowi.

Lemat 4.1. Jeśli X jest zmienną losową o wartościach w ośrodkowej przestrzeni Banacha taką, że E∥X∥ < ∞. Wówczas dla dowolnego ε > 0 istnieje funkcja φ: F → F przyjmująca tylko skończenie wiele wartości taka, że E∥X −φ(X)∥ ε.

Dowód. Proste ćwiczenie.

Twierdzenie 4.2. Załóżmy, że F jest dowolną ośrodkową przestrzenią Banacha oraz E∥X∥ < ∞. Wówczas lim_{n→∞} \frac{S_{n}}{n} = EX p.n..

Dowód. Zauważmy, że twierdzenie zachodzi dla F = ℝ, a więc również dla F = ℝ^{k}. Stąd łatwo pokazujemy tezę dla zmiennych przyjmujących wartości w pewnej skończenie wymiarowej podprzestrzeni F.

Oczywiście możemy zakładać, że EX = 0. Niech ε > 0, wówczas na mocy Lematu 4.1 istnieją niezależne zmienne losowe o jednakowym rozkładzie Y_{i} = φ(X_{i}) przyjmujące tylko skończenie wiele wartości spełniające E∥X_{i} − Y_{i}∥ ε. Niech T_{n} := Y_{1} + … + Y_{n}, wówczas

lim sup_{n→∞} \frac{∥S_{n}∥}{n} lim sup_{n→∞} \frac{∥T_{n}∥}{n} + lim sup_{n→∞} \frac{∑ _{i=1}^{n} ∥X_{i} − Y_{i}∥}{n} = ∥EY ∥ + E∥X − Y ∥
∥EX∥ + 2E∥X − Y ∥ 2ε.

Z dowolności ε > 0 dostajemy tezę.

4.2 Prawo Wielkich Liczb Marcinkiewicza-Zygmunda

Okazuje się, że dla regularnych przestrzeni Banacha tradycyjne prawo wielkich liczb da się uogólnić. Zacznijmy od dwóch prostych lematów.

Lemat 4.3. Jeśli E∥X∥^{p} = ∞, to lim sup_{n→∞} \frac{∥S_{n} ∥}{n^{1/p}} = ∞ p.n..

Dowód. Niech

A := \{ω: lim sup_{n→∞} \frac{∥S_{n}(ω)∥}{n^{1/p}} < ∞\}.

Dla ω ∈ A, dostajemy ∥X_{n}(ω)∥ ∥S_{n}(ω)∥ + ∥S_{n−1} (ω)∥ C(ω)n^{1/p} dla pewnego C(ω) < ∞. Zatem A ⊂ ⋃ _{k=1}^{∞} A_{k}, gdzie

A_{k} := {∥X_{n}∥ kn^{1/p} dla n = 1, 2, …}.

Jeśli P(A_{k}) > 0, to P(lim sup{∥X_{n}∥ > kn^{1/p}}) < 1, czyli na mocy Lematu Borela-Cantelliego,

∞ > ∑_{n=1}^{∞} P(∥X_{n}∥ > kn^{1/p}) = ∑_{n=1}^{∞} P( \frac{∥X∥^{p}}{k^{p}} > n) E\frac{∥X∥^{p}}{k^{p}} − 1.

Zatem P(A_{k}) = 0 dla wszystkich k, czyli P(A) = 0.

Lemat 4.4. Załóżmy, że ciąg normujący (γ_{n})_{n 1} liczb dodatnich spełnia warunek

γ_{2l} Cγ_{k} dla l < k 2l.

Wówczas, jeśli

∑_{n=1}^{∞} P(∥S_{2^{n}} ∥ εγ_{2^{n}} ) < ∞ dla wszystkichε > 0,

to lim_{n→∞} \frac{S_{n}}{γ_{n}} = 0 p.n..

Dowód. Szacujemy dla ε > 0,

P( sup_{m>2^{k−1}}  \frac{∥S_{m}∥}{γ_{m}} ε) ∑_{n=k}^{∞} P( sup_{2^{n−1} <m 2^{n}} ∥S_{m}∥ C^{−1} εγ_{2^{n}} )

∑_{n=k}^{∞} 4P(∥S_{2^{n}} ∥ C^{−1} εγ_{2^{n}} /6) → 0 przy k → ∞,

gdzie ostatnia nierówność wynika z Twierdzenia 3.7.

Twierdzenie 4.5 (Prawo wielkich liczb Marcinkiewicza-Zygmunda). Załóżmy, że F jest ośrodkową przestrzenią Hilberta oraz 0 < p < 2. Wówczas następujące warunki są równoważne.

i) lim_{n→∞} \frac{S_{n}}{n^{1/p}} = 0 p.n. ii) E∥X∥^{p} < ∞ oraz jeśli p 1, to EX = 0.

Dowód. ii)⇒i). Wpierw udowodnimy, że warunek ii) implikuje

lim_{n→∞} n^{1−1/p} E[XI_{{∥X∥ n^{1/p} }} ] = 0.  (10)

Dla p 1, wobec EX = 0 szacujemy

n^{1−1/p} ∥E[XI_{{∥X∥ n^{1/p} }} ]∥ = n^{1−1/p} ∥EXI_{{∥X∥>n^{1/p} }} ∥
E[∥X∥(n^{1/p})^{p−1} I_{{∥X∥>n^{1/p} }} ]
E[∥X∥^{p}I_{{∥X∥>n^{1/p} }} ] → 0 przy n → ∞,

na mocy skończoności E∥X∥^{p}. Dla 0 < p < 1 dostajemy dla dowolnego m,

n^{1−1/p} |E[∥X∥I_{{∥X∥ n^{1/p} }} ]|

n^{1−1/p} E[∥X∥I_{{∥X∥ m}} ] + E[∥X∥(n^{1/p})^{p−1} I_{{m<∥X∥ n^{1/p} }} ]

n^{1−1/p} E[∥X∥I_{{∥X∥ m}} ] + E[∥X∥^{p}I_{{∥X∥>m}} ] =: I + II.

Składnik II można zrobić dowolnie małym dobierając odpowiednio duże m, zaś przy ustalonym m, składnik I dąży do zera przy n dążacym do nieskończoności. Czyli (10) zostało wykazane.

Na mocy Lematu 4.4 by wykazać i) wystarczy, iż wykażemy, że dla ε > 0, ∑ _{n} P(∥S_{2^{n}} ∥ 2ε2^{n/p}) < ∞. Z (10) wynika, że 2^{n}E[XI_{{∥X∥ 2^{n/p} }} ] ε2^{n/p} dla dużych n, więc wystarczy, iż udowodnimy, że

∑_{n} P(∥S_{2^{n}} − 2^{n}E[XI_{{∥X∥ 2^{n/p} }} ]∥ ε2^{n/p}) < ∞.

Określmy

S̃_{2^{n}} := ∑_{i=1}^{2^{n}} X_{i}I_{{∥X_{i} ∥ 2^{n/p} }} ,

wówczas

P(∥S_{2^{n}} − 2^{n}E[XI_{{|X|<2^{n/p} }} ]∥ ε2^{n/p})
P(S̃_{2^{n}} ≠ S_{2^{n}} ) + P(∥S̃_{2^{n}} − ES̃_{2^{n}} ∥ ε2^{n/p})
2^{n}P(∥X∥ > 2^{n/p}) + ε^{−2} 2^{−2n/p} E∥S̃_{2^{n}} − ES̃_{2^{n}} ∥^{2}.

Mamy

∑_{n=1}^{∞} 2^{n}P(∥X∥ > 2^{n/p}) = ∑_{n=1}^{∞} 2^{n}P(∥X∥^{p} > 2^{n}) 2E∥X∥^{p} < ∞

oraz

∑_{n=1}^{∞} 2^{−2n/p} E∥S̃_{2^{n}} − ES̃_{2^{n}} ∥^{2}  ∑_{n=1}^{∞} 2^{n(1−2/p)} E∥X∥^{2}I_{{∥X∥ 2^{n/p} }}

= E[∥X∥^{2} ∑_{n=1}^{∞} 2^{n(1−2/p)} I_{{∥X∥^{p} 2^{n} }} ]

C_{p}E[∥X∥^{2}(∥X∥^{p})^{1−2/p} ] = C_{p}E∥X∥^{p} < ∞.

i)⇒ ii). Z Lematu 4.3, dostajemy E∥X∥^{p} < ∞. W szczególności, gdy p 1, to E∥X∥ < ∞ i na mocy zwykłego Mocnego Prawa Wielkich Liczb (albo udowodnionej już implikacji ii)⇒i) z p = 1), \frac{S_{n}}{n} → EX. Stąd EX = 0.

Uwaga 4.8 Dla p 2 jeśli P(X ≠ 0) > 0, to lim sup_{n→∞} \frac{S_{n}}{n^{1/p}} = ∞ p.n. Istotnie tak jest na mocy Lematu 4.3, jeśli EX^{2} = ∞. W przypadku zaś gdy EX^{2} < ∞, to implikacja łatwo wynika z centralnego twierdzenia granicznego.

Uwaga 4.9 Dokładna analiza dowodu Twierdzenia 4.5 pokazuje, że implikacja i)⇒ii) zachodzi dla dowolnych ośrodkowych przestrzeni Banacha F. Jedyną własnością F, którą potrzebujemy do dowodu implikacji ii)⇒i), jest nierówność

E∥ ∑_{i=1}^{n} Z_{i} ∥^{2} C ∑_{i=1}^{n} E∥Z_{i}∥^{2}

dla niezależnych, ograniczonych zmiennych losowych Z_{i} o wartościach w F i średniej 0. Przestrzenie z taką własnością nazywamy przestrzeniami typu 2 (należą do nich np. przestrzenie L^{p}, 2 p < ∞).

4.3 Przypadek niejednakowych rozkładów.

W poprzednich twierdzeniach zakładaliśmy wspólny rozkład zmiennych X_{i}. Jest wiele sformułowań mocnego prawa wielkich liczb, które nie zakładają tego warunku - udowodnimy jedno z nich, sformułowane dla p = 2 przez Kołmogorowa, a dla p 2 przez Brunka.

Twierdzenie 4.6 (Mocne Prawo Wielkich Liczb Brunka). Załóżmy, że p 2 oraz X_{i} są niezależnymi zmiennymi losowymi o średniej zero takimi, że

∑_{i=1}^{∞} \frac{E|X_{i}|^{p}}{i^{p/2+1}} < ∞.

Wówczas zachodzi mocne prawo wielkich liczb, tzn S_{n}/n → 0 p.n..

Dowód. Niech (X′_{i}) będzie niezależną kopią ciągu (X_{i}) oraz Y_{i} = X_{i} − X′_{i}. Ponadto przez (ε_{i}) oznaczmy niezależny od (Y_{i}) ciąg Bernoulliego, tzn. ciąg niezależnych zmiennych losowych taki, że P(ε_{i} = ±1) = 1/2. Mamy

E| ∑_{i=1}^{n} X_{i} |^{p} E| ∑_{i=1}^{n} X_{i} − ∑_{i=1}^{n} X′_{i}|^{p} = E| ∑_{i=1}^{n} Y_{i} |^{p} = E_{Y}E_{ε}| ∑_{i=1}^{n} εY_{i} |^{p}

E_{Y}C_{p}( ∑_{i=1}^{n} |Y_{i}|^{2})^{p/2} C_{p}E(n^{p/2−1} ∑_{i=1}^{n} |Y_{i}|^{p})

2^{p}C_{p}n^{p/2−1} ∑_{i=1}^{n} E|Y_{i}|^{p},

gdzie kolejne nierówności wynikają z nierówności Jensena, nierówności Chinczyna, nierówności Höldera oraz oszacowania ∥Y_{i}∥_{p} ∥X_{i}∥_{p} + ∥X′_{i}∥_{p} = 2∥X_{i}∥_{p}. Stąd na mocy Twierdzenia 3.4,

P( max_{1 k n} |S_{k}| t) 3 max_{1 k n} P(|S_{k}| t/3) 3 max_{1 k n} (t/3)^{−p} E|S_{k}|^{p}

C′_{p}t^{−p} n^{p/2−1} ∑_{i=1}^{n} E|X_{i}|^{p},

gdzie C′_{p} = 2^{p}3^{p+1} C_{p}. Zatem

P( max_{k 2^{l−1}} \frac{|S_{k}|}{k} ε) ∑_{j=l}^{∞} P( max_{2^{j−1} <k 2^{j}}  \frac{|S_{k}|}{k} ε) ∑_{j=l}^{∞} P(max_{k 2^{j}}|S_{k}| 2^{j−1} ε)

∑_{j=l}^{∞} C′_{p}(2^{j−1} ε)^{−p} (2^{j})^{p/2−1} ∑_{i=1}^{2^{j}} E|X_{i}|^{p}

= C′_{p}(2/ε)^{p} ∑_{i=1}^{∞} E|X_{i}|^{p} ∑_{j l: 2^{j} i} (2^{−j} )^{p/2+1}

C′′_{p}ε^{−p} ∑_{i=1}^{∞} \frac{E|X_{i}|^{p}}{max(i, 2^{l})^{p/2+1}} → 0 przy l → ∞.

Uwaga 4.10 Twierdzenie Brunka (z tym samym dowodem) zachodzi też dla przestrzeni Hilberta oraz ogólniej dla przestrzeni F typu 2.

5 Prawo Iterowanego Logarytmu

W tej części, jeśli nie zaznaczymy inaczej, będziemy zakładać, że X, X_{1}, X_{2}, … są niezależnymi zmiennymi losowymi o jednakowym rozkładzie o średniej zero i wariancji σ^{2}. Jak zwykle też S_{k} = X_{1} + …X_{k}.

Twierdzenie 5.1 (Prawo Iterowanego Logarytmu Hartmana i Wintnera). Dla niezależnych zmiennych losowych o jednakowym rozkładzie ze średnią zero i wariancją σ^{2} zachodzi

lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} = − lim inf_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} = σ p.n..

Dowód twierdzenia podzielimy na szereg prostszych lematów. Dla uproszczenia notacji przyjmiemy γ(x) := \sqrt{2x lnln(x ∨ 10)} .

Lemat 5.2. Dla dowolnego t > 0,

P( max_{1 k n} |S_{k}| t + \sqrt{2}σ\sqrt{n}) 2P(|S_{n}| t).

Dowód. Z lematu 3.3,

P( max_{1 k n} |S_{k}| t + \sqrt{2}σ\sqrt{n}) \frac{P(|S_{n}| t)}{1 − max_{1 k n} P(|S_{n} − S_{k}| \sqrt{2}σ\sqrt{n})} .

Mamy jednak na mocy nierówności Czebyszewa,

P(|S_{n} − S_{k}| \sqrt{2}σ\sqrt{n}) \frac{Var(S_{n} − S_{k})}{2σ^{2}n} = \frac{(n − k)σ^{2}}{2nσ^{2}} \frac{1}{2}.

Lemat 5.3. Załóżmy, że dla β > 1, a > 0 zachodzi warunek

∑_{n=1}^{∞} P(|S_{⌊β^{n} ⌋}| aγ(β^{n})) < ∞.

Wówczas lim sup_{n→∞} \frac{|S_{n} |}{\sqrt{2n ln ln n}} aβ^{1/2} p.n..

Dowód. Ustalmy c > aβ^{1/2} i oszacujmy,

P( sup_{n>β^{m−1}}  \frac{|S_{n}|}{\sqrt{2n lnlnn}} > c) ∑_{k=m}^{∞} P( max_{β^{k−1} <n β^{k}}  \frac{|S_{n}|}{\sqrt{2n lnlnn}} > c)

∑_{k=m}^{∞} P( max_{n β^{k}} |S_{n}| > cγ(β^{k−1} )) .

Zauważmy, że dla dostatecznie dużych k, cγ(β^{k−1} ) aγ(β^{k}) + \sqrt{2}σβ^{k/2} , czyli na mocy Lematu 5.2,

P( max_{n β^{k}} |S_{n}| > cγ(β^{k−1} )) P( max_{n β^{k}} |S_{n}| > aγ(β^{k}) + \sqrt{2}σβ^{k/2} )
2P(|S_{⌊β^{k} ⌋}| aγ(β^{k})).

Stąd,

lim_{m→∞} P( sup_{n>β^{m−1}} \frac{|S_{n}|}{\sqrt{2n lnlnn}} > c) = 0

dla dowolnego c > aβ^{1/2} i łatwo otrzymujemy tezę.

Lemat 5.4. Mamy lim sup_{n→∞} \frac{|S_{n} |}{\sqrt{2n ln ln n}} 4\sqrt{2}σ p.n..

Dowód. Załóżmy najpierw, że zmienne X_{i} są symetryczne i niech (ε_{i}) będzie ciągiem Bernoulliego niezależnym od (X_{i}). Wówczas ciąg (X_{i}) ma ten sam rozkład co (ε_{i}X_{i}), zatem

P(|S_{n}| t) = P( | ∑_{i=1}^{n} ε_{i}X_{i} | t) .

Z Wniosku 2.3 otrzymujemy dla t, α > 0,

P(|S_{n}| t) P( ∑_{i=1}^{n} X_{i}^{2} α) + 2 exp( − \frac{t^{2}}{2α} ) .

Niech T_{n} = ∑ _{i=1}^{n} X_{i}^{2}. Na mocy Silnego Prawa Wielkich Liczb T_{n}/n → σ^{2} p.n., czyli również 2^{−n} (T_{2^{n+1}} − T_{2^{n}} ) → σ^{2} p.n.. Zatem na mocy Lematu Borela-Cantelliego,

∞ > ∑_{n=1}^{∞} P(2^{−n} (T_{2^{n+1}} − T_{2^{n}} ) 2σ^{2}) = ∑_{n=1}^{∞} P( ∑_{i=1}^{2^{n}} X_{i}^{2} 2^{n+1} σ^{2}) .

Szacujemy,

P(|S_{2^{n}} | aγ(2^{n})σ) P( ∑_{i=1}^{2^{n}} X_{i}^{2} 2^{n+1} σ^{2}) + 2 exp( − \frac{a^{2}σ^{2}2^{n+1} lnln2^{n}}{2^{n+2} σ^{2}} )

P( ∑_{i=1}^{2^{n}} X_{i}^{2} 2^{n+1} σ^{2}) + 2(n ln2)^{−a^{2} /2} .

Stąd dla symetrycznych zmiennych losowych,

∑_{n} P(|S_{2^{n}} | 2γ(2^{n})σ) < ∞.  (11)

W przypadku gdy X_{i} są dowolne oznaczmy przez (X′_{i}) niezależną kopię (X_{i}) oraz niech S′_{n} := ∑ _{i=1}^{n} X′_{i}. Na mocy nierówności Czebyszewa, P(|S′_{n}| > \sqrt{2n}σ) 1/2, więc z niezależności,

P(|S_{n}| t) 2P(|S_{n}| t, |S′_{n}| \sqrt{2n}σ) 2P(|S_{n} − S′_{n}| t − \sqrt{2n}σ).

Zatem dla dużych n,

P(|S_{n}| 4γ(n)σ) 2P(|S_{n} − S′_{n}| 2\sqrt{2}γ(n)σ).

Zauważmy, że S_{n} − S′_{n} = ∑ _{i=1}^{n} Y_{i}, gdzie Y_{i} = X_{i} − X′_{i} są niezależnymi, symetrycznymi zmiennymi losowymi o jednakowym rozkładzie z wariancją 2σ^{2}, czyli na mocy (11),

∑_{n>n_{0}} P(|S_{2^{n}} | 4γ(2^{n})σ) 2 ∑_{n>n_{0}} P|S_{2^{n}} − S′_{2^{n}} | 2γ(2^{n})σ_{Y}) < ∞.

Możemy więc stosować Lemat 5.3 z a = 4 i β = 2.

Lemat 5.5. Jeśli zmienne X_{i} są ograniczone, to lim sup_{n→∞} \frac{|S_{n} |}{\sqrt{2n ln ln n}} σ p.n..

Dowód. Załóżmy, że ∥X∥_{∞} a, wówczas na mocy nierówności Bernsteina (Wniosek 2.6),

P(|S_{n}| t) 2 exp( − \frac{t^{2}}{2nσ^{2} + 2at/3} ) .

Zatem dla β > 1 i ε > 0 oraz dostatecznie duzych n,

P(|S_{⌊β^{n} ⌋}| σ\sqrt{1 + 2ε} γ(β^{n})) 2 exp( − \frac{(1 + 2ε)σ^{2}β^{n} lnlnβ^{n}}{2⌊β^{n}⌋σ^{2} + 2a\sqrt{β^{n} lnlnβ^{n}} /3} )
2 exp(−(1 + ε) lnlnβ^{n}) = (n lnβ)^{−1+ε} .

Możemy więc stosować Lemat 5.3 (z a = σ\sqrt{1 + 2ε}) i dostajemy

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} σ\sqrt{(1 + 2ε)β} p.n. .

Z dowolności β > 1 i ε > 0 wynika teza.

Wniosek 5.6. Dla dowolnych zmiennych o średniej 0 i wariancji σ^{2},

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} σ p.n.

Dowód. Ustalmy M > 0 i rozłóżmy X_{i} = Y_{i} + Z_{i}, gdzie

Y_{i} := X_{i}I_{{|X_{i} | M}} − EX_{i}I_{{|X_{i} | M}} , Z_{i} := X_{i}I_{{|X_{i} |>M}} − EX_{i}I_{{|X_{i} |>M}} .

Określmy T_{n} := Y_{1} + …+ Y_{n}, R_{n} := Z_{1} + …+ Z_{n}. Na mocy Lematów 5.4 i 5.5,

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} lim sup_{n→∞} \frac{|T_{n}|}{\sqrt{2n lnlnn}} +lim sup_{n→∞} \frac{|R_{n}|}{\sqrt{2n lnlnn}} σ_{Y}+4\sqrt{2}σ_{Z} p.n..

Mamy jednak σ_{Y}^{2} EX^{2}I_{{|X| M}} EX^{2} = σ^{2} oraz σ_{Z}^{2} EX^{2}I_{{|X|>M}} → 0 przy M → ∞.

Lemat 5.7. Załóżmy, że dla liczby naturalnej C > 1 oraz a > 0 zachodzi

∑_{n} P(S_{C^{n} −C^{n−1}} aγ(C^{n} − C^{n−1} )) = ∞.

Wówczas lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n ln ln n}} a(1 − C^{−1} )^{1/2} − σC^{−1/2} p.n.

Dowód. Zmienne S_{C^{n}} − S_{C^{n−1}} , n = 1, 2, … są niezależne oraz

∑_{n} P(S_{C^{n}} − S_{C^{n−1}} ) aγ(C^{n} − C^{n−1} )) = ∞.

Zatem na mocy Lematu Borela-Cantelliego,

P( lim sup_{n→∞} \frac{S_{C^{n}} − S_{C^{n−1}}}{γ(C^{n} − C^{n−1} )} a) P(lim sup\{S_{C^{n}} −S_{C^{n−1}} aγ(C^{n}−C^{n−1} )\}) = 1.

Stąd na podstawie Wniosku 5.6,

lim sup_{n→∞} \frac{S_{C^{n}}}{γ(C^{n})} lim sup_{n→∞} \frac{S_{C^{n}} − S_{C^{n−1}}}{γ(C^{n} − C^{n−1} )} lim_{n→∞} \frac{γ(C^{n} − C^{n−1} )}{γ(C^{n})}

− lim sup_{n→∞} \frac{S_{C^{n−1}}}{γ(C^{n−1} )} lim_{n→∞} \frac{γ(C^{n})}{γ(C^{n−1} )}

a(1 − C^{−1} )^{1/2} − σC^{−1/2} p.n..

Lemat 5.8. Jeśli zmienne X_{i} są ograniczone, to lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n ln ln n}} σ p.n..

Dowód. Oszacujemy P(S_{n} (1+ε)^{−2} γ(n)σ) stosując odwrotną nierówność wykładniczą Kołmogorowa (Twierdzenie 2.7) z s = (1+ε)^{−2} γ(n)σ i nσ^{2} zamiast σ^{2}. Zauważmy, że dla dużych n n(ε) jego założenia są spełnione, bo

s max_{i}∥X_{i}∥_{∞} ∥X∥_{∞} σγ(n) δ(ε)nσ^{2}

oraz

s = (1 + ε)^{−2} γ(n)σ K(ε)\sqrt{n}σ.

Zatem dla n n(ε),

P(S_{n} (1 + ε)^{−2} γ(n)σ) exp( − \frac{(1 + ε)γ^{2}(n)σ^{2}}{(1 + ε)^{2}nσ^{2}} ) = (lnn)^{−1/(1+ε)} .

Zatem

∑_{n} P(S_{C^{n} −C^{n−1}} ) (1 + ε)^{−2} σ γ(C^{n} − C^{n−1} ))

∑_{n n(ε)} (log((C − 1)C^{n−1} ))^{−1/(1+ε)} = ∞.

Czyli, na mocy Lematu 5.7,

lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} (1 + ε)^{−2} σ(1 − C^{−1} )^{1/2} − σC^{−1/2} p.n..

Biorąc C → ∞ oraz ε → 0+ dostajemy tezę.

Wniosek 5.9. Dla dowolnych zmiennych o średniej 0 i wariancji σ^{2},

lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} σ p.n..

Dowód. Jak w dowodzie Wniosku 5.6 dla M > 0 rozkładamy X_{i} = Y_{i} + Z_{i} oraz S_{n} = R_{n} + T_{n} i szacujemy używając Lematu 5.8 w Wniosku 5.6,

lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} lim sup_{n→∞} \frac{T_{n}}{\sqrt{2n lnlnn}} − lim sup_{n→∞} \frac{−R_{n}}{\sqrt{2n lnlnn}} σ_{Y} − σ_{Z} p.n..

By zakończyć dowód wystarczy zauważyć, że σ_{Y} → σ oraz σ_{Z} → 0 przy M → ∞.

Dowód Twierdzenia 5.1. Wnioski 5.6 i 5.9 implikują

lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} = σ p.n..

Ponieważ −S_{n} = ∑ _{i=1}^{n} (−X_{i}), więc

lim inf_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} = − lim sup_{n→∞} \frac{−S_{n}}{\sqrt{2n lnlnn}} = −σ_{−X} = σ p.n..

Twierdzenie 5.10. Załóżmy, że

P( lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} < ∞) > 0,

wówczas EX = 0 oraz EX^{2} < ∞.

Dowód. Na mocy założeń istnieje M < ∞ takie, że

P( lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} M) > 0,

ale na mocy prawa 0-1, powyższe prawdopodobieństwo wynosi 0 lub 1. Stąd

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} M p.n..

Załóżmy najpierw dodatkowo, że zmienne X_{i} są symetryczne. Dla t > 0 zdefinujmy

X_{n}^{t} := X_{n}I_{{|X_{n} | t}} − X_{n}I_{{|X_{n} |>t}}

oraz S_{n}^{t} := ∑ _{i=1}^{n} X_{i}^{t}. Zmienne (X_{n}^{t}) mają ten sam rozkład co zmienne X_{n}, zatem lim sup_{n→∞} \frac{|S_{n}^{t} |}{\sqrt{2n ln ln n}} M p.n., czyli

lim sup_{n→∞} \frac{|S_{n} + S_{n}^{t}|}{\sqrt{2n lnlnn}} 2M p.n..

Ale S_{n} + S_{n}^{t} = ∑ _{i=1}^{n} 2X_{i}I_{{|X_{i} | t}} . Zmienne X_{i}I_{{|X_{i} | t}} mają średnią zero i skończoną wariancję, więc na mocy Twierdzenia 5.1,

lim sup_{n→∞} \frac{|S_{n} + S_{n}^{t}|}{\sqrt{2n lnlnn}} (Var(2XI_{\{|X| t\}} ))^{1/2} p.n.

Stąd EX^{2}I_{{|X| t}} M^{2} i z dowolności t > 0 dostajemy EX^{2} < ∞.

W przypadku, gdy rozkład X_{i} nie jest symetryczny, niech (X′_{n}) będzie niezależną kopią (X_{n}), S′_{n} = ∑ _{i=1}^{n} X′_{i}. Wówczas

lim sup_{n→∞} \frac{|S_{n} − S′_{n}|}{\sqrt{2n lnlnn}} 2M p.n..

Mamy jednak S_{n} − S′_{n} = ∑ _{i=1}^{n} (X_{i} − X′_{i}), stąd na mocy rozważanego wcześniej przypadku, E(X − X′)^{2} < ∞, a więc również EX^{2} < ∞.

By zakończyć dowód zauważmy, że na mocy mocnego prawa wielkich liczb

EX = lim_{n→∞} \frac{S_{n}}{n} = lim sup_{n→∞} \frac{S_{n}}{\sqrt{2n lnlnn}} lim_{n→∞} \frac{\sqrt{2n lnlnn}}{n} = 0.

5.1 Zbiór graniczny

Okazuje się, że nie tylko jesteśmy w stanie podać granicę górną i dolną ciągu \frac{S_{n}}{\sqrt{2n ln ln n}} , ale określić zbiór wszystkich możliwych granic jego podciągów. Wprowadźmy najpierw definicję.

Definicja 5.1. Dla ciągu liczbowego (lub ogólniej o wartościach w przestrzeni metrycznej) a_{n} określamy C(a_{n}) zbiór wszystkich punktów skupienia ciągu a_{n}, czyli

x ∈ C(a_{n}) ⇔ ∃_{n_{k}} a_{n_{k}} → x.

Twierdzenie 5.11. Załóżmy, że EX = 0 oraz EX^{2} = σ^{2} < ∞. Wówczas

i) dist(\frac{S_{n}}{\sqrt{2n ln ln n}} , [−σ, σ]) → 0 p.n., ii) C(\frac{S_{n}}{\sqrt{2n ln ln n}} ) = [−σ, σ] p.n..

Dowód opiera się na następującym prostym lemacie.

Lemat 5.12. Załóżmy, że a_{n} jest ciągiem liczbowym takim, że b = lim inf_{n→∞} a_{n} > −∞, c = lim sup_{n→∞} a_{n} < ∞ oraz lim_{n→∞} (a_{n+1} − a_{n}) = 0. Wówczas

i) dist(a_{n}, [b, c]) → 0, ii) C(a_{n}) = [b, c].

Dowód. i) Z definicji granicy dolnej i górnej wynika, że dla ε > 0 dla dostatecznie dużych n, b − ε x_{n} c + ε, co pociąga dist(a_{n}, [b, c]) < ε.

ii) Oczywiście {b, c} ⊂ C(a_{n}), ustalmy d ∈ (b, c). Możemy skonstruować podciąg n_{k} taki, że a_{n_{2k−1}} < d < a_{n_{2k}} . Zdefiniujmy

m_{k} := sup{n n_{k}: a_{n} d},

wówczas a_{m_{k}} d < a_{m_{k} +1} , zatem |d − a_{m_{k}} | |a_{m_{k} +1} − a_{m_{k}} | → 0, czyli d ∈ C(a_{n}).

Dowód Twierdzenia 5.11. Na mocy Lematu 5.12 oraz Twierdzenia 5.1 wystarczy wykazać, że

lim_{n→∞} ( \frac{S_{n}}{γ(n)} − \frac{S_{n−1}}{γ(n − 1)} ) = 0 p.n.,

gdzie γ(n) := \sqrt{2n lnlnn}. Zauważmy, że γ(n)^{−1} − γ(n − 1)^{−1} = o(γ(n − 1)^{−1} ) oraz lim sup|\frac{S_{n−1}}{γ(n−1)} | = σ < ∞ p.n., więc wystarczy udowodnić, że

lim_{n→∞} \frac{X_{n}}{γ(n)} = 0 p.n..

Szacujemy,

∑_{n} P(|X_{n}| εγ(n)) = E ∑_{n} I_{\{|X| εγ(n)\}} E ∑_{n} I_{\{|X| ε\sqrt{2n} \}}

E ∑_{n} I_{\{2n |X|^{2} ε^{−2} \}} E\frac{|X|^{2}}{2ε^{2}} < ∞,

zatem na podstawie Lematu Borela-Cantelliego, lim sup \frac{|X_{n} |}{γ(n)} ε p.n..

5.2 Przypadek wektorowy

Załóżmy, że X, X_{1}, … są niezależnymi wektorami losowymi o jednakowym rozkładzie o wartościach w ℝ^{d}.

Dla x ∈ ℝ^{d} przez |x| będziemy oznaczać euklidesową długość wektora x.

Twierdzenie 5.13. Jeśli EX = 0 oraz E|X|^{2} < ∞, to

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} = sup_{|t| 1}(E⟨X, t⟩^{2})^{1/2} = sup_{|t| 1}(⟨Ct, t⟩)^{1/2} p.n.,

gdzie C oznacza macierz kowariancji X.

Dowód. Ustalmy t ∈ ℝ^{d} z |t| 1, wówczas |x| ⟨x, t⟩ dla dowolnego x ∈ ℝ^{d} i

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} lim sup_{n→∞} \frac{⟨S_{n}, t⟩}{\sqrt{2n lnlnn}} = (E⟨X, t⟩^{2})^{1/2} p.n.,

stąd dostajemy

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} sup_{|t| 1}(E⟨X, t⟩^{2})^{1/2} p.n..

By udowodnić nierówność w drugą stronę, ustalmy ε > 0 i wybierzmy skończony podzbiór T kuli domknietej \overline{B(0, 1)} taki, że

\overline{B(0, 1)} ⊂ ⋃_{t∈T} B(t, ε).

Dla x ∈ ℝ, istnieje |s| = 1 takie, że ⟨s, x⟩ = |x|, wybierając t ∈ T takie, że |s − t| < ε dostajemy ⟨t, x⟩ = ⟨s, x⟩ − ⟨s − t, x⟩ |x| − ε|x|. Zatem

∀_{x∈ℝ^{n}} max_{t∈T}⟨t, x⟩ (1 − ε)|x|,

w szczególności

\frac{|S_{n}|}{\sqrt{2n lnlnn}} \frac{1}{1 − ε} max_{t∈T} \frac{⟨S_{n}, t⟩}{\sqrt{2n lnlnn}} .

Zatem ze skończoności zbioru T dostajemy

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} \frac{1}{1 − ε} max_{t∈T} lim sup_{n→∞} \frac{⟨S_{n}, t⟩}{\sqrt{2n lnlnn}}

= \frac{1}{1 − ε} max_{t∈T}(E⟨X, t⟩^{2})^{1/2} p.n..

Z dowolności ε > 0,

lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} sup_{|t| 1}(E⟨X, t⟩^{2})^{1/2} p.n..

Twierdzenie 5.14. Załóżmy, że

P( lim sup_{n→∞} \frac{|S_{n}|}{\sqrt{2n lnlnn}} < ∞) > 0,

wówczas EX = 0 oraz E|X|^{2} < ∞.

Dowód. Szacowanie ⟨x, t⟩ |x||t| oraz Twierdzenie 5.10 implikują E⟨X, t⟩ = 0 oraz E⟨X, t⟩^{2} < ∞ dla dowolnego t ∈ ℝ^{d}.

Dla wektora X takiego, że E|X|^{2} < ∞ definiujemy

K_{X} := {E(ξX): ξ ∈ L^{2}(Ω), Eξ^{2} 1}

Jeśli Cov(X) = C = UDU^{T}, gdzie U^{T} = U^{−1} oraz D jest macierzą diagonalną, to kładziemy C^{1/2} := UD^{1/2} U^{T}.

Lemat 5.15. Mamy

K_{X} = {Ct: ⟨Ct, t⟩ 1} = {C^{1/2} s: |s| 1},

czyli K_{X} jest elipsoidą.

Dowód. Weźmy ξ ∈ L^{2}(Ω) wówczas ξ = ∑ _{i=1}^{d} X_{i} + η, gdzie EηX_{i} = 0 dla i = 1, …, d. Mamy

Eξ^{2} = E(∑_{i=1}^{d} t_{i}X_{i})^{2} + Eη^{2} = ⟨Ct, t⟩ + Eη^{2}

E(ξX_{j}) = ∑_{i=1}^{d} t_{i}EX_{i}X_{j} = ∑_{i=1}^{d} t_{i}c_{ji} = Ct,

skąd wynika pierwsza równość. Druga jest konsekwencją tożsamości ⟨Ct, t⟩ = |C^{1/2} t|^{2} i Ct = C^{1/2} C^{1/2} t.

Twierdzenie 5.16. Załóżmy, że EX = 0 oraz E|X|^{2} < ∞. Wówczas

a) dist(\frac{S_{n}}{\sqrt{2n ln ln n}} , K_{X}) → 0 p.n.,

b) C(\frac{S_{n}}{\sqrt{2n ln ln n}} ) = K_{X} p.n..

Dowód. Przyjmijmy γ(n) := \sqrt{2n lnlnn} i zacznijmy od rozpatrzenia przypadku C = Cov(X) = Id. Wówczas K_{X} = \overline{B(0, 1)} i punkt a) wynika stąd, że lim sup_{n→∞} \frac{|S_{n} |}{γ(n)} = 1 p.n. (Twierdzenie 5.13).

By udowodnić b) dla C = Id weźmy najpierw t ∈ S^{d−1} , wówczas E⟨t, X⟩^{2} = 1 i z Twierdzenia 5.1 z prawdopodobieństwem 1 istnieje podciąg n_{k} taki, że \frac{⟨S_{n_{k}} ,t⟩}{γ(n_{k})} → 1, ale wtedy

lim sup_{k→∞} | \frac{S_{n_{k}}}{γ(n_{k})} − 1|^{2} lim sup_{k→∞}( \frac{|S_{n_{k}} |}{γ(n_{k})})^{2} + |t|^{2} − 2 lim_{k→∞} \frac{⟨S_{n_{k}} , t⟩}{γ(n_{k})} = 0.

Zatem dla |t| = 1, P(t ∈ C(\frac{S_{n}}{γ(n)} )) = 1.

Jeśli |t| < 1, to rozpatrzmy (ε_{i}) ciąg Bernoulliego niezależny od ciągu (X_{i}) i połóżmy Y_{i} = (X_{i}, ε_{i}). Wówczas (Y_{i}) jest ciągiem niezależnych wektorów losowych w ℝ^{d+1} o sredniej zero i macierzy kowariancji Id. Jeśli położymy S̃_{n} := ∑ _{i n} Y_{i}, to na mocy poprzednich rozważań,

t + (1 − |t|^{2})^{1/2} e_{d+1} ∈ C(\frac{S̃_{n}}{γ(n)}) p.n.,

co w szczególności implikuje t ∈ C(\frac{S_{n}}{γ(n)} ) p.n.. A zatem dla dowolnego t ∈

\overline{B(0, 1)}, P(t ∈ C(\frac{S_{n}}{γ(n)} )) = 1, skąd łatwo wynika (z domkniętości C(a_{n}) i ośrod-

kowości kuli) P(\overline{B(0, 1)} ⊂ C(\frac{S_{n}}{γ(n)} )) = 1.

Jeśli X dowolne takie, że C ≠ 0, to istnieje k d oraz przekształcenia liniowe A: ℝ^{d} → ℝ^{k} i B: ℝ^{k} → ℝ^{d} takie, że Y := AX jest zmienną o średniej zero i macierzy kowariancji Id oraz X = BY p.n. Wówczas K_{X} = BK_{Y} = B\overline{B_{k}(0, 1)}, S_{n} = BT_{n} p.n., gdzie T_{n} = ∑ _{i n} AX_{i}, czyli

dist(\frac{S_{n}}{γ(n)}, K_{X}) = dist(B \frac{T_{n}}{γ(n)}, BK_{Y}) ∥B∥dist(\frac{T_{n}}{γ(n)}, K_{Y}) → 0 p.n.

oraz

C(\frac{S_{n}}{γ(n)}) = BC(\frac{T_{n}}{γ(n)}) = BK_{Y} = K_{X} p.n..

Dla C = 0, X = 0 p.n. oraz K_{X} = {0} i teza twierdzenia jest oczywista.

6 Rozkłady nieskończenie podzielne

Definicja 6.1. Rozkład probabilistyczny μ na ℝ nazywamy nieskończenie podzielnym, jeśli dla każdego n = 1, 2, … istnieje rozkład μ_{1/n} taki, że μ = μ_{1/n}^{∗n} .

Mówimy, że zmienna losowa X jest nieskończenie podzielna, jeśli rozkład X jest nieskończenie podzielny, czyli dla każdego n = 1, 2, … istnieją zmienne X_{n,1} , …, X_{n,n} o jednakowym rozkładzie takie, że X ∼ X_{n,1} + … + X_{n,1} .

Klasę wszystkich rozkładów nieskończenie podzielnych będziemy oznaczać przez ID.

Przykłady.

i) μ = δ_{a}, μ_{1/n} = δ_{a/n} ii) μ = N (a, σ^{2}), μ_{1/n} = N (a/n, σ^{2}/n), iii) μ = Poiss(λ), μ_{1/n} = Poiss(λ/n), iv) μ = Γ(α), μ_{1/n} = Γ(α/n).

Definicja 6.2. Dla λ 0 oraz ν miary probabilistycznej na ℝ definiujemy złożony rozkład Poissona π_{λν} wzorem

π_{λν} := e^{−λ} ∑_{n=0}^{∞} \frac{λ^{n}}{n!} μ^{∗n} .

Przez CP będziemy oznaczać klasę wszystkich złożonych rozkładów Poissona, czyli

CP := {π_{λν} : λ 0, ν miara probabilistyczna na ℝ}.

Domknięcie CP w topologii zbieżności według rozkładu będziemy oznaczać przez \overline{CP} czyli

μ ∈ \overline{CP} ⇔ ∃_{μ_{n} ∈CP} μ_{n} ⇒ μ.

Dla uproszczenia i ujednolicenia notacji wprowadźmy następującą definicję.

Definicja 6.3. Dla miar skończonych ν na ℝ definiujemy transformatę Fouriera ν wzorem

ν̂(t) := ∫_{ℝ} e^{itx} dν(x).

Podobnie dla funkcji f ∈ L^{1}(ℝ) określamy

f̂(t) := ∫_{ℝ} e^{itx} f(x)dx.

Oczywiście gdy ν jest miarą probabilistyczną, to ν̂ = φ_{ν} jest funkcją charakterystyczną ν.

Twierdzenie 6.1. Dowolny rozkład nieskończenie podzielny jest granicą złożonych rozkładów Poissona, czyli ID ⊂ \overline{CP}.

Dowód. Weźmy μ ∈ ID oraz zdefiniujmy

π_{n} := e^{−n} ∑_{k=0}^{∞} \frac{n^{k}}{k!} μ_{1/n}^{∗k} ,

pokażemy, że π_{n} ⇒ μ. W tym celu wystarczy, że wykażemy iż

∫ φdπ_{n} → ∫ φdμ dla dowolnej ograniczonej funkcji Lipschitzowskiej φ. Ustalmy więc ograniczoną funkcję Lipschitzowską φ ze stałą Lipschitza L i dla R > 0 określmy

Δ_{n}(R) := e^{−n} ∑_{|k−n| \sqrt{n}R} \frac{n^{k}}{k!} | ∫ φdμ_{1/n}^{∗k} − ∫ φdμ|.

Wówczas,

| ∫ φdπ_{n} − ∫ φdμ| e^{−n} ∑_{k 0} \frac{n^{k}}{k!} | ∫ φdμ_{1/n}^{∗k} − ∫ φdμ|
Δ_{n}(R) + 2∥φ∥_{∞} ε_{n}(R),

gdzie

ε_{n}(R) := e^{−n} ∑_{|k−n|>\sqrt{n}R} \frac{n^{k}}{k!} \frac{1}{nR^{2}} e^{−n} ∑_{k 0} \frac{n^{k}}{k!} (n − k)^{2}
= \frac{1}{nR^{2}} Var(Poiss(n)) = \frac{1}{R^{2}} .

Wykazaliśmy więc, że

| ∫ φdπ_{n} − ∫ φdμ| Δ_{n}(R) + 2R^{−2} ∥φ∥_{∞}

i by zakończyć dowód wystarczy pokazać, że

∀_{R>0} lim_{n→∞} Δ_{n}(R) = 0.  (12)

Szacujemy

Δ_{n}(R) e^{−n} ∑_{|k−n| \sqrt{n}R} \frac{n^{k}}{k!} sup_{|k−n| \sqrt{n}R} | ∫ φdμ_{1/n}^{∗k} − ∫ φdμ_{1/n}^{∗n} |
sup_{0 l \sqrt{n}R,m 0}  | ∫ φdμ_{1/n}^{∗(m+l)} − ∫ φdμ_{1/n}^{∗m} |.

Zauważmy, że dla miar probabilistycznych ν_{1} i ν_{2},

| ∫ φdν_{1} ∗ ν_{2} − ∫ φdν_{1} | = | ∫ ∫ (φ(x + y) − φ(x))dν_{2}(y)dν_{1}(x)|

sup_{x}∫ |φ(x + y) − φ(x)|dν_{2}(y),

ponadto dla dowolnego x na mocy Lipschitzowskości φ,

∫ |φ(x + y) − φ(x)|dν_{2}(y) = ( ∫_{|y| r} + ∫_{|y|>r} ) |φ(x + y) − φ(x)|dν_{2}(y)
rL + 2∥φ∥_{∞} ν_{2}(ℝ \ [−r, r]).

Zatem by wykazać (12) pozostaje udowodnić, że

∀R, r > 0 lim_{n→∞} sup_{0 l \sqrt{n}R} μ_{1/n}^{∗l} (ℝ \ [−r, r]) = 0.  (13)

Udowodnijmy wpierw następujące oszacowanie.

Lemat 6.2. Dla |v| 1/2 oraz α ∈ [0, 1], |e^{α log(1+v)} − 1| 2α|v|, gdzie log(z) oznacza kanoniczną gałąź logarytmu w kole |z − 1| 1/2.

Dowód. Mamy

e^{α log(1+v)} − 1 = ∫_{0}^{1} \frac{d}{dt}e^{α log(1+tv)} dt = ∫_{0}^{1} αv(1 + tv)^{α−1} dt,

zatem

|e^{α log(1+v)} − 1| α|v| ∫_{0}^{1} |1 + tv|^{α−1} 2α|v|,

gdzie ostatnia nierówność wynika stąd, że |1 + tv| 1 − t|v| 1/2 oraz 0 α − 1 −1.

Ustalmy δ > 0 takie, że |μ̂(t) − 1| 1/2 dla |t| δ. Ponieważ μ̂_{1/n} ^{n} = μ̂, więc

μ̂_{1/n}^{∗l} (t) = ”μ^{l/n} (t)” = e^{\frac{l}{n} log _{μ}(t)} dla |t| δ,

gdzie log oznacza standardową gałąź logarytmu w kole |z − 1| 1/2. Na podstawie Lematu 6.2,

∀_{|t| δ} |μ̂_{1/n}^{∗l} (t) − 1| 2\frac{l}{n}|μ̂(t) − 1| \frac{l}{n}.

Dla miary ν liczymy

\frac{1}{δ} ∫_{0}^{δ}(1 − Re(ν̂(t))dt = \frac{1}{δ} ∫_{0}^{δ} ∫_{ℝ}(1 − cos(tx))dν(x)dt

= ∫_{ℝ} \frac{1}{δ} ∫_{0}^{δ}(1 − cos(tx))dtdν(x) = ∫_{ℝ}(1 − \frac{sin(xδ)}{xδ})dν(x)

m(rδ)ν(ℝ \ [−r, r]), gdzie

m(s) := inf\{1 − \frac{sin(y)}{y}: |y| s\} > 0 dla s > 0.

Zatem

μ_{1/n}^{∗l} (ℝ \ [−r, r]) \frac{1}{m(rδ)} \frac{1}{δ} ∫_{0}^{δ} |1 − μ̂_{1/n}^{∗l} (t)|dt \frac{l}{nm(rδ)} ,

co łatwo implikuje (13).

Uwaga. Można udowodnić bezpośrednio, że słaba granica rozkładów nieskończenie podzielnych jest nieskończenie podzielna, skąd łatwo wynika, że ID = \overline{CP}. My jednak pójdziemy bardziej skomplikowaną drogą, gdyż zależy nam na dobrym opisaniu klasy ID.

Lemat 6.3. Mamy

π̂_{λν} (t) = exp( ∫ (e^{itx} − 1)dλν(x)) =: f_{λν} (t).

Dowód. Liczymy

π̂_{λν} (t) = e^{−λ} ∑_{n=0}^{∞} \frac{λ^{n}}{n!} ν^{n}(t) = exp(−λ + λν̂(t)) = exp( ∫ (e^{itx} − 1)dλν(x)) .

By podać klasyfikację rozkładów nieskończenie podzielnych wprowadzimy następującą definicję.

Definicja 6.4. Niech

M := {miary nieujemne ν na ℝ \ {0}: ∫ 1 ∧ x^{2}dν(x) < ∞}.

Elementy zbioru M nazywamy miarami Levy’ego. Klasę L układów Levy’ego określamy jako

L := ℝ × [0, ∞) × M = {(a, σ, ν): a ∈ ℝ, σ 0, ν ∈ M}.

Dla (a, σ, ν) ∈ L definujemy f_{a,σ^{2} ,ν} := exp(l_{a,σ^{2} ,ν} ), gdzie

l_{a,σ^{2} ,ν} := ita − \frac{σ^{2}}{2} t^{2} + ∫_{ℝ\\{0\}} ( e^{itx} − 1 − \frac{itx}{1 + x^{2}} ) dν(x).

Twierdzenie 6.4. Dla (a, σ, ν) ∈ L istnieje miara probabilistyczna π_{a,σ^{2} ,ν} ∈ ID taka, że π_{a,σ^{2} ,ν} = f_{a,σ^{2} ,ν} .

Dowód. Przeprowadzimy konstrukcję π_{a,σ^{2} ,ν} w trzech krokach.

Krok I. Dla a ∈ ℝ oraz miary skończonej ν na ℝ istnieje rozkład π_{a,ν} taki, że

π̂_{a,ν} (t) = f_{a,ν} (t) = exp( ita + ∫ (e^{itx} − 1)dν(x)) .

Mamy f_{a,ν} (t) = e^{iat} f_{ν}(t), więc za π_{a,ν} wystarczy wziąć przesunięcie π_{ν} o a i skorzystać z Lematu 6.3.

Krok II. Dla a ∈ ℝ oraz miary Levy’ego ν ∈ M istnieje rozkład π_{a,0,ν} taki, że

{ \atop π_{a,0,ν}}(t) = f_{a,0,ν} (t) = exp( ita + ∫ (e^{itx} − 1 − \frac{itx}{1 + x^{2}} )dν(x)) .

Zauważmy, że |e^{itx} − 1 − itx| t^{2}x^{2}/2, więc

|e^{itx} − 1 − \frac{itx}{1 + x^{2}} | min( 2 + |t|, \frac{1}{2}|t|^{2}x^{2} + \frac{|t||x|^{3}}{1 + x^{2}} ) ( 2 + |t| + \frac{t^{2}}{2}) min(1, x^{2}),

skąd wynika, że funkcja f_{a,0,ν} jest dobrze określona i ciągła w zerze. Określmy miarę skończoną ν_{ε} wzorem ν_{ε}(A) := ν(A \ (−ε, ε)), wówczas

f_{a,0,ν_{ε}} (t) = exp( it(a − ∫_{|x| ε} \frac{x}{1 + x^{2}} dν) + ∫ (e^{itx} − 1)dν_{ε}(x)) = { \atop π_{a_{ε},ν_{ε}}}

dla a_{ε} := a − ∫_{|x| ε} \frac{x}{1+x^{2}} dν. Ponieważ f_{a,0,ν_{ε}} zbiega punktowo do f_{a,0,ν} , więc na mocy twierdzenia Levy’ego π_{a_{ε},ν_{ε}} zbiega słabo do szukanego rozkładu π_{a,0,ν} .

Krok III. Dla (a, σ, ν) ∈ L istnieje miara probabilistyczna π_{a,σ^{2} ,ν} ∈ ID taka, że π_{a,σ^{2} ,ν} = f_{a,σ^{2} ,ν} .

Za π_{a,σ^{2} ,ν} bierzemy rozkład X + Y, gdzie X i Y są niezależne, X ∼ π_{a,0,ν} , a Y ∼ N (0, σ^{2}).

Z postaci funkcji charakterystycznej natychmiast dostajemy, że π_{a,σ^{2} ,ν} = π_{a/n,σ^{2} /n,ν/n}^{∗n} , czyli π_{a,σ^{2} ,ν} ∈ ID.

Fakt 6.5. Jeśli f_{a_{1} ,σ_{1} ,ν_{1}} = f_{a_{2} ,σ_{2} ,ν_{2}} dla pewnych (a_{i}, σ_{i}, ν_{i}) ∈ L, to a_{1} = a_{2}, σ_{1} = σ_{2} oraz ν_{1} = ν_{2}.

Fakt 6.6. Załóżmy, że π_{a_{n} ,σ_{n} ,ν_{n}} ⇒ μ dla pewnego ciągu układów Levy’ego (a_{n}, σ_{n}, ν_{n}) ∈ L. Wówczas istnieje (a, σ, ν) ∈ L taki, że μ = π_{a,σ,ν} .

Twierdzenie 6.7. Jeśli μ jest rozkładem nieskończenie podzielnym to istnieje dokładnie jeden układ Levy’ego (a, σ, ν) ∈ L taki, że μ̂ = f_{a,σ,ν} .

6.1 Rozkłady nieskończenie podzielne jako granice sum

Przypomnijmy, że macierz zmiennych losowych (X_{n,k} )_{k k_{n} ,n=1,2,...} nazywamy układem trójkątnym, jeśli dla każdego n zmienne X_{n,k} , 1 k k_{n} są niezależne. Połóżmy S_{n} := ∑ _{k=1}^{k_{n}} X_{n,k} .

Centralne twierdzenie graniczne mówi, że jeśli ES_{n} → a, Var(S_{n}) → σ^{2} oraz zachodzi warunek Lindeberga, to S_{n} zbiega według rozkładu do zmiennej N (a, σ^{2}).

Twierdzenie Poissona stwierdza, że jeśli P(X_{n,k} = 1) = p_{n} = 1 − P(X_{n,k} = 0), k_{n} → ∞ oraz k_{n}p_{n} → λ, to S_{n} zbiega według rozkładu do zmiennej Poiss(λ).

Można się zapytać jakie inne rozkłady można uzyskać jako granice sum układów trójkątnych? Oczywiście trzeba coś założyć, inaczej wystarczy przyjąć X_{n,1} ∼ X oraz wziąć X_{n,2} + …+ X_{n,k_{n}} zbieżne do zera by otrzymać X jako granicę S_{n}. Naturalnym założeniem jest

∀_{ε>0} lim_{n→∞} sup_{k k_{n}} P(|X_{n,k} | ε) = 0  (14)

mówiące, że wkład pojedynczej zmiennej w sumę S_{n} jest granicznie zaniedbywalny.

Celem tego paragrafu jest udowodnienie następującego twierdzenia.

Twierdzenie 6.8. Załóżmy, że (X_{n,k} )_{k k_{n} ,n 1} jest układem trójkątnym spełniającym (14) oraz a_{n} ∈ ℝ. Wówczas jeśli ciąg zmiennych losowych

S_{n} := ∑_{k=1}^{k_{n}} X_{n,k} + a_{n}

zbiega według rozkładu do zmiennej S, to S ma rozkład nieskończenie podzielny.

Uwaga. Na odwrót - jeśli S ma rozkład nieskończenie podzielny μ, to biorąc a_{n} = 0 oraz X_{k,n} ∼ μ_{1/k_{n}} dostajemy S_{n} ∼ S czyli w szczególności S_{n} zbiega według rozkładu do S oraz jak łatwo sprawdzić warunek (14) jest spełniony, jeśli k_{n} → ∞.

Lemat 6.9 (nierówność Paleya-Zygmunda). Załóżmy, że Z jest nieujemną całkowalną zmienną losową. Wówczas

∀_{λ∈(0,1)} P(Z λEZ) (1 − λ)^{2} \frac{(EZ)^{2}}{EZ^{2}} .

Dowód. Na podstawie nierówności Höldera,

(EZ^{2})^{1/2} (P(Z λEZ))^{1/2}  EZI_{{Z λEZ}} = EZ − EZI_{{Z<λEZ}}
(1 − λ)EZ.

Podnosząc obie strony nierówności do kwadratu dostajemy tezę.

Wniosek 6.10. Niech (ε_{i}) będzie ciągiem Bernoulliego, wówczas dla dowolnych liczb a_{i},

P( | ∑_{i=1}^{n} a_{i}ε_{i} | \frac{1}{2}\sqrt{∑_{i=1}^{n} a_{i}^{2}}) \frac{3}{16}.

Dowód. Niech S := ∑ _{i=1}^{n} a_{i}ε_{i}, łatwo sprawdzić, że

ES^{4} = ∑_{i} a_{i}^{4} + 6 ∑_{i<j} a_{i}^{2}a_{j}^{2} 3(∑_{i} a_{i}^{2})^{2} = 3(ES^{2})^{2},

stąd na podstawie nierówności Paleya-Zygmunda,

P( |S| \frac{1}{2}( ∑_{i=1}^{n} a_{i}^{2})^{1/2} ) = P(|S|^{2} \frac{1}{4}ES^{2}) (1 − \frac{1}{4})^{2} \frac{(ES^{2})^{2}}{ES^{4}} \frac{3}{16}.

Lemat 6.11. Załóżmy, że X_{i} są nieujemnymi, niezależnymi zmiennymi losowymi. Wówczas

P( ∑_{i} X_{i} \frac{1}{4} ∑ E(X_{i} ∧ 1)) \frac{9}{32} min( 1, ∑ E(X_{i} ∧ 1)) .

Dowód. Niech S := ∑ _{i} X_{i} ∧ 1, wówczas

ES^{2} = E ∑_{i,j} (X_{i} ∧ 1)(X_{j} ∧ 1) = ∑_{i} E(X_{i} ∧ 1)^{2} + 2 ∑_{i<j} E(X_{i} ∧ 1)E(X_{j} ∧ 1)

∑_{i} E(X_{i} ∧ 1) + (∑_{i} E(X_{i} ∧ 1))^{2} = ES + (ES)^{2}.

Stąd na mocy nierówności Paleya-Zygmunda,

P( ∑_{i} X_{i} \frac{1}{4} ∑ E(X_{i}∧1)) P(S \frac{1}{4}ES) \frac{9}{16} \frac{ES}{ES + (ES)^{2}} \frac{9}{32} min(1, ES).

Wniosek 6.12. Załóżmy, że X_{i} są symetrycznymi, niezależnymi zmiennymi losowymi. Wówczas

P( | ∑_{i} X_{i} | \frac{1}{4}( ∑ E(X_{i}^{2} ∧ 1))^{1/2} ) \frac{1}{20} min( 1, ∑ E(X_{i}^{2} ∧ 1)) .

Dowód. Niech (ε_{i}) będzie ciągiem Bernoulliego niezależnym od (X_{i}), wówczas ∑ _{i} X_{i} ma ten sam rozkład co ∑ _{i} ε_{i}X_{i}. Na mocy Wniosku 6.10 dostajemy P(| ∑ _{i} ε_{i}x_{i}| (∑ _{i} x_{i}^{2})^{1/2} /2) 3/16), zatem przyjmując a := ∑ _{i} E(X_{i}^{2} ∧ 1) mamy

P( | ∑_{i} X_{i} | \frac{1}{4}\sqrt{a}) = P( | ∑_{i} ε_{i}X_{i} | \frac{1}{4}\sqrt{a}) \frac{3}{16}P( \frac{1}{2}(∑_{i} X_{i}^{2})^{1/2} \frac{1}{4}\sqrt{a})

= \frac{3}{16}P( ∑_{i} X_{i}^{2} \frac{1}{4}a) \frac{3}{16} · \frac{9}{32} min(1, a),

gdzie ostatnia nierówność wynika z Lematu 6.11.

7 Rozkłady stabilne

Definicja 7.1. Mówimy, że niezdegenerowana zmienna losowa X ma rozkład stabilny, jeśli dla każdego n 1 istnieją liczby a_{n} > 0 oraz b_{n} ∈ ℝ takie, że

X_{1} + … + X_{n} ∼ a_{n}X + b_{n},

gdzie X_{1}, X_{2}, … są niezależnymi kopiami X.

Lemat 7.1. Załóżmy, że X_{n} jest ciągiem zmiennych losowych, a_{n}, c_{n} > 0, b_{n}, d_{n} ∈ ℝ są takie, że

a_{n}X_{n} + b_{n} ⇒ X, c_{n}X_{n} + d_{n} ⇒ Y

dla pewnych niezdegenerowanych zmiennych losowych X i Y. Wówczas istnieją granice

lim_{n→∞} \frac{a_{n}}{c_{n}} = A > 0, lim_{n→∞} ( d_{n} − \frac{c_{n}b_{n}}{a_{n}}) = B

oraz Y ∼ AX + B.

Twierdzenie 7.2. Załóżmy, że X_{1}, X_{2}, … są niezależnymi zmiennymi losowymi o jednakowym rozkładzie, a_{n} > 0 oraz b_{n} ∈ ℝ są takie, że

\frac{1}{a_{n}} ∑_{i=1}^{n} X_{i} ⇒ Y.

Wówczas Y jest zdegenerowane lub Y ma rozkład stabilny.

Lemat 7.3. Załóżmy, że spełnione są założenia Twierdzenia 7.2 oraz Y jest niezdegenerowane. Wówczas a_{n} → ∞, \frac{a_{n+1}}{a_{n}} → 1.

Lemat 7.4. Załóżmy, że g: (0, ∞) → [0, ∞) niemalejąca oraz

∀_{x>0} ∀_{n} g(a_{n}x) = λ_{n}g(x)

dla pewnych ciągów liczb dodatnich (a_{n}) i (λ_{n}) takich, że a_{n} → ∞, \frac{λ_{n+1}}{λ_{n}} → 1. Wówczas g(x) ≡ 0 lub g(x) = Cx^{ρ} dla pewnych C > 0, ρ 0.

Twierdzenie 7.5. Załóżmy, że X ma rozkład stabilny. Wówczas X ma rozkład nieskończenie podzielny. Ponadto a_{n} = n^{1/α} dla pewnego 0 < α 2 oraz

i) jeśli α = 2, to X ∼ N (a, σ^{2}) dla pewnych a ∈ ℝ oraz σ > 0, ii) jeśli 0 < α < 2, to X ∼ π_{a,0,ν_{α,C_{1} ,C_{2}}} dla pewnych a ∈ ℝ, C_{1}, C_{2} 0, C_{1} + C_{2} > 0, gdzie

dν_{α,C_{1} ,C_{2}} (x) = (C_{1}x^{−1−α} I_{{x>0}} + C_{2}(−x)^{−1−α} I_{{x<0}} )dx.

Na odwrót, zmienne N (a, σ^{2}) są stabilne z a_{n} = n^{1/2} a zmienne o rozkładzie π_{a,0,ν_{α,C_{1} ,C_{2}}} są stabilne z a_{n} = n^{1/α} .

Literatura

[1] A. Dembo, O. Zeitouni, Large deviations techniques and applications, Springer-Verlag, New York, 1998.

[2] W. Feller, Wstęp do rachunku prawdopodobieństwa, tom II, wyd. III, PWN, Warszawa 1981.

[3] J. Jakubowski, R. Sztencel, Wstęp do teorii prawdopodobieństwa, wyd. II, Script, Warszawa 2001.

[4] S. Kwapień, W. A. Woyczyński, Random Series and Stochastic Integrals: Simple and Multiple, Birkhauser, New York 1992.

[5] M. Ledoux, M. Talagrand, Probability in Banach spaces, Springer-Verlag, Berlin, 1991.

[6] V. Petrov, Limit theorems of probability theory. Sequences of independent random variables., Oxford University Press, New York, 1995.

[7] D. W. Stroock, Probability theory, an analytic view, Cambridge University Press, Cambridge, 1993.