Các định lý giới hạn trong thống kê xã hội | Trường Đại học Sư phạm Hà Nội

Mục lục
1 CÁC ĐỊNH LÝ GIỚI HẠN 3
1.1 TÓM TẮT LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 BÀI TẬP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.1 Sự hội tụ của các biến ngẫu nhiên . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2.2 Luật số lớn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2.3 Hàm đặc trưng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2.4 Hội tụ yếu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2.5 Định lý giới hạn trung tâm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2 CÁC PHÂN PHỐI THƯỜNG DÙNG TRONG THỐNG KÊ 9
2.1 TÓM TẮT LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 BÀI TẬP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 ƯỚC LƯỢNG THAM SỐ 10
3.1 TÓM TẮT LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3.2 BÀI TẬP LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2.1 Ước lượng hợp lý cực đại . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
3.2.2 Lượng thông tin Fisher . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.2.3 Thống kê đủ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
3.2.4 Ước lượng không chệch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
3.2.5 Ước lượng hiệu quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3 BÀI TẬP TÍNH TOÁN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
3.3.1 Mẫu ngẫu nhiên và các đặc trưng mẫu . . . . . . . . . . . . . . . . . . . . . . 16
3.3.2 Ước lượng khoảng giá trị trung bình một mẫu . . . . . . . . . . . . . . . . . . 17
3.3.3 Ước lượng khoảng cho tỉ lệ một mẫu . . . . . . . . . . . . . . . . . . . . . . . 18
3.3.4 Độ chính xác của ước lượng và số quan sát cần thiết . . . . . . . . . . . . . . 18
3.3.5 Ước lượng khoảng cho phương sai một mẫu . . . . . . . . . . . . . . . . . . . 20
3.3.6 Ước lượng khoảng cho giá trị trung bình hai mẫu . . . . . . . . . . . . . . . . 20
3.3.7 Ước lượng khoảng cho tỉ lệ hai mẫu . . . . . . . . . . . . . . . . . . . . . . . . 21 4 KIỂM ĐỊNH GIẢ THIẾT 22
4.1 TÓM TẮT LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
4.2 BÀI TẬP LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.2.1 Mức ý nghĩa và hàm lực lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.2.2 Phân phối giả thiết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4.2.3 Miền bác bỏ tốt nhất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2.4 Bài tập bổ sung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1
Bài tập Lý thuyết thống kê
4.3 BÀI TẬP TÍNH TOÁN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4.3.1 Bài toán kiểm định giả thiết cho giá trị trung bình một mẫu . . . . . . . . . . 29
4.3.2 Bài toán kiểm định giả thiết cho giá trị trung bình hai mẫu . . . . . . . . . . 30
4.3.3 Bài toán kiểm định giả thiết cho tỉ lệ một mẫu . . . . . . . . . . . . . . . . . . 32
4.3.4 Bài toán kiểm định giả thiết cho tỉ lệ hai mẫu . . . . . . . . . . . . . . . . . . 32
4.3.5 Bài toán kiểm định giả thiết cho tính độc lập, phụ thuộc . . . . . . . . . . . . 33 5 TƯƠNG QUAN VÀ HỒI QUY 35
5.1 TÓM TẮT LÝ THUYẾT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
5.2 BÀI TẬP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Bộ môn Toán Ứng dụng - Khoa Toán tin 2 CHƯƠNG 1 CÁC ĐỊNH LÝ GIỚI HẠN 1.1 TÓM TẮT LÝ THUYẾT 1.2 BÀI TẬP
1.2.1 Sự hội tụ của các biến ngẫu nhiên
Bài 1.1. Chứng minh rằng nếu X P P n − → X và Xn −
→ Y thì X,Y tương đương nhau, tức là P (X 6= Y ) = 0.
Bài 1.2. Chứng minh rằng dP là một metric trên L0, nghĩa là
1. d(X,Y ) ≥ 0 và d(X,Y ) = 0 khi và chỉ khi X = Y h.c.c. 2. d(X,Y ) = d(Y,X).
3. d(X,Y ) ≤ d(X,Z) + d(Z,X).
với mọi các biến ngẫu nhiên X,Y,Z.
Bài 1.3. Chứng minh răng (Xn)n≥1 hội tụ theo xác suất tới X khi và chỉ khi lim E(|Xn − X| ∧ 1) = 0. n→∞
Bài 1.4. Xét không gian xác suất ([0; 1], B([0; 1]), P). Cho X = 0 và X1,X2,... là các biến ngẫu nhiên 0 nếu 1 ≤ ω ≤ 1 n . 1 X en nếu 0 ≤ ω< n(ω) = n Chứng minh rằng X P n −
→ X nhưng E|Xn − X|p không hội tụ với mọi p>0.
Bài 1.5. Xét không gian xác suất ([0; 1], B([0; 1]), P). Cho X = 0, với mỗi n = 2m + k,0 ≤ k <2m, ta định nghĩa k + 1 1 nếu k ≤ ω ≤ 2m 2m . X 0
trong các trường hợp khác n(ω) = Chứng minh rằng X P n −
→ X nhưng Xn không hội tụ tới X h.c.c. 3
Bài tập Lý thuyết thống kê
Bài 1.6. Cho (Xn)n≥1 là dãy các biến ngẫu nhiên có phân phối mũ với tham số λ = 1. Chứng minh rằng X P lim sup n = 1 = 1. ln n
Bài 1.7. Cho X1,X2,... là dãy các biến ngẫu nhiên có cùng phân phối với E|X1| < ∞ và Yn = n−1 max |X Y
i|. Chứng minh rằng lim EYn = 0 và lim n = 0 h.c.c. 1≤i≤n n Bài 1.8. [?] Cho (X P
n)n≥1 là dãy các biến ngẫu nhiên với Xn −
→ X. Giả sử rằng |Xn(ω)| ≤ C với
hằng số C >0 và với mọi ω. Chứng minh rằng lim E|Xn − X| = 0 1.2.2 Luật số lớn
Bài 1.9. [2] Cho X1,...,Xn là các biến ngẫu nhiên độc lập có cùng phân phối P (Xi = ±x) = 1 ∞ với 1 x = 3, 4,..., trong đó c = . Chứng minh rằng 2cx2 log x E|X X x2 log x 1| = ∞ nhưng x=3 1 n X P−→ 0. n X i i=1
Bài 1.10. [2] Cho X1,...,Xn là dãy các biến ngẫu nhiên độc lập có cùng phân phối với DS1 < ∞. Chứng minh rằng 1 n jX P n(n + 1) X j − → EX1. j=1
Bài 1.11. [?] Nếu với mọi n,DXi ≤ c<∞ và Cov(Xi,Xj) < 0 (i 6= j,1 ≤ i,j ≤ n) thì luật yếu số lớn đúng.
Bài 1.12. [?][Định lý Bernstein] Cho (Xn) là dãy các biến ngẫu nhiên sao cho DXi ≤ c<∞
(i = 1, 2,...) và Cov(Xi,Xj) → 0 khi |i − j| → ∞. Khi đó Luật yếu số lớn đúng.
Bài 1.13. [?] Cho (Yj)j≥1 là dãy các biến ngẫu nhiên độc lập có phân phối Bernoulli trên cùng một n
không gian xác suất với luật B(p,1). Đặt Xn = X hội j . Chứng minh rằng X X j ∼ B(p,j) và Xj j j=1
tụ hầu chắc chắn tới p.
Bài 1.14. [?] Cho (Yj)j≥1 là dãy các biến ngẫu nhiên độc lập có cùng phân phối với Xj ∈ L1. Cho n
! 1 hội tụ tới hằng số α h.c.c. n Y Y j=1 Yj j = eXj . Chứng minh rằng
Bài 1.15. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với Xj ∈ L1 và
EXj = µ. Gọi (Yj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với Yj ∈ L1 và EYj = ν 6= 0. Chứng minh rằng 1 n µ lim X h.c.c. n→∞ n j = ν Y X j j=1 P j=1
Bộ môn Toán Ứng dụng - Khoa Toán tin 4
Bài tập Lý thuyết thống kê n
Bài 1.16. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập với Xj ∈ L1 và giả sử 1√ (X n X j − ν) j=1
hội tụ theo phân phối tới biến ngẫu nhiên Z. Chứng minh rằng 1 n lim Xj = ν h.c.c. n→∞ n X j=1
Bài 1.17. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với Xj ∈ Lp. Chứng minh rằng 1 n lim Xpj = EXp h.c.c n→∞ n X j=1
Bài 1.18. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối N(1; 3). Chứng minh rằng X 1 lim 1 + X2 + ... + Xn = h.c.c. n→∞ X2 + X2 4 1 2 + ... + X 2 n
Bài 1.19. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với trung bình µ và
phương sai σ2. Chứng minh rằng 1 n lim (Xi − µ)2 = σ2 h.c.c. n→∞ n Xi=1 1.2.3 Hàm đặc trưng
Bài 1.20. Tìm hàm đặc của X 1. 1 P [X = 1] = P [X = −1] = . 2 2. 1 P [X = 1] = P [X = 0] = . 2 3. X ∼ U(a; b).
4. Hàm mật độ của X là f(x) = (1 − |x|)I{|x|<1}. 5. X ∼ Exp(λ).
Bài 1.21. Chứng minh rằng nếu X1,X2,...,Xn là độc lập và có cùng phân phối đều trên (−1; 1)
thì với n ≥ 2,X1 + X2 + ... + Xn có hàm mật độ 1 f(x) = Z cos(tx)dt. ∞ n sin t π t 0 Bài 1.22. Giả sử 1 − cos x X có hàm mật độ f(x) = . Chứng minh rằng ϕ πx2 X (t) = (1 − |t|)+. Bài 1.23. 1. Giả sử 1
X có phân phối Cauchy với hàm mật độ f(x) = . Chứng minh rằng ϕ π(1 + x2) X (t) = e−|t|. 5
Bộ môn Toán Ứng dụng - Khoa Toán tin
Bài tập Lý thuyết thống kê
2. Cho X1,...,Xn là dãy các biến ngẫu nhiên độc lập có cùng phân phối Cauchy. Tìm phân phối của X1 + X2 + ... + Xn . n Bài 1.24. Cho X với mỗi giá
1,X2,... là dãy các biến ngẫu nhiên nhận giá trị 0 và 1 với xác suất 1 2 trị. ∞ 1. Tìm phân phối của X ξ = i . X 2i i=1 ∞
2. Tìm hàm đặc trưng của X ζ = 2
i . Ta nói rằng ζ có phân phối Cantor. X 3i i=1 1.2.4 Hội tụ yếu
Bài 1.25. Chứng minh rằng nếu X w w w
n và Yn là độc lập với 1 ≤ n,Xn − → X và Yn − → Y thì Xn + Yn −→ X + Y .
Bài 1.26. Xét không gian xác suất ([0; 1], B([0; 1]), P). Xét X và X1,X2,... là các biến ngẫu nhiên 1 1 nếu 0 ≤ ω ≤ 2 X 0 nếu 1 2n(ω) = <ω ≤ 1 2 và 1 0 nếu 0 ≤ ω ≤ 2 X 1 nếu 1 <ω ≤ 1 2n+1(ω) = 2
Chứng minh rằng (Xn) hội tụ theo phân phối? Dãy có hội tụ theo xác suất không?
Bài 1.27. Cho (Xn)n≥1 và X là các biến ngẫu nhiên có hàm phân phối (Fn)n≥1 và F tương ứng. 1. Nếu X w n −
→ X thì lim Fn(x) = F (x) với mọi x ∈ D trong đó D là tập con trù mật của R xác n→∞
định bởi D = {x ∈ R : F (x+) = F (x)}. 2. Nếu lim F w
n(x) = F (x) với mọi x thuộc một tập con trù mật của R thì Xn − → X. n→∞ Bài 1.28. Nếu X w P n − → X,Y − → c thì n 1. X w n + Yn − → X + c. 2. X w nYn − → cX. 3. Xn w X − → nếu Y c 6= 0 Y n 6= 0 h.c.c với mọi n và . n c
Bài 1.29. [2] Chứng minh rằng nếu X d P n −
→ X và X = c h.c.c với số thực c thì Xn − → X.
Bộ môn Toán Ứng dụng - Khoa Toán tin 6
Bài tập Lý thuyết thống kê
Bài 1.30. [2] Một họ các biến ngẫu nhiên (Xi)i∈I được gọi là khả tích đều nếu lim sup
N→∞ i∈I E |Xi|I{|xi|≥N} = 0.
Cho X1,X2,... là các biến ngẫu nhiên. Chứng minh rằng {|Xn|} là khả tích đều nếu một trong các
điều kiện sau được thỏa mãn
1. sup E|Xn|1+δ < ∞ với δ >0 nào đó. n
2. P (|Xn| ≥ c) ≤ P (|X| ≥ c) với mọi n và c>0, trong đó X là một biến ngẫu nhiên khả tích.
Bài 1.31. Cho Xn là biến ngẫu nhiên có phân phối N(µn,σ2 n),n = 1, 2,... và X là biến ngẫu nhiên
có phân phối N(µ,σ2). Chứng minh rằng X d n −
→ X khi và chỉ khi lim µn = µ và lim σ2 n n = σ2. n Bài 1.32. Nếu Y w
n là biến ngẫu nhiên có hàm đặc trưng ϕn thì Yn −
→ 0 nếu và chỉ nếu tồn tại δ>0
sao cho ϕn(t) → 1 khi |t| ≤ δ.
1.2.5 Định lý giới hạn trung tâm
Bài 1.33. [2] Cho U1,U2,... là các biến ngẫu nhiên độc lập có cùng phân phối đều trên [0; 1] và ! √ −1/n nY
. Chứng minh rằng n(Yn − e) d− → N(0; e2). Y i=1 U n = i
Bài 1.34. [2] Giả sử rằng Xn là biến ngẫu nhiên có phân phối nhị thức với cỡ n và xác suất θ ∈ (0; 1), X n = 1, 2,.... Đặt Y n n = log khi X T n
n ≥ 1 và Yn = 1 khi Xn = 0. Chứng minh rằng lim n = log θ n √ h.c.c và n(Yn − log θ) d 1 − θ − → N 0; .
Bài 1.35. [?] Chứng minh rằng vớθidãy (Xn) các dãy biến ngẫu nhiên: 1 1. 1 − 2−n P [X , P[X , n= 1, 2,.... n = ±1] = n n = ±2n] = 2n+1 2. 1 P [Xn = ±n2] = 2
thì định lý giới hạn trung tâm đúng.
Bài 1.36. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với EX1 = 1 và σ 2
nX1 = σ2 ∈ (0; ∞). Chứng minh rằng 2 p √ − → N(0; 1). S n d
Bài 1.37. [?] Chứng minh rằng σ n − n nk 1 lim e−n = . n→∞ X k! 2 k=0
Bài 1.38. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập cùng phân phối với EX1 = 1 và n σ 2 X
nX1 = σ2 < ∞. Đặt Sn = j . Chứng minh rằng X j=1 lim |S E n| r . n→∞ 2 n √ = σ n 7
Bộ môn Toán Ứng dụng - Khoa Toán tin
Bài tập Lý thuyết thống kê
Bài 1.39. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập, có cùng phân phối đều trên (−1; 1). Đặt n Xj Y P j=1 n = n n . X2 X3 j + j P j=1 P j=1 √
Chứng minh rằng nYn hội tụ theo phân phối.
Bài 1.40. [?] Cho (Xj)j≥1 là dãy các biến ngẫu nhiên độc lập có cùng phân phối đều trên (−j; j). 1. Chứng minh rằng Sn d n32 1 − → N 0; . 9 2. Chứng minh rằng Sn d − → N(0; 1). s σ2j nP j=1
Bộ môn Toán Ứng dụng - Khoa Toán tin 8 CHƯƠNG 2
CÁC PHÂN PHỐI THƯỜNG DÙNG TRONG THỐNG KÊ 2.1 TÓM TẮT LÝ THUYẾT 2.2 BÀI TẬP Bài 2.1. Chứng minh rằng
1. Nếu X ∼ Fn,m thì 1 ∼ F X m,n.
2. Nếu X ∼ tn thì X2 ∼ F1,n.
3. Phân phối Cauchy và phân phối t với 1 bậc tự do là giống nhau.
4. Nếu X,Y là các biến ngẫu nhiên có phân phối mũ tham số λ = 1 thì X có phân phối F . Y Bài 2.2. Cho m W ∼ F
. Chứng minh rằng Y có phân phối beta. n,m và Y = m + nW
Bài 2.3. Cho X1,X2 và X3 là các biến ngẫu nhiên độc lập có phân phối χ2 với các bậc tự do r1,r2 và r3 tương ứng. 1. Chứng minh rằng X Y 1 và 1 = Y X 2 = X1 + X2 là độc lập. 2 2. Chứng minh X1/r1 và X2/r3
là các F -biến ngẫu nhiên độc lập. X2/r2 (X1 + X2)/(r1 + r2) 9 CHƯƠNG 3 ƯỚC LƯỢNG THAM SỐ 3.1 TÓM TẮT LÝ THUYẾT
1. Mẫu ngẫu nhiên (X1,X2,...,Xn) từ X nếu X1,X2,...,Xn là độc lập và mỗi biến Xi có cùng phân phối với X. 1 n
• Hàm phân phối thực nghiệm Fn(x) = I n {X X ii=1 X • Trung bình mẫu: X 1 + ... + Xn . n = n 1 n
• Phương sai mẫu: S2(X) = n n (X X i − Xn)2 i=1 1 n
• Phương sai hiệu chỉnh: s2 (X) = n (Xi − Xn)2. n − 1 X i=1 1 n • Moment bậc k: mk = Xk n X i i=1 1 n
• Moment bậc k qui tâm: vk = (X n X i − Xn)k. i=1 1 n n (Xi − Xn)(Yi − Yn) • Covariance của mẫu (X P i=1 1,Y1), . . . , (Xn,Yn): r = Sn(X).Sn(Y )
2. Cho (X1,X2,...,Xn) là một mẫu từ phân phối có hàm mật độ hoặc phân phối xác suất f(x,θ).
Khi đó Y = ϕ(X1,X2,...,Xn) là một thống kê.
• Y là thống kê đủ của θ nếu f(x; θ) = H(x) với f f
Y (y; θ) là hàm mật độ hoặc phân Y (ϕ(x); θ)
phối xác suất của Y . Điều này xảy ra nếu và chỉ nếu tồn tại hai hàm k1,k2 ≥ 0 sao cho
f(x; θ) = k1(ϕ(x); θ).k2(x).
• Y là ước lượng không chệch của θ nếu Eϕ(X1,X2,...,Xn) = θ.
• Y là ước lượng không chệch tiệm cận của θ nếu lim Eϕ(X1,X2,...,Xn) = θ. n→∞
• Y là ước lượng hiệu quả của θ nếu nó là ước lượng không chệch có phương sai DY nhỏ nhất. 10
Bài tập Lý thuyết thống kê
• Y là ước lượng vững nếu ϕ(X1,X2,...,Xn) Pθ −→ θ khi n → ∞.
3. Khoảng tin cậy 1 − α của θ là (ϕ1,ϕ2) thỏa mãn P(ϕ1 <θ<ϕ2) = 1 − α với ϕ1,ϕ2 là ước
lượng của θ, α ∈ [0; 1] là độ tin cậy.
• Khoảng tin cậy 1 − α cho giá trị trung bình:
– Nếu mẫu có phân phối chuẩn với độ lệch chuẩn σ đã biết: σ √ ; Xn + zα/2. σ n Xn − zα/2. √ . n
– Nếu mẫu có kích thước lớn (n ≥ 30): s √ ; X n n + zα/2. s n X n n − zα/2. √ . n
– Nếu mẫu có phân phối chuẩn với độ lệch chuẩn σ chưa biết và có kích thước nhỏ (n<30): s √ ; X n n + tα/2,n−1. s n X n n − tα/2,n−1. √ .
• Khoảng tin cậy 1 − α cho tỉ lệ: n r r ! ˆ p(1 − ˆ p) ˆ p(1 − ˆ p) ˆ p − zα/2 ; ˆ p + z . n α/2 n
• Khoảng tin cậy 1 − α cho phương sai: n (n − 1)s2n ; ! (n − χ2 χ2 α1 / ) 2, s2 n−1 1−α/2,n−1
• Khoảng tin cậy 1 − α cho hiệu các trung bình:
– Nếu σ2 ,σ2 đã biết: X Y σ2 σ2 r X + Y r X + Y ! σ2 n σ2 n Xn − Yn − zα/2 ; X m n − Yn + zα/2 m
– Nếu σ2 ,σ2 chưa biết: X Y s2 σ2 r X + Y r X + Y ! s2 n σ2 n Xn − Yn − zα/2 ; X m n − Yn + zα/2 m
• Khoảng tin cậy 1 − α cho hiệu các tỉ lệ: r ˆ p ˆ p + Y (1 − ˆ pY ) r + Y (1 − ˆ pY ) ! ˆ p ˆ p ˆ p X (1 − ˆ pX)n X (1 − ˆ pX) n X − ˆ pY − zα/2 ; ˆ p n X − ˆ pY + zα/2 n
Chú ý rằng zα/2,tα/2,n−1 và χ2 α/2,n−1 là phân vị của phân phối chuẩn tắc, phân phối Student
n − 1 bậc tự do và phân phối χ2 với n − 1 bậc tự do. 11
Bộ môn Toán Ứng dụng - Khoa Toán tin