Tài liệu sưu tầm - Chương 2 Lý thuyết truyền tin PTIT

BỘ THÔNG TIN VÀ TRUYỀN THÔNG
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG BÀI GIẢNG MÔN
Chương 2: Cơ sở lý thuyết truyền tin LÝ THUYẾT TRUYỀN TIN
Biên soạn: ThS. Trần Huy Long 1
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 2
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 1 2
MỤC TIÊU BÀI HỌC CỦA CHƯƠNG 2
CÁC VẤN ĐỀ ĐẶT RA CỦA CHƯƠNG 2 
Công thức tính và đơn vị đo của thông tin 
Một sự kiện xuất hiện sẽ có một lượng tin bằng bao nhiêu? Đơn vị lượng tin? 
Đánh giá được lượng tin trung bình thống kê của nguồn 
Lượng tin tiền nghiệm, hậu nghiệm, tượng hỗ là gì? Ý nghĩa của các 
Mối quan hệ về lượng tin giữa các nguồn tin
đại lượng trong mô hình phát-thu? 
Đánh giá được lượng tin trung bình truyền qua kênh 
Lượng thông tin trung bình thống kê của nguồn rời rạc không nhớ xác 
Đưa ra một số khái niệm cơ bản về kênh truyền
định thế nào? Tính chất? Áp dụng? 
Cách xác định dung lượng kênh 
Mối quan hệ về lượng tin giữa các nguồn thông tin? Tính chất? Mối
quan hệ giữa các đại lượng? 
Mối quan hệ giữa tốc độ dữ liệu và dung lượng kênh để đảm bảo
truyền tin chính xác (tin cậy). 
Cách xác định Lượng tin trung bình truyền qua kênh? 
Suy diễn các khái niệm tượng tự cho nguồn liên tục 3
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 4
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 3 4 1
CÁC VẤN ĐỀ ĐẶT RA CỦA CHƯƠNG 2
CHƯƠNG 2- CƠ SỞ LÝ THUYẾT TRUYỀN TIN 
Tốc độ dữ liệu đầu vào kênh được đánh giá thế nào? 
Xác suất và quá trình ngẫu nhiên  Xác suất 
Thế nào là kênh rời rạc không nhớ? Kênh đối xứng?  Quá trình ngẫu nhiên 
Lượng thông tin trung bình truyền qua kênh rời rạc không nhớ? 
Lượng tin và phép đo của nguồn 
Dung lượng của một kênh rời rạc không nhớ được xác định bằng bao  Nguồn rời rạc
nhiêu? Có tình chất gì? Cách xác định cho bài toán cụ thể?  Nguồn liên tục 
Thế nào là kênh Gaussian? Mô hình? 
Lượng tin và phép đo của kênh 
Lượng tin trung bình truyền qua kênh Gaussian? Dung lượng của một  Kênh rời rạc kênh Gaussian?  Kênh liên tục  Kênh Gaussian 5
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 6
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 5 6
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất • Khái niệm:
 Xác suất là một lý thuyết nhánh của toán học, nghiên cứu về các hiện  Không gian mẫu:
tượng ngẫu nhiên, cung cấp một công cụ hình thức để suy luận trong
 Các kết quả của phép thử tạo ra một tập hợp (ký hiệu bằng S).
các trường hợp thông tin không đầy đủ.
 Nếu không gian mẫu là rời rạc thì biểu diễn: 𝑆 = {𝑠 , 𝑠 , … , 𝑠 }.
VD: . Gieo con xúc xắc, kết quả thu được nằm trong tập
 Thống kê là khoa học xuất phát từ thực tế, cho phép xây dựng các mô {1,2,3,4,5,6},
hình của các hiện tượng tự nhiên, sử dụng cách suy luận qui nạp: dựa
. Tung một đồng xu, tập kết quả là {Sấp, Ngửa}
trên một số lượng các dữ liệu quan sát được, tìm các qui luật, các mô
 Sự kiện: Mỗi tập con của S được gọi là một sự kiện. Kí hiệu: A,B,…
hình của các hiện tượng.
VD: . Gieo con xúc xắc, kết quả thu được số chẵn: A={2,4,6}.
 Sự kiện cơ bản: Mỗi phần tử của S gọi là một sự kiện cơ bản.
 Khi thực hiện các thực nghiệm (phép thử) ngẫu nhiên: không thể dự
VD: . Gieo con xúc xắc, mỗi kết quả chính là số lượng điểm chấm có
đoán trước kết quả và cho các kết quả khác nhau khi tất cả các tham
trên mặt ngửa của con xúc xắc,
số, các điều kiện như nhau.
. Tung một đồng xu, kết quả được mặt {Sấp}. 7
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 8
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 7 8 2
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
Với tập S cố định, có thể định nghĩa: phép bù, phép loại trừ, phép hợp,
phép giao trên các tập con (sự kiện):
- Thực hiện phép thử n lần, sự kiện A xuất hiện m lần. Khi đó: m được
 Phép bù: Sự kiện bù của sự kiện A là một tập con gồm các phần tử của
gọi là tần số của sự kiện A và tỷ số (𝑚 𝑛
⁄ ) được gọi là tần suất xuất
S nhưng không thuộc A, ký hiệu là 𝐴̅. VD 2-1: .
hiện sự kiện A trong loạt phép thử.
𝐴 = {2, 4, 6} thì 𝐴̅ = {1, 3, 5},
 Phép hợp: Hợp của hai sự kiện là sự kiện chứa tất cả các giá trị có
- Cho số phép thử tăng lên vô hạn, tần suất xuất hiện sự kiện A dần về
trong hai sự kiện, ký hiệu là ‘’.
một số xác định gọi là xác suất xuất hiện sự kiện A, ký hiệu là P(A):
VD 2-2: . Nếu 𝐵 = {1, 2, 6} thì 𝐶 = 𝐴 𝐵 = {1, 2, 4, 6}.
 Phép giao: Giao của hai sự kiện là sự kiện chứa các giá trị chung trong 𝑃 𝐴 = lim (2.1) →
hai sự kiện, ký hiệu là ‘’.
VD 2-3: . Nếu 𝐷 = {3, 4, 6} thì 𝐸 = 𝐷  𝐶 = {4, 6}.
VD 2-5: Một xạ thủ bắn 100 viên đạn vào bia, có 70 viên trúng bia.
 Phép loại trừ: Hai sự kiện loại trừ nhau nếu chúng không chứa một giá
Xác suất xạ thủ bắn trúng bia: 70⁄100 = 70%. trị chung nào.
VD 2-4: . Nếu 𝐻 = {1, 3} thì A và H là loại trừ nhau, 𝐴  𝐻 = ∅.
VD 2-6: Nếu gieo xúc xắc (xúc xắc đồng nhất) thì xác suất:
𝑃 1 = 𝑃 2 = ⋯ = 𝑃 6 = 1 6 ⁄ , 𝑃 2, 5 = 1 3 ⁄ , 𝑃 1, 3, 5 = 1 2 ⁄ 9
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 10
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 9 10
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Sự kiện đồng thời và xác suất đồng thời: • Tính chất xác suất:
- Sự kiện đồng thời là sự kiện mà hai sự kiện riêng đồng thời xuất hiện.
VD 2-7: Các sự kiện riêng rẽ: gieo xúc xắc được 5, tung đồng xu sấp. Sự kiện
- 𝟎 ≤ 𝑷(𝑨) ≤ 𝟏: Xác suất là số dương nhỏ hơn 1.
đồng thời: Vừa tung đồng xu sấp, vừa gieo xúc xắc được 5.
- 𝑷 𝑺 = 𝟏: Xác suất của sự kiện luôn luôn xảy ra bằng 1.
- Xác suất đồng thời của hai sự kiện là xác suất xuất hiện đồng thời của hai sự - 𝑃 ∅ = 0 kiện đó. - Xét hai phép thử A,B:
- Xác suất của hợp hai sự kiện loại trừ nhau bằng tổng hai xác suất:
. A cho các sự kiện 𝐴 , 𝑖 = 1, 2, … , 𝑛
𝑷 𝑨𝑩 = 𝑷 𝑨 + 𝑷 𝑩 nếu 𝑨  𝑩 = ∅
. B cho các sự kiện 𝐵 , j= 1, 2, … , 𝑚
- Nếu có một tập các sự kiện loại trừ nhau 𝐴 , 𝑖 = 1, 2, … , 𝑛 thuộc tập 𝑆, thì:
. Sự kiện đồng thời của 𝐴 và 𝐵
là (𝐴 , 𝐵 ) , 𝑖 = 1, 2, . . . , 𝑛, 𝑗 = 1, 2, . . . , 𝑚. 𝑷 𝑨 𝒏 𝒊 = ∑ 𝑷(𝑨 𝒊 𝟏 𝒊) (2.2)
. Xác suất đồng thời của 𝐴 và 𝐵 là 𝑃(𝐴 , 𝐵 ) 11
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 12
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 11 12 3
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Sự kiện đồng thời và xác suất đồng thời:
• Sự kiện đồng thời và xác suất đồng thời: - Tính chất: - Bài tập 1:
. 𝟎 ≤ 𝑷(𝑨𝒊, 𝑩𝒋) ≤ 𝟏
Một thử nghiệm có bốn kết quả loại trừ nhau 𝐴 , i=1,2,3,4 và thử nghiệm thứ hai
. Nếu các sự kiện 𝐵 loại trừ nhau thì: ∑𝒎 𝐏 𝑨
có ba kết quả loại trừ nhau 𝐵 , j=1,2,3. Các xác suất chung (đồng thời) 𝑃 𝐴 , 𝐵 𝐣 𝟏 𝒊, 𝑩𝒋 = 𝐏(𝑨𝒊) là:
. Nếu các sự kiện 𝐴 loại trừ nhau thì: ∑𝒏 𝐏 𝑨 𝐢 𝟏 𝒊, 𝑩𝒋 = 𝐏(𝑩𝒋) 𝑃 𝐴 , 𝐵 = 0,1; 𝑃 𝐴 , 𝐵 = 0,08; 𝑃 𝐴 , 𝐵 = 0,13;
. Nếu tất cả các sự kiện 𝐴 và 𝐵 loại trừ nhau thì: 𝑃 𝐴 , 𝐵 = 0,05; 𝑃 𝐴 , 𝐵 = 0,03; 𝑃 𝐴 , 𝐵 = 0,09; ∑𝒏 ∑𝒎 𝐏 𝑨 . 𝐢 𝟏 𝐣 𝟏 𝒊, 𝑩𝒋 = 𝟏 𝑃 𝐴 , 𝐵 = 0,05; 𝑃 𝐴 , 𝐵 = 0,12; 𝑃 𝐴 , 𝐵 = 0,14; 𝑃 𝐴 , 𝐵 = 0,11; 𝑃 𝐴 , 𝐵 = 0,04; 𝑃 𝐴 , 𝐵 = 0,06;
Hãy xác định xác suất 𝑃 𝐴 i=1,2,3,4 và 𝑃 𝐵 j=1,2,3. 13
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 14
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 13 14
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Xác suất có điều kiện:
• Xác suất có điều kiện:
- Xét ví dụ sau: “Tung hai con xúc xắc” với không gian mẫu là Giải:
S={(1,1) , (1,2),..., (1,6) , (2,1) , (2,2) ,..., (5,6) , (6,6) (tổng cộng có 36 khả năng
A= {(1,5) , (2,4 ), (3,3) , (4,2) , (5,1)}
(phần tử)) và xét các biến cố
B = {(1,1) ,..., (1,6) , (3,1) ,..., (3,6) , (5,1) ,..., (5,6)}
- A: “tổng số nút xuất hiện cộng lại bằng 6”, P(A)=A/S=5/36 P(B)=B/S=18/36
- B: “số nút của xúc xắc thứ nhất là số lẻ”.
Sự kiện B đã xảy ra thì S’ = {(1,1) ,..., (1,6) , (3,1) ,..., (3,6) , (5,1) ,..., (5,6)} P(A)=? P(B)=?
Và sự kiện A xảy ra khi biết sự kiện B là A’ ={(1,5) , (3,3) , (5,1)}
Ta tung hai con xúc xắc và giả sử ta nhận được thông tin thêm là số nút của xúc
Khi đó P(A’) =P(A/B)=A’/S’ = P(A’)/P(B) = 3/18 =1/6
xắc thứ nhất đã là số lẻ (sự kiện B). Tính xác xuất của sự kiện A khi đã có xuất
hiện sự kiện B ký hiệu P(A/B)? 16
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 17
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 16 17 4
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Xác suất có điều kiện:
• Xác suất có điều kiện:
- Xét hai sự kiện 𝐴, 𝐵 có xác suất đồng thời là 𝑃 𝐴, 𝐵
- Một quan hệ thường dùng của xác suất có điều kiện là công thức Bayes
- Khi 𝐵 đã xuất hiện, xác suất xuất hiện của 𝐴 gọi là xác suất có điều kiện, với
điều kiện 𝐵 đã xuất hiện và được định nghĩa:
- Nếu các sự kiện 𝐴 , 𝑖 = 1, 2, … , 𝑛 là loại trừ nhau và 𝐵 là một sự kiện xuất
hiện đồng thời với các sự kiện 𝐴 và 𝑃 𝐵 > 0 thì:
𝑃 𝐴 𝐵 = 𝑃(𝐴, 𝐵) 𝑃 ⁄ (𝐵) (2.3)
- Tương tự, xác suất có điều kiện của sự kiện B với điều kiện A đã xuất hiện ( | ). ( )
𝑃(𝐴 |𝐵) = 𝑃(𝐴 , 𝐵)/𝑃(𝐵) = (2.6) là: ∑
𝑃 𝐵 𝐴 = 𝑃(𝐴, 𝐵) 𝑃 ⁄ (𝐴) (2.4) ( | ). ( ) - Như vậy:
𝑷 𝑨, 𝑩 = 𝑷 𝑨 . 𝑷 𝑩 𝑨 = 𝑷 𝑩 . 𝑷 𝑨 𝑩 (2.5)
- 𝑃(𝐴 |𝐵) được gọi là xác suất hậu nghiệm, còn 𝑃(𝐴 ) được gọi là xác suất tiền nghiệm.
- VD 2-8: Sự kiện B: M đã học thi, Sự kiện A: M thi qua. Xác suất có điều
- Ý nghĩa trong truyền tin: các sự kiện 𝐴 sẽ được coi là các tin có thể được
kiện: xác suất M thi qua với điều kiện M đã học thi.
phát, 𝐵 được coi là tin thu được khi phía nguồn phát tin 𝐴 và có nhiễu tác
động, xác suất 𝑃(𝐴 |𝐵) được coi là xác suất để nguồn tin phát tin 𝐴 khi
phía thu đã thu được tin 𝐵. 18
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 19
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 18 19
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Tính độc lập thống kê của các sự kiện:
- Ví dụ: Tỷ lệ bản tin thu được của máy thứ nhất là 99%, của máy thứ hai
- Nếu A và B là hai sự kiện xảy ra hoàn toàn độc lập với nhau thì:
là 98%. Một tập tin gồm 40% bản tin của máy thứ nhất và 60% bản tin
của máy thứ hai. Người ta lấy ngẫu nhiên ra một bản tin để kiểm tra thấy
𝑃 𝐴 𝐵 = 𝑃 𝐴 và 𝑃 𝐵 𝐴 = 𝑃 𝐵 (2.7)
là bản tin tốt. Tìm xác suất để bản tin đó do máy thứ nhất sản xuất.
- Xác suất đồng thời của A và B sẽ là:
𝑃 𝐴, 𝐵 = 𝑃 𝐴 . 𝑃 𝐵 (2.8)
Khi đó: Hai sự kiện A và B gọi là độc lập thống kê với nhau.
- Tổng quát, nếu 𝐴 , 𝑖 = 1, 2, … , 𝑛 độc lập thống kê thì: 𝑃 𝐴 , 𝐴 , … , 𝐴 = ∏ 𝑃 𝐴 20
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 22
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 20 22 5
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Tính độc lập thống kê của các sự kiện:
• Đại lượng ngẫu nhiên và phân bố xác suất:
- Đại lượng ngẫu nhiên là đại lượng biến đổi biểu thị giá trị kết quả của một
- Ví dụ: Tung một đồng xu 3 lần. Tìm xác suất để 3 lần đều được mặt sấp.
phép thử ngẫu nhiên. Được ký hiệu: X, Y, Z…
Giải: Gọi Ai , (i=1,2,3) là sự kiện “nhận được mặt sấp lần tung thứ i”, ta
VD 2-9: . Khi gieo một con xúc xắc, có thể dùng một biến ngẫu nhiên X có:
nhận 6 giá trị thực (chẳng hạn 1, 2, 3, 4, 5, 6) tương ứng với 6 mặt. P(A
. Khi tung một đồng xu, có thể dùng một biến ngẫu nhiên X nhận 2 i)=1/2
giá trị thực 0, 1 tương ứng với kết quả sấp ngửa.
A là sự kiện “tung 3 lần đều được mặt sấp”
- Đại lượng ngẫu nhiên rời rạc: Khi đại lượng ngẫu nhiên chỉ nhận một số
Áp dụng 𝑃 𝐴 , 𝐴 , … , 𝐴 = ∏ 𝑃 𝐴
hữu hạn hoặc một số vô hạn đếm được các giá trị: 𝑥 , 𝑥 , … , 𝑥 P(A)=P(A
. Ký hiệu đại lượng ngẫu nhiên 𝑋 nhận giá trị 𝑥 là 𝑋 = 𝑥 và xác suất
1).P(A2).P(A3) = (½). (½). (½)= 1/8
để 𝑋 nhận giá trị 𝑥 là 𝑃(𝑋 = 𝑥 )
VD 2-10: Đại lượng ngẫu nhiên rời rạc: Số chấm xuất hiện trên mặt con
xúc sắc; Số học sinh vắng mặt trong một buổi học. 23
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 24
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 23 24
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Đại lượng ngẫu nhiên và phân bố xác suất:
• Đại lượng ngẫu nhiên và phân bố xác suất:
- Ví dụ: Cho biến số ngẫu nhiên liên tục X với hàm mật độ xác suất
- Đại lượng ngẫu nhiên liên tục là đại lượng có các giá trị có thể của nó
lấp đầy một khoảng trên trục số
VD 2-11: Nhiệt độ không khí ở mỗi thời điểm nào đó; Sai số khi đo lường Xác định hằng số A.
một đại lượng vật lý. Giải:
- Hàm mật độ xác suất: Hàm mật độ xác suất của đại lượng ngẫu nhiên
Áp dụng Tính chất của hàm mật độ xác suất:
liên tục 𝑋 là hàm không âm 𝑓(𝑥), xác định với mọi 𝑥 ∈ (−∞, +∞) và
. 𝑓 𝑥 ≥ 0, ∀𝑥 ∈ (−∞, +∞) nên A>0 thoả mãn: . ∫ 𝑓(𝑥)𝑑𝑥 = 1
𝑃 𝑋 ∈ 𝐵 = ∫ 𝑓(𝑥)𝑑𝑥 ∀ tập số thực 𝐵 (2.9)
Tính chất của hàm mật độ xác suất:
. 𝑓 𝑥 ≥ 0, ∀𝑥 ∈ (−∞, +∞) . ∫ 𝑓(𝑥)𝑑𝑥 = 1 25
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 26
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 25 26 6
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất 2.1.1 Xác suất
• Đại lượng ngẫu nhiên và phân bố xác suất:
• Đại lượng ngẫu nhiên và phân bố xác suất:
- Hàm phân bố xác suất: của đại lượng ngẫu nhiên X, ký hiệu 𝐹 𝑥 :
- Đối với đại lượng ngẫu nhiên nhiều (2) chiều:
𝐹 𝑥 = 𝑃(𝑋 < 𝑥) (2.10)
. Xét hai sự kiện biểu thị bởi hai biến ngẫu nhiên 𝑋 , 𝑋 . Hai biến này có
- Nếu X là đại lượng ngẫu nhiên rời rạc: 𝑥 , 𝑥 , … , 𝑥 thì:
thể coi là một biến ngẫu nhiên 2 chiều (𝑋 , 𝑋 ) biểu thị sự kiện đồng thời. 𝐹 𝑥 = ∑ 𝑃 𝑋 = 𝑥 = ∑
𝑝 (𝑣ớ𝑖 𝑝 = 𝑃 𝑋 = 𝑥 (2.11)
Hàm phân bố xác suất 2 chiều:
- Nếu 𝑋 là đại lượng ngẫu nhiên liên tục có hàm mật độ xác suất 𝑓(𝑥) thì: 𝐹 𝑥 = ∫ 𝑓(𝑥)𝑑𝑥 (2.12)
𝐹(𝑥 , 𝑥 ) = 𝑃(𝑋 ≤ 𝑥 , 𝑋 ≤ 𝑥 ) = ∫ ∫
𝑝(𝑢 , 𝑢 )𝑑𝑢 𝑢 (2.13)
Ý nghĩa: Hàm phân bố xác suất F(x) phản ánh mức độ tập trung xác
. Hàm mật độ phân bố xác suất hai chiều là:
suất về bên trái của điểm x. 𝑝 𝑥 , 𝑥 = 𝐹 𝑥 , 𝑥 (2.14)
Tính chất của hàm phân bố xác suất:
. Khi lấy tích phân theo biến này, thu được hàm mật độ xác suất của biến
. 0 < 𝐹 𝑥 < 1, ∀𝑥 kia: ∫ 𝑝(𝑥
. F x là hàm không giảm (𝑥 ≤ 𝑥 → 𝐹(𝑥 ) ≤ 𝐹(𝑥 ) , 𝑥 )𝑑𝑥 = 𝑝 𝑥 (2.15)
. 𝐹 𝑥 = 𝑓(𝑥), ∀𝑥. ∫
𝑝(𝑥 , 𝑥 )𝑑𝑥 = 𝑝 𝑥 (2.16) 27
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 28
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 27 28
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.1 Xác suất
• Đại lượng ngẫu nhiên và phân bố xác suất: 2.1.1 Xác suất
- Đối với đại lượng ngẫu nhiên nhiều (2) chiều:
• Đại lượng ngẫu nhiên và phân bố xác suất:
. Hai hàm 𝑝 𝑥 và 𝑝 𝑥
thường gọi là hàm mật độ phân bố xác suất biên.
- Một số phân bố xác suất thường gặp:
. Lấy tích phân theo cả hai biến: . Phân bố nhị thức. ∫ ∫
𝑝(𝑥 , 𝑥 )𝑑𝑥 𝑑𝑥 = 𝐹(∞, ∞) = 1 (2.17) . Phân bố đều
- Hàm phân bố xác suất có điều kiện:
. Phân bố Gaussian (phân bố chuẩn)
. Xét hai biến ngẫu nhiên 𝑋 , 𝑋 có hàm mật độ phân bố xác suất đồng thời
. Phân bố Khi-bình phương
𝑝(𝑥 ,𝑥 ). Giả sử đã biết: 𝑥 − ∆𝑥 < 𝑋 ≤ 𝑥 và muốn xác định xác suất để
𝑋 ≤ 𝑥 , ∆𝑥 > 0: 𝑃((𝑋 ≤ 𝑥 |𝑥 . ∆𝑥 < 𝑋 ≤ 𝑥 ). . Phân bố Rayleigh
. Hàm phân bố xác suất của biến ngẫu nhiên 𝑋 , trong điều kiện biến 𝑋 đã xác định như sau: , / 𝑃 𝑋 ≤ 𝑥 𝑋 = 𝑥 = 𝐹 𝑥 𝑥 = (2.21) / 29
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 30
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 29 30 7
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên • Khái niệm:
- Tín hiệu, thông tin tất định: • Khái niệm:
. Luôn luôn có giá trị xác định, tính được bằng các công thức toán học
- Quá trình ngẫu nhiên trong thực tế: các hiện tượng ngẫu nhiên xảy ra
. Có thể dự báo giá trị trong tương lai
trong tự nhiên là các hàm của thời gian:
. Đặc trưng bằng các hàm giá trị chính xác
. Nhiệt độ, áp suất, các tham số khí tượng
. Sự thay đổi của một điện trở theo nhiệt độ
. Tín hiệu đầu ra của nguồn tin, tín hiệu audio truyền trên kênh thoại
- Trong truyền tin số, khái niệm quá trình ngẫu nhiên sử dụng để:
- Tín hiệu thông tin, dữ liệu ngẫu nhiên:
. Mô hình hóa các tín hiệu, thông tin ngẫu nhiên
. Không biểu diễn được bằng các hàm toán học chặt chẽ
. Mô hình hóa tín hiệu sinh ra bởi nguồn tin
. Biểu diễn sử dụng các công cụ xác suất . Mô hình hóa kênh tin
. Mô hình hóa các nguồn nhiễu
Học viện Công nghệ Bưu chính Viễn thông 31 2/17/2025 32
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 31 32
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên • Khái niệm:
• Quá trình ngẫu nhiên dừng:
- Xem xét một quá trình ngẫu nhiên như là một biến ngẫu nhiên theo
- Xét các giá trị của một quá trình ngẫu nhiên 𝑋(𝑡) tại các thời điểm 𝑡 >
tham số thời gian, Ký hiệu: 𝑋(𝑡). 𝑡 >…> 𝑡 .
Tổng quát, tham số 𝑡 là liên tục, trong khi 𝑋 liên tục hoặc rời rạc
- Các giá trị này có thể biểu diễn bằng n biến ngẫu nhiên 𝑋 , 𝑖 =
phụ thuộc vào nguồn phát tạo ra quá trình ngẫu nhiên.
1, 2, . . . , 𝑛. Với hàm mật độ xác suất đồng thời là: 𝑝 𝑥 , 𝑥 , … , 𝑥 .
- Định nghĩa một quá trình ngẫu nhiên:
- Xét các giá trị của 𝑋(𝑡) tại các thời điểm 𝑡 + 𝑡, 𝑖 = 1, 2, . . . , 𝑛. Có hàm
. Tất cả các mẫu có thể xuất hiện, quan tâm các giá trị tại các thời
mật độ xác suất đồng thời là: 𝑝 𝑥 , 𝑥 , … , 𝑥 .
điểm 𝑡 > 𝑡 >…> 𝑡 , với 𝑛 là số nguyên dương. - Nếu:
. Tổng quát: các biến ngẫu nhiên 𝑋 ≡ 𝑋(𝑡 ), 𝑖 = 1, 2, . . . , 𝑛 đặc 𝑝 𝑥 , 𝑥 , … , 𝑥 = 𝑝 𝑥 , 𝑥 , … , 𝑥 (2.57)
trưng thống kê bởi hàm mật độ xác suất đồng thời 𝑝 𝑥 ,
thì quá trình 𝑋(𝑡) gọi là quá trình ngẫu nhiên dừng chặt (tính chất 𝑥 , … , 𝑥 .
thống kê của quá trình ngẫu nhiên dừng là không đổi với bất kỳ dịch
. Nói rộng ra, tất cả các quan hệ xác suất đã được định nghĩa trong
chuyển của trục thời gian).
phần xác suất cho các biến ngẫu nhiên nhiều chiều cũng được sử
Nếu không, quá trình gọi là không dừng.
dụng cho các biến ngẫu nhiên 𝑋 , 𝑖 = 1, 2, . . . , 𝑛. 33
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 34
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 33 34 8
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên
• Các giá trị trung bình thống kê:
• Các giá trị trung bình thống kê:
- Mô men chung của hai biến 𝑋𝑡𝑖 ≡ 𝑋(𝑡𝑖), 𝑖 = 1, 2 tại hai thời điểm khác
- Như đã định nghĩa các trị trung bình thống kê cho các biến ngẫu nhiên, nhau:
tương tự chúng ta cũng có thể định nghĩa các trị trung bình thống kê cho
một quá trình ngẫu nhiên. Các trị trung bình này được gọi là các trị trung bình theo tập hợp.
- Gọi là hàm tự tương quan 𝜙(𝑡1, 𝑡2) của quá trình ngẫu nhiên X(t).
- Nếu X(t) dừng, khi đó 𝜙(𝑡1, 𝑡2) không phụ thuộc vào t1,t2 mà chỉ phụ thuộc
- Xét các giá trị của một quá trình ngẫu nhiên 𝑋(𝑡) tại các thời điểm 𝑡 > vào 𝜏 = t
𝑡 >…> 𝑡 với n biến ngẫu nhiên 𝑋 , 𝑖 = 1, 2, . . . , 𝑛. Với hàm mật độ 1 – t2: 𝜙(𝜏), Chú ý:
xác suất đồng thời là: 𝑝 𝑥 , 𝑥 , … , 𝑥 . 𝜙(-𝜏) = 𝜙(𝜏)
- Mô men cấp 𝑛 của biến ngẫu nhiên 𝑋 được định nghĩa là:
là công suất trung bình của quá trình ngẫu nhiên X(t)
- Một số quá trình ngẫu nhiên không dừng với tính chất là trị trung bình của
- Khi X(t) dừng chặt, các mô men sẽ không phụ thuộc vào thời gian do đó
quá trình không phụ thuộc thời gian (là hằng số) và hàm tự tương quan thỏa
các mô men cũng không phụ thuộc vào thời gian,
mãn điều kiện 𝜙(𝑡1, 𝑡2) = 𝜙(𝑡1 - 𝑡2) , gọi là dừng theo nghĩa rộng, 35
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 36
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 35 36
2.1- Xác suất và quá trình ngẫu nhiên
2.1- Xác suất và quá trình ngẫu nhiên 2.1.2. Quá trình ngẫu nhiên 2.1.3. Quá trình ngẫu nhiên
• Phổ mật độ công suất:
• Đáp ứng của một hệ thống tuyến tính bất biến theo thời gian với một tín hiệu vào ngẫu nhiên:
- Tín hiệu có thể có công suất trung bình hữu hạn hoặc vô hạn:
. Nếu tín hiệu có công suất hữu hạn, biểu diễn tần số có thể thu được
- Xét một hệ tuyến tính bất biến theo thời gian:
. Hệ thống được đặc trưng bởi đặc tính xung, là đầu ra của hệ thống khi đầu bằng biến đổi Fourier
vào là một tín hiệu xung (δ(t) = ℎ 𝜏 )
. Nếu tín hiệu có công suất vô hạn và tuần hoàn, dùng chuỗi Fourier để
. Tín hiệu đầu ra là một hàm số theo thời gian ℎ(𝑡) và cũng có thể được biểu biểu diễn.
diễn bằng hàm theo tần số 𝐻(𝑓).
. Hệ số của các thành phần trong chuỗi Fourier phản ánh phân bố công
- Tín hiệu đầu ra 𝑦(𝑡) có thể tính theo tín hiệu đầu vào 𝑥(𝑡): suất 𝑦 𝑡 = ∫
ℎ 𝜏 𝑥(𝑡 − 𝜏)𝑑𝜏 (2.80)
- Quá trình ngẫu nhiên dừng có công suất vô hạn
- Đầu vào và đầu ra đều là các quá trình ngẫu nhiên 𝑋(𝑡), 𝑌 𝑡 ; 𝑥(𝑡), 𝑦(𝑡) là hai
- Có thể tính được phân bố công suất theo tần số:
hàm mẫu của 𝑋(𝑡), 𝑌 𝑡 𝜙 𝑓 = ∫ 𝜙(𝜏) 𝑒 𝑑𝜏 (2.72)
- Giá trị trung bình của 𝑌 𝑡 :
Biến đổi Fourier ngược là: 𝜙 𝜏 = ∫ 𝜙(𝑓) 𝑒 𝑑𝑓 (2.73) 𝑚 = 𝐸 𝑌(𝑡) ∫
ℎ 𝜏 𝐸[𝑋(𝑡 − 𝜏)]𝑑𝜏 = 𝑚 ∫
ℎ 𝜏 𝑑𝜏 = 𝑚 𝐻(0) (2.81) - Có nhận xét: 𝜙 0 = ∫ 𝛷(𝑓)𝑑𝑓 = 𝐸 𝑋 ≥ 0 (2.74)
𝐻(0) là đáp ứng của hệ thống tuyến tính tại tần số 𝑓 = 0. Vì vậy giá trị trung
bình của tín hiệu ra là một hằng số.
𝛷(𝑓) gọi là hàm mật độ công suất của quá trình ngẫu nhiên 37
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 38
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 37 38 9
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc • Các nguồn rời rạc: • Khái niệm:
- Nguồn rời rạc không nhớ: xác suất xuất hiện một ký hiệu không phụ thuộc
- Nguồn tin rời rạc: nguồn tin tạo ra các tin (biến ngẫu nhiên) dưới dạng rời
vào các ký hiệu xuất hiện trước đó.
rạc: 𝑥 , 𝑥 , … , 𝑥 .
𝑝 𝑥 𝑥 , 𝑥 , … , 𝑥 = 𝑝(𝑥 ) (2.91)
- Ký hiệu: (𝑥 ) là phần tử nhỏ nhất có chứa thông tin.
trong đó: 𝑥𝑛 ∈ 𝑋 là một ký hiệu nào đó của bộ ký hiệu 𝑋 do nguồn tạo ra tại thời điểm 𝑛.
- Bộ ký hiệu: 𝑋 = {𝑥 , 𝑥 , … , 𝑥 } là tập hợp tất cả các ký hiệu có thể, còn
Nguồn rời rạc có nhớ: xác suất xuất hiện một ký hiệu phụ thuộc vào một hay
được gọi là bảng chữ cái.
nhiều ký hiệu đã xuất hiện trước đó nếu khả năng nhớ của nguồn đủ lớn.
- Từ: Tập hợp hữu hạn các ký hiệu
𝑝 𝑥 𝑥 , 𝑥 , … , 𝑥 < 𝑝(𝑥 ) (2.92)
- Bộ từ: Tập hợp tất cả các từ có thể
- Nguồn dừng: xác suất xuất hiện các ký hiệu không phụ thuộc vào gốc thời
- Nguồn rời rạc đặc trưng bởi xác suất: 𝑋, 𝑝 𝑥 , 𝑋 = {𝑥 , 𝑥 , … , 𝑥 }
gian, chỉ phụ thuộc vào vị trí tương quan giữa các ký hiệu: 𝑝 𝑥 , = 𝑝(𝑥 ) (2.93) 39
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 40
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 39 40
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc • Các nguồn rời rạc:
• Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện:
- Nguồn có tốc độ thông tin điều khiển được: các tin được tạo ra với tốc độ phụ
- Lượng tin của mỗi tin 𝑥 ∈ 𝑋 là 𝐼(𝑥 ) = −𝑙𝑜𝑔 𝑝(𝑥 ), được gọi là lượng tin
thuộc vào các yếu tố bên ngoài nguồn và không có các ràng buộc nội tại về riêng của tin 𝑥 .
mặt thời gian trong việc tạo ra các tin.
Ví dụ: Nguồn điện báo.
. Đơn vị của lượng tin: Tùy vào cơ số hàm logarit
- Nguồn có tốc độ thông tin không điều khiển được: các bản tin được tạo ra với
. Cơ số 2: đơn vị là bit; Cơ số e: đơn vị là nat; Cơ số 10: Hartley
tốc độ cố định, không điều khiển được từ bên ngoài nguồn, tốc độ này là một
tính chất nội tại của nguồn.
- Giải quyết bài toán thu tin: Các tin của nguồn 𝑋 truyền qua hệ thống biến đổi
Ví dụ: Nguồn rời rạc tạo ra khi lấy mẫu một tín hiệu liên tục theo thời gian.
trở thành đầu ra 𝑌. Cho biết:
Các mẫu được tạo ra liên tiếp nhau, cách nhau một khoảng thời gian cố định
. Cấu trúc thống kê của nguồn.
phụ thuộc vào các tín hiệu liên tục.
- Nguồn Markov: nguồn rời rạc mà xác suất của một ký hiệu chỉ phụ thuộc vào
. Cấu trúc thống kê của nhiễu và phép biến đổi (cho bảng xác suất chuyển ký hiệu trước đó: đổi). 𝑝 𝑥 𝑥 , 𝑥 , … = 𝑝 𝑥 𝑥 (2.94)
. Với mỗi đầu ra 𝑦 ∈ 𝑌, xác định đầu vào 𝑥 ∈ 𝑋 đã sinh ra 𝑦 ∈ 𝑌. 41
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 42
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 41 42 10
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc
• Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện:
• Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện:
- Lời giải: Lượng tin của - Lời giải có dạng
𝑥 khi đã nhận được 𝑦 :
. Xác suất của 𝑥 khi biết 𝑦 là 𝑝 𝑥 𝑦
. Với tin 𝑦 ∈ 𝑌 nhận được tin nào của nguồn X có khả năng đã phát đi nhất
. Lượng tin của 𝑥 khi có 𝑦 : 𝐼(𝑥 |𝑦 ) = −𝑙𝑜𝑔 𝑝(𝑥 |𝑦 ) (2.95) nhất.
. Thông tin: Tách (Lọc) thông tin đầu vào chứa trong đầu ra. Bằng cách tính
- Lượng tin tương hỗ của 𝑥 trong 𝑦 là: ( | ) ( | )
các lượng tin về một tin bất kỳ 𝑥 ∈ 𝑋 chứa trong tin 𝑦 ∈ 𝑌 nhận được hay:
𝐼(𝑥 , 𝑦 ) = 𝐼(𝑥 ) − 𝐼(𝑥 𝑦 = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 (2.96) ∑ ( ) ( | )
+ Xác định lượng thông tin của mỗi tin
chính là sự thay đổi thông tin về 𝑥 chứa trong 𝑦 : 𝑥 do 𝑦 gây ra
Lượng tin tương hỗ = lượng tin ban đầu - lượng tin bị mất đi do nhiễu.
- 𝐼(𝑥 |𝑦 ) là lượng tin của 𝑥 không nằm trong 𝑦 , do bị nhiễu ảnh hưởng,
không đến đầu thu, gọi là lượng tin có điều kiện.
+ Chọn đầu vào là lượng tin tương hỗ lớn nhất. 43
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 44
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 43 44
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc
• Tính chất của lượng tin:
• Tính chất của lượng tin:
- Tính chất 1: Lượng tin riêng của một tin 𝑥 bao giờ cũng lớn hơn lượng tin
- Tính chất 2: Lượng tin riêng là một đại lượng không âm vì 𝑝(𝑥 ) ≤ 1,
tương hỗ trong một tin khác 𝑦 .
nhưng lượng tin tương hỗ có thể dương hoặc âm.
. Khi 𝑥 và 𝑦 độc lập thống kê, thì lượng tin tương hỗ bằng không.
- Tính chất 3: Lượng tin của một cặp (𝑥 𝑦 ) bằng tổng lượng tin riêng của
. Nếu từ 𝑦 xác định được 𝑥 thì lượng tin tương hỗ cực đại
từng tin trừ đi lượng tin tương hỗ giữa chúng.
. Lượng tin riêng chính là lượng tin tương hỗ cực đại.
𝐼(𝑥 𝑦 ) = 𝐼(𝑥 ) + 𝐼(𝑦 ) − 𝐼(𝑥 , 𝑦 ) (2.97) 𝑝 𝑥 𝑦 𝑝(𝑦 |𝑥 )
. Nếu 2 cặp tin độc lập thống kê (𝐼(𝑥 , 𝑦 ) = 0):
𝐼(𝑥 ) = −𝑙𝑜𝑔 𝑝(𝑥 ) ≥ 𝐼(𝑥 , 𝑦 ) = 𝑙𝑜𝑔 = 𝑙𝑜𝑔 𝑝 𝑥 𝑝 𝑦
𝐼(𝑥 𝑦 ) = 𝐼(𝑥 ) + 𝐼(𝑦 ) (2.98) 45
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 46
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 45 46 11
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc • Lượng tin trung bình: • Lượng tin trung bình:
- Lượng tin của nguồn: lượng tin của một tập hợp tin.
- Lượng tin tương hỗ trung bình:
. Lượng tin riêng 𝐼(𝑥 ): chỉ đánh giá tin tức của một tin 𝑥 , không dùng để
đánh giá tin tức của một tập hợp trong đó 𝑥 tham gia. Thực tế, cần quan tâm giá ( | ) 𝐼(𝑋, 𝑌) = − ∑ 𝑝 𝑥, 𝑦 𝑙𝑜𝑔 (2.100)
trị tin tức của một tập hợp chứ không phải là của một phần tử nào đó trong tập ( ) hợp.
- Lượng tin riêng trung bình có điều kiện 𝐼(𝑋|𝑌):
Ví dụ: nguồn nhị phân, 𝑝(𝑥 ) = 99%, 𝑝(𝑥 ) = 1%, Tin 𝑥 có lượng tin lớn (=
𝑙𝑜𝑔100 ≈ 6,5bit), nhưng thông tin của nguồn ít có giá trị. 𝐼(𝑋|𝑌) = − ∑
𝑝 𝑥, 𝑦 log 𝑝(𝑥|𝑦) (2.101)
- Do đó, trong thực tế để đánh giá một tin thu được của một nguồn đã cho, người
ta dùng khái niệm lượng tin trung bình:
- Quan hệ giữa các lượng tin trung bình:
𝐼(𝑋) = − ∑ 𝑝 𝑥 log 𝑝(𝑥) (2.99)
𝐼 𝑋, 𝑌 = 𝐼 𝑋 − 𝐼(𝑋|𝑌) (2.102)
- 𝐼(𝑋): lượng tin tức trung bình chứa trong một ký hiệu của nguồn.
𝐼 𝑋, 𝑌 = 𝐼 𝑌, 𝑋 ≥ 0 (2.103)
- Với ví dụ trên: 𝐼 𝑋 = −0,99𝑙𝑜𝑔2 0,99 − 0,01𝑙𝑜𝑔2 0,001 = 0,081 (bit) 47
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 48
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 47 48
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc Ví dụ:
• Entropi của nguồn rời rạc: - Khái niệm Entropi:
. Khi nhận tin, độ bất ngờ (độ bất định) được giải thoát (tin đã biết, độ bất
ngờ=0), đồng thời nhận được một lượng tin.
. Độ bất ngờ của tin 𝑥 = lượng tin của tin về số đo (nhưng trái ngược nhau về ý nghĩa vật lý):
𝐻(𝑥 ) = −𝑙𝑜𝑔 𝑝 𝑥 = 𝐼(𝑥 ) (2.104)
. Độ bất ngờ trung bình của một nguồn tin: phản ánh chất lượng của nguồn tin,
𝐻 𝑋 = − ∑ 𝑝 𝑥 log 𝑝 𝑥 = 𝐼(𝑋) (2.105)
. 𝐻 𝑋 gọi là entropi của nguồn, đo bằng lượng tin trung bình của các tin do
nguồn phát ra. Thông số phản ánh khả năng phát tin (trung bình) của nguồn và
là một thông số thống kê cơ bản của nguồn 49
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 52
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 49 52 12
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc
• Entropi của nguồn rời rạc: 2.2.1. Nguồn rời rạc - Tính chất của entropi:
• Entropi của nguồn rời rạc:
. Tính chất 1: Entropi luôn không âm 𝐻 𝑋 ≥ 0. - Tính chất của entropi:
. Tính chất 2: 𝐻 𝑋 = 0 khi nguồn có một ký hiệu có xác suất bằng 1 và tất cả
các ký hiệu còn lại có xác suất bằng 0.
. Tổng quát, nếu nguồn 𝑋 gồm 𝑚 ký hiệu, entropi sẽ có giá trị lớn
. Tính chất 3: Entropi có giá trị cực đại, 𝐻 𝑋
khi tất cả các ký hiệu có cùng
nhất khi các ký hiệu đồng xác suất: xác suất. 1 𝑝 = 𝑝 = ⋯ = 𝑝 =
Ví dụ: Nguồn có hai ký hiệu 𝑋 = {𝑥 , 𝑥 } , xác suất p, 1 − p. 𝑚 Entropi của nguồn: . Khi đó sẽ có:
𝐻 𝑋 = −𝑝 log 𝑝 − (1 − 𝑝) log(1 − 𝑝), 𝐻 𝑋 = − ∑
𝑝 log 𝑝 = 𝑙𝑜𝑔𝑚 (2.106) 𝐻 𝑋
khi 𝑝 = 1 − 𝑝 = 1/2 và 𝐻 𝑋 = 𝑙𝑜𝑔2
Nếu dùng cơ số 2: 𝐻 𝑋 = 1 (bit/ký hiệu).
. Nếu dùng loga cơ số 2, sẽ có 𝐻 𝑋
= 𝑙𝑜𝑔 𝑚 (bit/ký hiệu).
 Ý nghĩa của đơn vị bit là entropi của một nguồn
gồm hai ký hiệu đồng xác suất. 53
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 54
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 53 54
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc
• Lượng tin riêng, Entropi của nguồn rời rạc: - Bài tập 2:
• Lượng tin riêng, Entropi của nguồn rời rạc:
Cho nguồn tin 𝑋 có 4 ký hiệu là 𝑥 , 𝑥 , 𝑥 , 𝑥 có xác suất xuất hiện tương - Bài tập 3:
ứng là 0,5; 0,25; 0,12; 0,13. Hãy tính lượng tin riêng tương ứng với từng kí
Nguồn tin 𝑋 là một đèn LED 7 thanh. Hãy xác định 𝐻(𝑋).
hiệu và entropi của nguồn. 55
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 57
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 55 57 13
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.1. Nguồn rời rạc 2.2.1. Nguồn rời rạc
• Tốc độ lập tin và độ dư của nguồn:
. Tốc độ tạo ra các tin (ký hiệu) của nguồn (vật lí) là hữu hạn.
• Lượng tin riêng, Entropi của nguồn rời rạc:
. Lượng tin nguồn có thể tạo ra trong một đơn vị thời gian, gọi là tốc độ lập tin - Bài tập 4:
của nguồn, ký hiệu: 𝑅. 𝑅 = 𝑛 𝐻 𝑋 (bit/s) (2.107)
Có 2 hộp đựng bút chì, mỗi hộp đựng 20 bút chì. Hộp thứ nhất có 10 . Để có 𝑅
với 𝑛 (nguồn vật lý) cố định (số ký hiệu được lập trong một đơn
bút chì trắng, 5 bút chì đen và 5 bút chì đỏ. Hộp thứ 2 có 8 bút chì
vị thời gian), cần 𝐻 𝑋 :
trắng, 8 bút chì đen, 4 bút chì đỏ. Thực hiện các 2 phép thử lấy hú hoạ . Để 𝐻 𝑋
: phải thay đổi cấu trúc thống kê của nguồn bằng các phương
một bút chì từ mỗi hộp. Hỏi rằng phép thử nào trong hai phép thử nói pháp mã hóa thống kê.
trên có độ bất định lớn hơn.
. Để chỉ ra sự chênh lệch giữa entropi của nguồn và giá trị cực đại của
nó, định nghĩa độ dư của nguồn: 𝑅 = 𝐻(𝑋) − 𝐻(𝑋) (2.108)
. Độ dư tương đối của nguồn được định nghĩa: 𝑟 = [ 𝐻(𝑋) −𝐻(𝑋)]/𝐻 𝑋 = 1 − 𝐻(𝑋)/𝐻(𝑋) (2.109) 59
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 61
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 59 61
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.2. Nguồn liên tục 2.2.2. Nguồn liên tục
• Khái niệm nguồn liên tục:
• Entropi nguồn liên tục:
- Nguồn liên tục là một quá trình ngẫu nhiên liên tục. Để có thể nghiên cứu, xem
- Entropi đo độ bất ngờ (bất định) trung bình của một giá trị bất kỳ mà mẫu 𝑥(𝑡 )
xét nguồn liên tục cần rời rạc hóa nguồn liên tục.
có thể lấy được. Về số đo, entropi là lượng tin trung bình của một giá trị bất kỳ thuộc 𝑥(𝑡 ).
- Với điều kiện nguồn có phổ hữu hạn, có thời gian tồn tại hữu hạn, nguồn liên
tục có thể được lấy mẫu với tần số
- Entropi của nguồn liên tục dừng (các mẫu 𝑥(𝑡 ) độc lập thống kê với nhau và
2∆𝑓 tại các thời điểm {𝑡 }, 𝑖 = 1, 2, … , 𝑛.
cùng một quy luật phân bố xác suất 𝑝 𝑥 ):
- Mỗi thể hiện của nguồn liên tục là một hàm 𝑥(𝑡) theo thời gian, được đặc trưng
bởi 𝑛 giá trị tức thời {𝑥 }, 𝑖 = 1, 2, … , 𝑛. 𝐻 𝑋 = − ∫
𝑝 𝑥 log 𝑝 𝑥 𝑑𝑥 (2.110)
- Tính chất thống kê của nguồn được đặc trưng bởi phân bố xác suất đồng thời
- Entropi của nguồn liên tục không dừng:
(nhiều chiều): 𝑝(𝑥 , 𝑥 , … , 𝑥 ).
- Thực tế truyền tin, thường là các quá trình ngẫu nhiên dừng, phân bố xác suất 𝐻 𝑋 = − …
𝑝 𝑥 , 𝑥 , … , 𝑥 log 𝑝 𝑥 , 𝑥 , … , 𝑥 𝑑𝑥 𝑑𝑥 … 𝑑𝑥
này không phụ thuộc vào gốc thời gian:
- Tốc độ lập tin của nguồn liên tục: 𝑝 𝑥 , = 𝑝(𝑥 )
𝑅 = 𝑛 𝐻 𝑋 = 2 ∆𝑓 𝐻 𝑋 (bit/s) (2.112) 62
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 63
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 62 63 14
2.2- Lượng tin và phép đo của nguồn
2.2- Lượng tin và phép đo của nguồn 2.2.2. Nguồn liên tục 2.2.2. Nguồn liên tục
• Entropi nguồn liên tục:
• Entropi có điều kiện, Lượng tin tương hỗ: - Bài tập 5:
- Khi truyền trong kênh có nhiễu, với 𝑥(𝑡) đầu vào có 𝑦(𝑡) đầu ra bị sai lệch ít
Xác định entropi của biến ngẫu nhiên 𝑋 có phân bố đều:
nhiều. Tại một thời điểm bất kỳ một 𝑥(𝑡 ) truyền qua kênh sẽ chuyển thành 𝑎 0 ≤ 𝑋 ≤ 𝑎
𝑦(𝑡 ) theo quy luật phân bố có điều kiện 𝑝(𝑥|𝑦).
𝑝 𝑥 = 0 𝑣ớ𝑖 𝑐á𝑐 𝑔𝑖á 𝑡𝑟ị 𝑘ℎá𝑐
- 𝑝(𝑥|𝑦) cho phép xác định độ bất ngờ trung bình về một giá trị 𝑥 khi nhận 𝑦,
trong các trường hợp: a=1, a=4 và a=1/4.
tức là xác định được entropi có điều kiện của nguồn liên tục: - Bài tập 6:
Xác định entropi của các biến ngẫu nhiên liên tục sau đây: 𝐻 𝑋|𝑌 = − ∫ ∫
𝑝 𝑥, 𝑦 log 𝑝 𝑥|𝑦 𝑑𝑥𝑑𝑦 (2.113) a)
𝑋 là biến ngẫu nhiên hàm mũ với tham số 𝜆 > 0: 𝐻 𝑌|𝑋 = − ∫ ∫
𝑝 𝑥, 𝑦 log 𝑝 𝑦|𝑥 𝑑𝑥𝑑𝑦 (2.114) 𝑓 𝑥 = 𝜆 𝑒 / 𝑥 > 0
𝑝 𝑥, 𝑦 là quy luật phân bố đồng thời của 𝑥 và 𝑦. Quy luật này dùng để tính 0 𝑥 ≤ 0 entropi đồng thời: b)
𝑋 là biến ngẫu nhiên Laplace với tham số 𝜆 > 0: 1 𝐻 𝑋, 𝑌 = − ∫ ∫
𝑝 𝑥, 𝑦 log 𝑝 𝑥, 𝑦 𝑑𝑥𝑑𝑦 (2.115) 𝑓 𝑥 = 𝑒 | |/ 2𝜆 64
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 68
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 64 68
2.2- Lượng tin và phép đo của nguồn
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.2.2. Nguồn liên tục
• Khái niệm kênh rời rạc:
• Entropi có điều kiện, Lượng tin tương hỗ:
- Nguồn tin và nơi nhận tin liên hệ với nhau qua kênh truyền tin.
- Lượng tin tương hỗ trung bình:
- Kênh truyền tin thực hiện một phép biến đổi từ không gian các ký hiệu vào đến | |
không gian ký hiệu ở đầu ra của kênh. 𝐼 𝑋, 𝑌 = ∫ ∫ 𝑝 𝑥, 𝑦 log 𝑑𝑥𝑑𝑦 = ∫ ∫ 𝑝 𝑥, 𝑦 log 𝑑𝑥𝑑𝑦 (2.116)
- Kênh rời rạc: không gian tín hiệu vào và không gian tín hiệu ra là rời rạc.
- Nếu truyền tin thực hiện ở những thời điểm rời rạc theo thời gian thì kênh được
- Quan hệ giữa các entropi với lượng tin tương hỗ như sau:
gọi là kênh rời rạc theo thời gian.
𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌|𝑋 = 𝐻 𝑌 + 𝐻 𝑋|𝑌 (2.117)
- Nếu sự chuyển đổi ký hiệu vào 𝑋 thành ký hiệu ra 𝑌 không phụ thuộc vào các
𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋|𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋 (2.118)
chuyển đổi trưóc đó thì kênh được gọi là kênh không nhớ.
Nếu sự chuyển đổi đó phụ thuộc vào việc chọn gốc thời gian thì kênh được gọi là kênh dừng. 69
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 70
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 69 70 15
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Entropi ở đầu vào và ở đầu ra của kênh:
• Entropi ở đầu vào và ở đầu ra của kênh:
- Với không gian kí hiệu ở đầu vào và đầu ra kênh, định nghĩa trường tích:
𝑥 𝑦 𝑥 𝑦 … 𝑥 𝑦
- Kí hiệu [𝑋] là tập hợp 𝑛 kí hiệu ở đầu vào kênh: 𝑋 = [𝑥 𝑥 … 𝑥 ], tương ứng
𝑥 𝑦 𝑥 𝑦 … 𝑥 𝑦
với các xác suất : 𝑃 = [𝑝 𝑥 𝑝 𝑥 … 𝑝(𝑥 )]. 𝑋, 𝑌 = … … … … (2.119)
Các xác suất 𝑃 không phải là tính chất của kênh, chúng là một tính chất của
𝑥 𝑦 𝑥 𝑦 … 𝑥 𝑦 trong đó: tích nguồn tin.
𝑥 𝑦 là sự xuất hiện đồng thời hai sự kiện 𝑥 và 𝑦 . Tương ứng với ma trận xác suất:
- Tập hợp 𝑚 kí hiệu ở đầu ra của kênh: 𝑌 = [𝑦 𝑦 … 𝑦 ], tương ứng xác suất:
𝑝(𝑥 𝑦 ) 𝑝(𝑥 𝑦 ) … 𝑝(𝑥 𝑦 ) 𝑃 = [𝑝 𝑦 𝑝 𝑦 … 𝑝(𝑦 )].
𝑝(𝑥 𝑦 ) 𝑝(𝑥 𝑦 ) … 𝑝(𝑥 𝑦 ) 𝑷 𝑿, 𝒀 = (2.120) … … … …
- Do tính chất của nhiễu trên kênh, không gian 𝑌 có thể khác với không gian
𝑝(𝑥 𝑦 ) 𝑝(𝑥 𝑦 ) … 𝑝(𝑥 𝑦 )
𝑋 và xác suất 𝑃 có thể khác các xác suất ở đầu vào 𝑃 . - Từ (2.120) ta có: 𝑝 𝑥 = ∑ 𝑝 𝑥 , 𝑦 (2.121) 𝑝 𝑦 = ∑ 𝑝 𝑥 , 𝑦 (2.122) 71
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 72
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 71 72
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Entropi ở đầu vào và ở đầu ra của kênh:
• Entropi có điều kiện:
- Định nghĩa ba sự kiện:
- Trong trường hợp mã hóa hay truyền lan tin trong kênh. Xét tập tin của nguồn
là 𝑋, tập tin của đích là 𝑌
. Trường đầu vào của kênh với entropy H(X):
- Entropi điều kiện: độ bất định trung bình của tất cả các cặp (𝑥, 𝑦) 𝐻 𝑋 = − ∑ 𝑝 𝑥 . log 𝑝 𝑥 (2.123) 𝐻 𝑋|𝑌 = − ∑ ∑
𝑝 𝑥 , 𝑦 . log 𝑝 𝑥 |𝑦 (2.126)
. Trường đầu ra của kênh với entropy H(Y):
Tương tự: 𝐻 𝑌|𝑋 = − ∑ ∑
𝑝 𝑥 , 𝑦 . log 𝑝 𝑦 |𝑥 (2.127)
- Nếu trên kênh không có nhiễu: 𝐻 𝑌 = − ∑ 𝑝 𝑦 . log 𝑝 𝑦 (2.124)
𝐻 𝑋|𝑌 = 𝐻 𝑌|𝑋 = 0 (2.128)
. Trường hợp giữa đầu vào và đầu ra với entropy H(X,Y):
- Nếu nhiễu trên kênh đủ lớn: 𝐻 𝑋|𝑌 = 𝐻(𝑋) (2.129) 𝐻 𝑋, 𝑌 = − ∑ ∑
𝑝 𝑥 , 𝑦 . log 𝑝 𝑥 , 𝑦 (2.125) 𝐻 𝑌|𝑋 = 𝐻(𝑌) (2.130) 73
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 74
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 73 74 16
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Entropi có điều kiện:
• Entropi có điều kiện:
- Liên hệ giữa các entropi:
- Để xác định các entropy có điều kiện, cần phải biết các xác suất có điều kiện:
𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌|𝑋 = 𝐻 𝑌 + 𝐻 𝑋|𝑌 (2.133) 𝑝(𝑥 |𝑦 ) 𝑝(𝑥 |𝑦 ) … 𝑝(𝑥 |𝑦 )
- Nếu trên kênh không có nhiễu:
[𝑷(𝑿|𝒀)] = 𝑝(𝑥 |𝑦 )
𝑝(𝑥 |𝑦 ) … 𝑝(𝑥 |𝑦 ) (2.131)
𝐻 𝑋, 𝑌 = 𝐻 𝑋 = 𝐻 𝑌 (2.134) 𝑝(𝑥 |𝑦 ) 𝑃(𝑥 |𝑦 ) … 𝑝(𝑥 |𝑦 )
- Khi nhiễu trên kênh đủ lớn:
𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 (2.135) 𝑝(𝑦 |𝑥 ) 𝑝(𝑦 |𝑥 ) … 𝑝(𝑦 |𝑥 )
Do đó: 𝐻 𝑋 ≥ 𝐻 𝑋|𝑌 ; 𝐻 𝑌 ≥ 𝐻 𝑌|𝑋
[𝑷(𝒀|𝑿)] = 𝑝(𝑦 |𝑥 )
𝑝(𝑦 |𝑥 ) … 𝑝(𝑦 |𝑥 ) (2.132)
- Liên hệ giữa lượng tin tương hỗ trung bình và entropy: 𝑝(𝑦 |𝑥 ) 𝑃(𝑦 |𝑥 ) … 𝑝(𝑦 |𝑥 )
𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋|𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋 (2.136)
Ma trận [𝑷(𝒀|𝑿)]: là ma trận nhiễu trên kênh.
𝐼 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻(𝑌) − 𝐻 𝑋, 𝑌 (2.137)
Nếu X và Y độc lập thống kê với nhau:
𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻 𝑌 và 𝐼 𝑋, 𝑌 = 0 75
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 76
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 75 76
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Entropi đầu vào, đầu ra của kênh+ Entropi có điều kiện:
• Entropi đầu vào, đầu ra của kênh+ Entropi có điều kiện: - Bài tập 7: - Bài tập 8:
Cho kênh nhị phân đối xứng:
Hai biến ngẫu nhiên nhị phân X và Y có phân bố đồng thời:
𝑝 𝑋 = 𝑌 = 0 = 𝑝(𝑋 = 0, 𝑌 = 1) = 𝑝(𝑋 = 𝑌 = 1) = 1/3
Tính 𝐻(𝑋), 𝐻(𝑌), 𝐻(𝑋|𝑌), 𝐻(𝑌|𝑋) và 𝐻(𝑋, 𝑌).
Giả sử: p(𝑌 |𝑋 ) = p(𝑌 |𝑋 ) = 𝑝 , p(𝑌 |𝑋 ) = p(𝑌 |𝑋 ) =𝑝 , p(𝑋 ) = p,
p(𝑋 ) = q. Khi đó: 𝑝 +𝑝 = 1, p + q = 1
Tính lượng tin tương hỗ trung bình giữa X,Y? 77
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 80
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 77 80 17
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc
• Thông lượng kênh rời rạc: 2.3.1. Kênh rời rạc
- Khái niệm thông lượng của kênh:
• Thông lượng kênh rời rạc:
. Lượng tin tối đa mà kênh cho đi qua trong một đơn vị thời gian mà không
gây lỗi. Ký hiệu là C. Đơn vị bit/s.
- Thông lượng của kênh rời rạc không nhiễu:
. Là tốc độ lập tin tối đa ở đầu ra của kênh. . Kênh không có nhiễu:
. Tốc độ lập tin của nguồn thường nhỏ hơn nhiều so với thông lượng của
+ Thông tin do nguồn thiết lập truyền sẽ không có lỗi, kênh.
+ Thông lượng kênh khi đó bằng tốc độ lập tin cực đại của nguồn: 𝑅 << 𝐶 (2.138) 𝐶 = 𝑅 = 𝑛 𝐻(𝑋) (2.139)
- Tận dụng thông lượng của kênh:
. Tối đa tốc độ lập tin của nguồn cho phù hợp với kênh: mã hóa thống kê để
. Để tối ưu hệ thống cần cực đại entropi của nguồn:
có tốc độ lập tin cực đại, gần với thông lượng của kênh (đồng bộ kênh -
+ Có tồn tại một phương pháp mã hóa với entropi cực đại? nguồn).
+ Giới hạn của tốc độ truyền tin khi đó là bao nhiêu?
Cơ sở lý thuyết: định luật Shannon cho kênh không nhiễu.
. Điều này được Shannon phát biểu trong một định lý cơ bản của lý thuyết
. Sử dụng phần còn lại của thông lượng kênh để chống nhiễu (mã chống nhiễu). tin tức.
Cơ sở lý thuyết: định luật Shannon cho kênh có nhiễu. 82
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 83
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 82 83
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Thông lượng kênh rời rạc:
• Thông lượng kênh rời rạc:
- Thông lượng của kênh rời rạc không nhiễu:
- Thông lượng của kênh rời rạc có nhiễu:
Định lý Shannon: Giả định nguồn có entropi 𝐻(bit/ký hiệu) và kênh có thông lượng
. Xét kênh không nhớ, có nhiễu
𝐶 (bit/s), có thể mã hoá nguồn để truyền tin trong kênh không nhiễu
theo một tốc độ trung hình ⁄ − 𝜀 (ký hiệu/s) với 𝜀 là lượng bé tùy ý và
. Các tin nhận được bị sai lệch
không thể truyền nhanh hơn ⁄ (ký hiệu/s).
+ Nếu vẫn phân biệt được các tin đầu vào: không có sai lỗi,
+ Nếu các tin đầu vào bị lẫn nhau ở đầu ra (nhiều tin đầu vào cho một tin
. Tốc độ lập tin tối đa tiệm cận và có thể bằng với thông lượng kênh. Phép mã
đầu ra): giảm độ chính xác truyền tin và xuất hiện sai số truyền tin. Sẽ khảo
hóa tương ứng gọi là phép mã hóa tối ưu. sát trường hợp này:
. Phép mã hóa tối ưu không sử dụng hết thông lượng của kênh.
. Xét hệ thống gồm đầu vào 𝑋 = {𝑥 }, 𝑖 = 1, 2, . . . , 𝑚, đầu ra của kênh 𝑌 =
. Khi tốc độ lập tin của nguồn chưa đạt cực đại, còn khả năng để tối ưu
nguồn. Khả năng này đo bằng độ dư của nguồn:
{𝑦 }, 𝑗 = 𝑙, 2 … , 𝑛. Do kênh có nhiễu, nên phép biến đổi giữa X và Y được 𝑅 = 𝐻(𝑋) − 𝐻(𝑋) (2.140)
biểu diễn bằng ma trận xác suất chuyển đổi 𝑝 = (𝑦 |𝑥 ). . Độ dư tương đối: ( ) ( ) ( ) 𝑟 = = 1 − (2.141)
. Khi đó lượng tin tương hỗ trung bình giữa X và Y được xác định: ( ) ( )
 Để có thể xây dựng mã chống nhiễu, điều kiện đầu tiên là phải có độ
𝐼 𝑋, 𝑌 = 𝐻 𝑋 − 𝐻 𝑋|𝑌 dư)
𝐼 𝑋, 𝑌 = 𝐻 𝑌 − 𝐻 𝑌|𝑋 84
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 85
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 84 85 18
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.1. Kênh rời rạc 2.3.1. Kênh rời rạc
• Thông lượng kênh rời rạc:
• Thông lượng kênh rời rạc:
- Thông lượng của kênh rời rạc có nhiễu:
- Thông lượng của kênh rời rạc có nhiễu:
. Vấn đề đặt ra cho truyền tin kênh có nhiễu: bằng cách nào có thể truyền tin
. Tốc độ lập tin ở đầu ra của kênh:
chính xác và mức độ chính xác là bao nhiêu?
Trả lời cho vấn đề này, Shannon đã phát biểu:
𝑅 = 𝑛 𝐼(𝑋, 𝑌) = 𝑛 (𝐻 𝑋 − 𝐻 𝑋|𝑌 ) (bit/s) (2.142) Định lý Shannon:
trong đó: 𝑛 𝐼(𝑋, 𝑌) là lượng tin bị nhiễu phá hủy trong một đơn vị thời gian.
+ Kênh rời rạc có thông lượng 𝐶 (bit/s), tốc độ lập tin của nguồn là 𝑅< C có
. Khi các thông số của kênh đã được xác định, muốn nâng cao tốc độ lập tin ở
thể có phương pháp mã hóa để truyền tin với một độ sai lỗi bé tùy ý.
đầu ra cần phải tăng entropi bằng phương pháp mã hóa. Thông lượng kênh
+ Nếu R > C có thể mã hóa nguồn với sai số 𝑅 − 𝐶 + 𝜀 (𝜀 bé tùy ý).
chính là tốc độ lập tin tối đa ở đầu ra kênh:
+ Không tồn tại cách mã hóa với sai số nhỏ hơn 𝑅 − 𝐶. 𝐶 = 𝑅
= 𝑛 𝐼 𝑋, 𝑌 = 𝑛 (𝐻 𝑋 − 𝐻 𝑋|𝑌 ) (2.143) Ýnghĩa:
+ Nếu R < C phần dư của nguồn được dùng để bổ sung các thông tin chống
. Nếu xem băng thông của kênh ∆𝑓 = 𝑛 , thì thông lượng của kênh có nhiễu
nhiễu. Cần truyền lượng tin lớn hơn thông tin cần truyền.
(đảm bảo truyền tin không có sai nhầm) là:
+ Nếu R > C, phần thông tin không được truyền đi sẽ trở thành sai số (tối
𝐶 = ∆𝑓(𝐻 𝑋 − 𝐻 𝑋|𝑌 ) (2.144)
thiểu). Tồn tại cách mã hóa để có(tiệm cận) sai số tối thiểu. 86
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 87
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 86 87
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.2. Kênh liên tục 2.3.2. Kênh liên tục
• Thông lượng của kênh liên tục:
• Khái niệm kênh liên tục:
- Xét kênh truyền tin có nhiễu cộng. Tín hiệu đầu vào của kênh là 𝑥 𝑡 , tín hiệu ở đầu ra:
- Kênh được gọi là liên tục nếu cả hai không gian ký hiệu vào và ra là
𝑦 𝑡 = 𝑥 𝑡 + 𝑛(𝑡) liên tục. - Giả thiết:
- Nếu sự truyền tin trong kênh liên tục theo thời gian thì kênh được
. 𝑦 𝑡 ∈ 𝑌, 𝑥 𝑡 ∈ 𝑋 và 𝑛(𝑡) ∈ 𝑁 với 𝑋 là tập nguồn, 𝑌 là tập thu, 𝑁 là tập
gọi là liên tục theo thời gian.
nhiễu và 𝐻(𝑋), 𝐻(𝑌), 𝐻(𝑁) là entropi các tập tương ứng.
. Giữa nguồn tin 𝑋 và nguồn nhiễu 𝑁 là độc lập thống kê, entropi đồng thời của 𝑋 và 𝑌 là:
𝐻 𝑋, 𝑌 = 𝐻 𝑋, 𝑋 + 𝑁 = 𝐻 𝑋, 𝑁 = 𝐻 𝑋 + 𝐻(𝑁) (2.145)
- Mặt khác: 𝐻 𝑋, 𝑌 = 𝐻 𝑋 + 𝐻(𝑌|𝑋)
- Vậy: 𝐻 𝑌 𝑋 = 𝐻(𝑁) (2.146)
𝐻 𝑌 𝑋 là entropi của nguồn nhiễu. 88
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 89
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 88 89 19
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.2. Kênh liên tục 2.3.3. Kênh Gaussian
• Thông lượng của kênh liên tục:
• Khái niệm kênh Gaussian:
- Là một kênh rời rạc theo thời gian với đầu ra 𝑌 ở thời gian i, trong đó 𝑌 là
- Tốc độ lập tin ở đầu ra của kênh:
tổng của đầu vào 𝑋 và nhiễu 𝑍 .
𝑅 = 𝑛 𝐻 𝑌 − 𝐻 𝑌|𝑋
= 2∆𝑓(𝐻 𝑌 − 𝐻 𝑁 ) (2.147) 𝑌 = 𝑋 + 𝑍 (2.148)
. Nhiễu 𝑍 ~𝒩(0, 𝑁) là biến ngẫu nhiên Gaussian với giá trị trung bình 0
- Thông lượng của kênh bằng tốc độ lập tin cực đại ở đầu ra: và phương sai 𝑁. 𝐶 = 𝑅
- Giả thiết: Nhiễu 𝑍 độc lập với tín hiệu 𝑋 .
- Tốc độ lập tin cực đại khi 𝐻 𝑌 cực đại.
. Đây là mô hình cho một số kênh truyền phổ biến, như: Kênh thoại có
dây/ không dây và các liên kết vệ tinh.
- Các tin của 𝑌 gồm hai thành phần từ 𝑋 và 𝑁. Phụ thuộc vào các hạn chế
. Nếu không có thêm điều kiện, dung lượng kênh này là vô hạn.
của 𝑋,𝑁 có thể xác định qui luật phân bố của 𝑋 để thông lượng kênh đạt
. Nếu phương sai nhiễu bằng 0, máy thu nhận ký hiệu phát một cách hoàn cực đại.
hảo. Vì 𝑋 lấy bất kỳ giá trị thực, nên kênh truyền một số thực tùy ý mà không có lỗi. 90
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 91
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 90 91
2.3- Lượng tin và phép đo của kênh
2.3- Lượng tin và phép đo của kênh 2.3.3. Kênh Gaussian 2.3.3. Kênh Gaussian
• Khái niệm kênh Gaussian:
• Khái niệm kênh Gaussian:
- Giả thiết: chỉ gửi 1 bit qua kênh trong một lần sử dụng kênh.
- Nếu phương sai nhiễu khác không và không có ràng buộc đối với đầu vào:
. Do hạn chế về công suất, cách tốt nhất là gửi: + 𝑃 hoặc − 𝑃.
chọn một tập con vô hạn các đầu vào cách xa nhau một cách tùy ý, để phân biệt
. Máy thu: dựa vào 𝑌 để quyết định mức nào trong hai mức đã được gửi.
được chúng ở đầu ra với xác suất lỗi nhỏ tùy ý. Một sơ đồ như vậy có dung
. Nếu hai mức đều bằng nhau, quy tắc giải mã tối ưu: quyết định + 𝑃 nếu
lượng vô hạn là rất tốt.
𝑌 > 0 và quyết định − 𝑃 nếu 𝑌 < 0. . Xác suất lỗi:
- Hạn chế phổ biến đối với đầu vào: năng lượng hoặc công suất.
𝑃 = Pr 𝑌 < 0 𝑋 = + 𝑃 + Pr 𝑌 > 0 𝑋 = − 𝑃 = 1 − Φ( 𝑃 ⁄ 𝑁) (2.150)
- Giả thiết: Hạn chế về công suất trung bình.
trong đó: 𝛷(𝑥) là hàm chuẩn tích lũy
. Đối với bất kỳ từ mã (𝑥 , 𝑥 , . . . , 𝑥 ) truyền qua kênh, yêu cầu: 𝛷 𝑥 = ∫ 𝑒 𝑑𝑡 (2.151)
Sử dụng sơ đồ này, đã chuyển đổi kênh Gaussian thành một kênh đối xứng ∑ 𝑥 ≤ 𝑃 (2.149)
nhị phân rời rạc với xác suất chéo 𝑃 .
. Phân tích một cách đơn giản dưới mức tối ưu để sử dụng kênh này. 92
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 93
Học viện Công nghệ Bưu chính Viễn thông 2/17/2025 92 93 20