Tài liệu ôn tập môn Lý thuyết truyền tin | Học viện Công Nghệ Bưu Chính Viễn Thông

lOMoAR cPSD| 58736390
1. Thông tin........................................................................................................1
2. Tin:.................................................................................................................1
3. Tín hiệu:.........................................................................................................1
4. Sơ đồ khối của một hệ thống truyền tin cơ bản.............................................1
Những chỉ tiêu chất lượng cơ bản của một hệ truyền tin...................................2
Chương 1: Cơ sở lý thuyết thông tin thống kê........................................................3
Số lần tối thiểu để lượng thông tin đem lại chính xác.......................................8
Trường hợp 1: phát cả tập tin nhưng thu nhận chỉ nhận được 1......................10
Trường hợp 2: phát i tin và nhận được j tin.....................................................11
- Lượng thông tin tương hỗ..............................................................................14
- Mô hình kênh truyền tin................................................................................14
- Các tham số đặc trưng của nguồn rời rạc......................................................14
+ Tốc độ phát tin của nguồn rời rạc ...............................................................14
+ Độ dư của nguồn rời rạc...............................................................................15
- Các tham số đặc trưng của kênh rời rạc........................................................16
- Một số định nghĩa về kênh rời rạc.................................................................17
- Lượng thông tin trung bình truyển qua kênh rời rạc trong một đơn vị thời gian................18
- Thông lượng của kênh rời rạc.......................................................................19
- Truyền tin từ nguồn liên tục................................................................................24
- Entropie của nguồn liên tục...........................................................................24
- Các tham số đặc trưng cho nguồn liên tục....................................................26
- Kênh gausse...................................................................................................26
- Lượng thông tin truyển qua kênh liên tục.....................................................27
Cơ sở lý thuyết truyền tin ôn tập
1. Thông tin : là những tính chất xác định của vật chất được con người hay hệ thống thụ cảm
cảm nhận được từ thế giới bên ngoài hay từ những quá trình xảy ra bên trong nó.
Thông tin là sự đa dạng, được thể hiện bằng nhiều cách khác nhau: Cấu trúc, thuộc tính, trình độ tổ chức
2. Tin: là dạng vật chất cụ thể biểu diễn thông tin Có hai dạng là: tin liên tục và tin rời rạc
3. Tín hiệu: là các đại lượng vật lý biến thiên phản ánh tin cần truyền đi.
Các tham số biến thiên của quá trình vật lý mới là tín hiệu.
4. Sơ đồ khối của một hệ thống truyền tin cơ bản: Nguồn tin:
- Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn rời rạc.
- Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là nguồn liên tục. lOMoAR cPSD| 58736390
Nguồn tin có hai tính chất là tính thống kê và tính hàm ý
Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau. Tính
hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào đó sau một dãy tin khác nhau nào đó là khác nhau.
Máy phát: Là thiết bị biến đổi tập tin thành tập tín hiệu tương ứng.
Đường truyển tin: là môi trường vật lý, trong đó tín hiệu truyền từ máy phát sang máy
thu. Trên đường truyền có những tác động làm mất năng lượng, làm mất thông tin của tín hiệu.
Máy thu: là thiết bị lập lại thông tin từ tín hiệu nhận được.
Nhận tin: Có ba chức năng:
- Ghi giữ tin (ví dụ bộ nhớ của máy tính, băng ghi âm, ghi hình,…)
- Biểu thị tin: Làm cho các giác quan của con người hoặc các bộ cảm biến của máy thụ cảm
được để xử lý tin (ví dụ băng âm thanh, chữ số, hình ảnh,…)
- Xử lý tin: Biến đổi tin để đưa nó về dạng dễ sử dụng. Chức năng này có thể thực hiện bằng
con người hoặc bằng máy.
Những chỉ tiêu chất lượng cơ bản của một hệ truyền tin:
- Tính hữu hiệu: Tốc độ truyền tin cao. Truyền được đồng thời nhiều tin khác nhau. Chi phí
cho một bit thông tin thấp.
- Độ tin cậy cao: Đảm bảo độ chính xác của việc thu nhận tin cao, xác suất thu sai (BER)
thấp. Hai chỉ tiêu trên mâu thuẫn nhau. Giải quyết mâu thuẫn trên là nhiệm vụ của lý thuyết thông tin.
- An toàn: Bí mật (không thể khai thác thông tin trái phép, chỉ có người nhận mới hiểu thông
tin), toàn vẹn ( Thông tin không bị bóp méo (cắt xén, xuyên tạc, sửa đổi). Thông tin được
nhận phải nguyên vẹn cả về nội dung và hình thức. ), xác thực: Gắn trách nhiệm của bên
gửi – bên nhận với bản tin (chữ ký số), Khả dụng: Mọi tài nguyên và dịch vụ của hệ thống
phải được cung cấp đầy đủ cho người dùng hợp pháp.
Chương 1: Cơ sở lý thuyết thông tin thống kê
Khái niệm “thông tin” gắn liền với “độ bất định” lOMoAR cPSD| 58736390
“Lượng thông tin là mức độ bị thủ tiêu của độ bất định ⇔ Lượng thông tin = độ chênh
của độ bất định trước và sau khi nhận tin = độ bất định trước khi nhận tin - độ bất định sau
khi nhận tin (độ bất định tiên nghiệm - độ bất định hậu nghiệm)”
Thông tin là mức độ thủ tiêu của độ bất định.
Độ bất định gắn liền với bản chất ngẫu nhiên của phép chọn, biến cố.
Thông tin là một hàm của xác suất. lOMoAR cPSD| 58736390
Từ các tiên đề trên, ta có được công thức tính thông tin về tin là:
(có chứng minh trong giáo trình)
1 nat = 1.433 bit , nếu cơ số của log là e = 2,718.. , đơn vị đo số tự nhiên
1 Harley = 3,322 bit, nếu cơ số của log là 10, đơn vị thập phân
1 bit, nếu cơ số của log là 2, đơn vị nhị phân
Một bit chính là độ bất định chứa trong một phần tử (biến cố của tập xác suất chọn (xuất
hiện) bằng 1/2. Người ta thường sử dụng đơn vị [bit] do trong kỹ thuật tính và kỹ thuật liên
lạc thường dùng các mã nhị phân. lOMoAR cPSD| 58736390 Xét mô hình kênh
Lượng thông tin tương hỗ: I(ab) I(ab)=I(a)−I(a/b) Theo định nghĩa:
a là tin gửi đi, b là tin thu được có những dấu hiệu để hiểu biết về a
- Tính chất thống kê của nguồn rời rạc: ở trên, ta chỉ mới xét đến các biến cố hay tin
trong một tập các biến cố hay tập tin xung khắc, đồng xác suất. Tuy nhiên, trên thực tế, phổ
biến các biến cố xung khắc, không đồng xác suất, tức là xác suất xuất hiện các biến cố khác
nhau trong tập là khác nhau, ta gọi sự khác nhau là tính thống kê của nguồn rời rạc.
- Ngoài việc quan tâm đến xác suất xuất hiện của từng tin riêng, ta còn quan tâm đến
thông tin trung bình của mỗi tin thuộc nguồn. lOMoAR cPSD| 58736390
ai là dấu của các nguồn A, tức là các con chữ, các ký hiệu,…
p(ai ) là xác suất xuất hiện của con dấu ai
H1 (A) còn gọi là entropie một chiều của nguồn rời rạc.
H1 (A) có đơn vị là hart lOMoAR cPSD| 58736390
- Entropie của nguồn nhị phân:
H (A)= f (p) : chỉ phụ thuộc vào đặc tính thống kê của các tin.
Max(H(A)) = 1/2 : vì tập tin chỉ có 2 phần tử nên độ bất định của phép chọn sẽ lớn nhất
khi hai dấu có xác suất xuất hiện như nhau. lOMoAR cPSD| 58736390 Min(H(A) = 0 khi
+ p = 0, thì 1-p = 1, tức là biến cố a2 là một biến cố chắc chắn => phép chọn này không
có độ bất định => lượng thông tin trung bình triệt.
+ p = 1, giải thích tương tự như trên .
Số lần tối thiểu để lượng thông tin đem lại chính xác.
- Entropie của trường sự kiện đồng thời lOMoAR cPSD| 58736390
Tương tự cho trường hợp có nhiều nguồn rời rạc độc lập:
- Entropie có điều kiện
+ Entropie có điều kiện của một trường tin khi biết trường tin khác : lOMoAR cPSD| 58736390
Trường hợp 1: phát cả tập tin nhưng thu nhận chỉ nhận được 1 lOMoAR cPSD| 58736390
Trường hợp 2: phát i tin và nhận được j tin lOMoAR cPSD| 58736390
- Một số thuộc tính
của entropie có điều lOMoAR cPSD| 58736390
kiện Tất cả ở trên đều là entropie một chiều.
- Entropie hai chiều và nhiều chiều của nguồn rời rạc lOMoAR cPSD| 58736390
- Lượng thông tin tương hỗ lOMoAR cPSD| 58736390
- Mô hình kênh truyền tin
- Các tham số đặc trưng của nguồn rời rạc
+ Tốc độ phát tin của nguồn rời rạc lOMoAR cPSD| 58736390
+ Độ dư của nguồn rời rạc lOMoAR cPSD| 58736390
- Các tham số đặc trưng của kênh rời rạc
- Một số định nghĩa về kênh rời rạc lOMoAR cPSD| 58736390 lOMoAR cPSD| 58736390
- Lượng thông tin trung bình truyển qua kênh rời rạc trong một đơn vij thời gian
- Thông lượng của kênh rời rạc lOMoAR cPSD| 58736390