Giáo trình Lý thuyết truyền thông_PGS.TS. Nguyễn Bình| Môn Nhập môn kỹ thuật truyền thông| Trường Đại học Bách Khoa Hà Nội

1.1. VỊ TRÍ, VAI TRÒ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN”
1.1.1. Vị trí, vai trò của Lý thuyết thông tin
Do sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động, một ngành khoa học mới ra đời và phát triển nhanh chóng, đó là: “Lý thuyết thông tin”. Là một ngành khoa học nhưng nó không ngừng phát triển và thâm nhập vào nhiều ngành khoa học khác như: Toán; triết; hoá; Xibecnetic; lý thuyết hệ thống; lý thuyết và kỹ thuật thông tin liên lạc… và đã đạt được nhiều kết quả. Tuy vậy nó cũng còn nhiều vấn đề cần được giải quyết hoặc giải quyết hoàn chỉnh hơn.

Thông tin:
227 trang 3 tháng trước

Bình luận

Vui lòng đăng nhập hoặc đăng ký để gửi bình luận.

Giáo trình Lý thuyết truyền thông_PGS.TS. Nguyễn Bình| Môn Nhập môn kỹ thuật truyền thông| Trường Đại học Bách Khoa Hà Nội

1.1. VỊ TRÍ, VAI TRÒ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN”
1.1.1. Vị trí, vai trò của Lý thuyết thông tin
Do sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động, một ngành khoa học mới ra đời và phát triển nhanh chóng, đó là: “Lý thuyết thông tin”. Là một ngành khoa học nhưng nó không ngừng phát triển và thâm nhập vào nhiều ngành khoa học khác như: Toán; triết; hoá; Xibecnetic; lý thuyết hệ thống; lý thuyết và kỹ thuật thông tin liên lạc… và đã đạt được nhiều kết quả. Tuy vậy nó cũng còn nhiều vấn đề cần được giải quyết hoặc giải quyết hoàn chỉnh hơn.

61 31 lượt tải Tải xuống
HC VIN CÔNG NGH BƯU CHÍNH VIN THÔNG
- - - - - - - - - - - - - -
BÀI GING
LÝ THUYT THÔNG TIN
Biên son : PGS.Ts. NGUYN BÌNH
Lưu hành ni b
HÀ NI - 2006
LI NÓI ĐẦU
Giáo trình Lý thuyết thông tin là mt giáo trình cơ s dùng cho sinh viên chuyên ngành
Đin t – Vin thông và Công ngh thông tin ca Hc vin Công ngh Bưu chính Vin thông.
Đây cũng là mt tài liu tham kho hu ích cho các sinh viên chuyên ngành Đin - Đin t.
Giáo trình này nhm chun b tt kiến thc cơ s cho sinh viên để hc tp và nm vng các
môn k thut chuyên ngành, đảm bo cho sinh viên có th đánh giá các ch tiêu cht lượng cơ b
n
ca mt h thng truyn tin mt cách có căn c khoa hc.
Giáo trình gm 6 chương, ngoài chương I có tính cht gii thiu chung, các chương còn li
được chia thành 4 phn chính:
Phn I: Lý thuyết tín hiu ngu nhiên và nhiu (Chương 2)
Phn II: Lý thuyết thông tin và mã hóa (Chương 3 và Chương 4)
Phn III: Lý thuyết thu ti ưu (Chương 5)
Phn IV: Mt mã (Chương 6)
Phn I: (Chương II). Nhm cung cp các công c
toán hc cn thiết cho các chương sau.
Phn II: Gm hai chương vi các ni dungch yếu sau:
- Chương III: Cung cp nhng khái nim cơ bn ca lý thuyết thông tin Shannon trong h
truyn tin ri rc và m rng cho các h truyn tin liên tc.
- Chương IV: Trình bày hai hướng kiến thiết cho hai định lý mã hóa ca Shannon. Vì
khuôn kh có hn ca giáo trình, các hướng này (mã ngun và mã kênh) ch được trình bày mc
độ các hiu biế
t cơ bn. Để có th tìm hiu sâu hơn nhng kết qu mi và các ng dng c th
sinh viên cn phi xem thêm trong các tài liu tham kho.
Phn III: (Chương V) Trình bày vn đề xây dng các h thng thu ti ưu đảm bo tc độ
truyn tin và độ chính xác đạt được các giá tr gii hn. Theo truyn thng bao trùm lên toàn b
giáo trình là vic trình bày hai bài toán phân tích và tng hp. Các ví d trong giáo trình đượ
c
chn lc k nhm giúp cho sinh viên hiu được các khái nim mt cách sâu sc hơn. Các hình v,
bng biu nhm mô t mt cách trc quan nht các khái nim và hot động ca sơ đồ khi chc
năng ca các thiết b c th
Phn VI: (Chương VI) Trình bày cơ s lý thuyết các h mt bao gm các h mt khóa bí
mt và các h mt khóa công khai. Do khuôn kh
có hn ca giáo trình, mt s vn đề quan trng
còn chưa được đề cp ti (như trao đổi và phân phi khóa, xác thc, đảm bo tính toàn vn …)
Sau mi chương đều có các câu hi và bài tp nhm giúp cho sinh viên cng c được các k
năng tính toán cn thiết và hiu sâu sc hơn các khái nim và các thut toán quan trng.
Phn ph lc cung cp mt s kiến thc b xung c
n thiết đối vi mt s khái nim quan
trng v mt s s liu cn thiết giúp cho sinh viên làm được các bài tp được ra các chương.
Giáo trình được viết da trên cơ s đề cương môn hc L thuyết thông tin do B Giáo dc
Đào to và được đúc kết sau nhiu năm ging dy và nghiên cu ca tác gi. Rt mong được
s đóng góp ca bn đọc.
Các đóng góp ý kiến xin gi v
KHOA K THUT ĐIN T 1 - HC VIN CÔNG NGH BƯU CHÍNH VIN THÔNG
KM 10. ĐƯỜNG NGUYN TRÃI - TH
XÃ HÀ ĐÔNG
Email: KhoaDT1@hn.vnn.vn
Hoc nguyenbinh1999@yahoo.com
Cui cùng tôi xin chân thành cm ơn GS. Hunh Hu Tu đã cho tôi nhiu ý kiến quý báu
trong các trao đổi hc thut có liên quan ti mt s ni dung quan trng trong giáo trình này.
NGƯỜI BIÊN SON
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
3
CHƯƠNG I: NHNG VN ĐỀ CHUNG VÀ NHNG KHÁI
NIM CƠ BN
1.1. V TRÍ, VAI TRÒ VÀ SƠ LƯỢC LCH S PHÁT TRIN CA “LÝ THUYT
THÔNG TIN”
1.1.1. V trí, vai trò ca Lý thuyết thông tin
Do s phát trin mnh m ca k thut tính toán và các h t động, mt ngành khoa hc
mi ra đời và phát trin nhanh chóng, đó là: “Lý thuyết thông tin”. Là mt ngành khoa hc nhưng
nó không ngng phát trin và thâm nhp vào nhiu ngành khoa hc khác như: Toán; triết; hoá;
Xibecnetic; lý thuyết h thng; lý thuyết và k thut thông tin liên lc… và đã đạt được nhiu kết
qu. Tuy vy nó cũng còn nhiu vn đề cn được gii quy
ết hoc gii quyết hoàn chnh hơn.
Giáo trình “ Lý thuyết thông tin” này (còn được gi là “Cơ s lý thuyết truyn tin”) ch
mt b phn ca lý thuyết thông tin chung – Nó là phn áp dng ca “Lý thuyết thông tin” vào k
thut thông tin liên lc.
Trong các quan h ca Lý thuyết thông tin chung vi các ngành khoa hc khác nhau, ta phi
đặc bit k đến mi quan h ca nó vi ngành Xibecnetic.
Mi quan h gia các hot động khoa hc ca con người và các qu
ng tính ca vt cht
được mô t trên hình (1.1).
- Năng lượng hc: Là mt ngành khoa hc chuyên nghiên cu các vn đề liên quan ti các
khái nim thuc v năng lượng. Mc đích ca năng lượng hc là làm gim s nng nhc ca lao
động chân tay và nâng cao hiu sut lao động chân tay. Nhim v trung tâm ca nó là to, truyn,
th, biến đổi, tích lu và x lý năng lượng.
Qung tính ca vt cht
Khi lượng
Công ngh hc
Thông tin
Năng lượng
Năng lượng hc
Điu khin hc
(Xibecnetic)
Các lĩnh vc hot động khoa hc ca
con người
Hình 1.1. Quan h gia hot động khoa hc và qung tính ca vt cht
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
4
- Xibecnetic: Bao gm các ngành khoa hc chuyên nghiên cu các vn đề có liên quan đến
khái nim thông tin và tín hiu. Mc đích ca Xibecnetic là làm gim s nng nhc ca trí óc và
nâng cao hiu sut lao động trí óc. Ngoài nhng vn đề được xét trong Xibecnetic như đối tượng,
mc đích, ti ưu hoá vic điu khin, liên h ngược. Vic nghiên cu các quá trình thông tin (như
chn, truyn, x lý, lưu tr và hin th thông tin) cũ
ng là mt vn đề trung tâm ca Xibecnetic.
Chính vì vy, lý thuyết và k thut thông tin chiếm vai trò rt quan trng trong Xibecnetic.
- Công ngh hc: gm các ngành khoa hc to, biến đổi và x lý các vt liu mi. Công
ngh hc phc v đắc lc cho Xibecnetic và năng lượng hc. Không có công ngh hc hin đại
thì không th có các ngành khoa hc k thut hin đại.
1.1.2. Sơ lược lch s phát trin
Người đặt viên gch đầu tiên để xây dng lý thuyết thông tin là Hartley R.V.L. Năm 1928,
ông đã đưa ra s đo lượng thông tin là mt khái nim trung tâm ca lý thuyết thông tin. Da vào
khái nim này, ta có th so sánh định lượng các h truyn tin vi nhau.
Năm 1933, V.A Kachenhicov chng minh mt lot nhng lun đim quan trng ca lý
thuyết thông tin trong bài báo “V kh năng thông qua ca không trung và dây dn trong h thng
liên lc đin”.
Năm 1935, D.V Ageev
đưa ra công trình “Lý thuyết tách tuyến tính”, trong đó ông phát
biu nhng nguyên tc cơ bn v lý thuyết tách các tín hiu.
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế chng nhiu’ đánh du
mt bước phát trin rt quan trng ca lý thuyết thông tin.
Trong hai năm 1948 – 1949, Shanon C.E công b mt lot các công trình vĩ đại, đưa s
phát trin ca lý thuyết thông tin lên mt bước tiến mi chưa tng có. Trong các công trình này,
nh vic đưa vào khái nim lượ
ng thông tin và tính đến cu trúc thng kê ca tin, ông đã chng
minh mt lot định lý v kh năng thông qua ca kênh truyn tin khi có nhiu và các định lý mã
hoá. Nhng công trình này là nn tng vng chc ca lý thuyết thông tin.
Ngày nay, lý thuyết thông tin phát trin theo hai hướng ch yếu sau:
Lý thuyết thông tin toán hc: Xây dng nhng lun đim thun tuý toán hc và nhng cơ
s toán hc cht ch ca lý thuyết thông tin. Cng hiến ch
yếu trong lĩnh vc này thuc v các
nhà bác hc li lc như: N.Wiener, A. Feinstain, C.E Shanon, A.N. Kanmôgorov, A.JA Khintrin.
Lý thuyết thông tin ng dng: (lý thuyết truyn tin)
Chuyên nghiên cu các bài toán thc tế quan trng do k thut liên lc đặt ra có liên quan
đến vn đề chng nhiu và nâng cao độ tin cy ca vic truyn tin. Các bác hc C.E Shanon, S.O
RiCe, D. Midleton, W. Peterson, A.A Khakevich, V. Kachenhicov đã có nhng công trình quý
báu trong lĩnh vc này.
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
5
1.2. NHNG KHÁI NIM CƠ BN - SƠ ĐỒ H TRUYN TIN VÀ NHIM V CA NÓ
1.2.1. Các định nghĩa cơ bn
1.2.1.1. Thông tin
Định nghĩa: Thông tin là nhng tính cht xác định ca vt cht mà con người (hoc h
thng k thut) nhn được t thế gii vt cht bên ngoài hoc t nhng quá trình xy ra trong bn
thân nó.
Vi định nghĩa này, mi ngành khoa hc là khám phá ra các cu trúc thông qua vic thu
thp, chế biến, x lý thông tin. đây “thông tin” là mt danh t ch không phi là động t để ch
m
t hành vi tác động gia hai đối tượng (người, máy) liên lc vi nhau.
Theo quan đim triết hc, thông tin là mt qung tính ca thế gii vt cht (tương t như
năng lượng, khi lượng). Thông tin không được to ra mà ch được s dng bi h th cm.
Thông tin tn ti mt cách khách quan, không ph thuc vào h th cm. Trong nghĩa khái quát
nht, thông tin là s đa d
ng. S đa dng đây có th hiu theo nhiu nghĩa khác nhau: Tính ngu
nhiên, trình độ t chc,…
1.2.1.2. Tin
Tin là dng vt cht c th để biu din hoc th hin thông tin. Có hai dng: tin ri rc và
tin liên tc.
Ví d: Tm nh, bn nhc, bng s liu, bài nói,… là các tin.
1.2.1.3. Tín hiu
Tín hiu là các đại lượng vt lý biến thiên, phn ánh tin cn truyn.
Chú ý: Không ph
i bn thân quá trình vt lý là tín hiu, mà s biến đổi các tham s riêng
ca quá trình vt lý mi là tín hiu.
Các đặc trưng vt lý có th là dòng đin, đin áp, ánh sáng, âm thanh, trường đin t
1.2.2. Sơ đồ khi ca h thng truyn tin s (Hình 1.2)
Mã bo
mt
kênh
Dn
kênh
Tri
ph
Gii mã
mt
Gii mã
kênh
Chia
kênh
Ép
ph
Dòng bit
H thng đồng b
( Synchronization )
Dng sóng s
K
Ê
N
H
Nhiu
T các ngun khác
Ti các b nhn tin khác
Định khuôn
dng
Định khuôn
dng
Đầu vào s
Đầu ra s
Điu chế
Máy
Phát
(
XMT
)
Gii điu
chế
MáY
THU
(
RCV
)
Khi cơ bn
Khi tu chn
Hình 1.2. Sơ đồ khi h thng truyn tin s.
m
1
S
1
(t)
Nhn
tin
m
1
Ngun
tin
ngun
Gii mã
ngun
Đa truy
nhp
Đa truy
nhp
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
7
1.2.2.1. Ngun tin
Nơi sn ra tin:
- Nếu tp tin là hu hn thì ngun sinh ra nó được gi là ngun ri rc.
- Nếu tp tin là vô hn thì ngun sinh ra nó được gi là ngun liên tc.
Ngun tin có hai tính cht: Tính thng kê và tính hàm ý.
Vi ngun ri rc, tính thng kê biu hin ch xác sut xut hin các tin là khác nhau.
Tính hàm ý biu hin ch xác sut xut hin ca mt tin nào đ
ó sau mt dãy tin khác nhau
nào đó là khác nhau.
Ví d: P(y/ta)
P(y/ba)
1.2.2.2. Máy phát
Là thiết b biến đổi tp tin thành tp tín hiu tương ng. Phép biến đổi này phi là đơn tr
hai chiu (thì bên thu mi có th “sao li” được đúng tin gi đi). Trong trường hp tng quát, máy
phát gm hai khi chính.
- Thiết b mã hoá: Làm ng mi tin vi mt t hp các ký hiu đã chn nhm tăng mt độ,
tăng kh năng chng nhiu, t
ăng tc độ truyn tin.
- Khi điu chế: Là thiết b biến tp tin (đã hoc không mã hoá) thành các tín hiu để bc x
vào không gian dưới dng sóng đin t cao tn. V nguyên tc, bt k mt máy phát nào cũng có
khi này.
1.2.2.3. Đường truyn tin
Là môi trường vt lý, trong đó tín hiu truyn đi t máy phát sang máy thu. Trên đường
truyn có nhng tác động làm mt năng lượng, làm m
t thông tin ca tín hiu.
1.2.2.4. Máy thu
Là thiết b lp li (sao li) thông tin t tín hiu nhn được. Máy thu thc hin phép biến đổi
ngược li vi phép biến đổi máy phát: Biến tp tín hiu thu được thành tp tin tương ng.
Máy thu gm hai khi:
- Gii điu chế: Biến đổi tín hiu nhn được thành tin đã mã hoá.
- Gii mã: Biến đổi các tin đã mã hoá thành các tin tương ng ban đầu (các tin c
a ngun
gi đi).
1.2.2.5. Nhn tin
Có ba chc năng:
- Ghi gi tin (ví d b nh ca máy tính, băng ghi âm, ghi hình,…)
- Biu th tin: Làm cho các giác quan ca con người hoc các b cm biến ca máy th cm
được để x lý tin (ví d băng âm thanh, ch s, hình nh,…)
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
8
- X lý tin: Biến đổi tin để đưa nó v dng d s dng. Chc năng này có th thc hin
bng con người hoc bng máy.
1.2.2.6. Kênh truyn tin
Là tp hp các thiết b k thut phc v cho vic truyn tin t ngun đến nơi nhn tin.
1.2.2.7. Nhiu
Là mi yếu t ngu nhiên có nh hưởng xu đến vic thu tin. Nhng y
ếu t này tác động
xu đến tin truyn đi t bên phát đến bên thu. Để cho gn, ta gp các yếu t tác động đó vào mt
ô trên hình 1.2.
Hình 1.2 là sơ đồ khi tng quát nht ca mt h truyn tin s. Nó có th là: h thng vô
tuyến đin thoi, vô tuyến đin báo, rađa, vô tuyến truyn hình, h thng thông tin truyn s liu,
vô tuyến điu khi
n t xa.
1.2.2.8. Các phương pháp biến đổi thông tin s trong các khi chc năng ca h thng
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
9
Định dng/ Mã ngun
Mã hoá ký t
Ly mu
Lượng t hoá
Điu chế mã xung
(PCM)
- PCM vi phân
- Điu chế Delta (DM)
- DM có tc độ biến đổi
liên tc (CVSD)
- Mã hoá d đoán tuyến
tính (LPC)
- Các phương pháp nén:
Mã Huffman, mã s hc,
thut toán Ziv_Lempel
Điu chế
Kết hp
- PSK: Manip pha
- FSK: Manip tn s
- ASK: Manip biên độ
- Hn hp
- OQPSK: Manip pha
tương đối 4 mc
- MSK
Không kết hp
- PSK vi phân
- FSK
- ASK
- Hn hp
Mã kênh
Dng sóng
Tín hiu M_tr
Tín hiu trc giao
Tín hiu song trc
giao
Các dãy có cu trúc
- Mã khi
- Mã liên tc
Dn kênh/ Đa truy cp
- Phân chia tn s:
FDM/ FDMA
- Phân chia thi gian:
TDM/ TDMA
- Phân chia mã:
CDM/ CDMA
- Phân chia không gian:
SDMA
- Phân chia cc tính:
PDMA
- OFDM
Tri ph
Dãy trc tiếp (DS)
Nhy tn (FH)
Nhy thi gian (TH)
Các phương pháp hn
hp
Đồng b
- Đồng b sóng mang
- Đồng b du
- Đồng b khung
- Đồng b mng
- Hoán v
- Thay thế
- X lý bit
- Các phương pháp hn hp
- Thut toán RSA
- Thut toán logarit ri rc
- Thut toán McElice
- Thut toán Merkle-Hellman
- Thut toán s dng đường
cong Elliptic
Mã bo mt
Mã hoá theo khi
Mã hoá dòng s liu
Mt mã c đin
Mt mã khoá công khai
Chương 1: Nhng vn đề chung và nhng khái nim cơ bn
10
1.2.3. Nhng ch tiêu cht lượng cơ bn ca mt h truyn tin
1.2.3.1. Tính hu hiu
Th hin trên các mt sau:
- Tc độ truyn tin cao.
- Truyn được đồng thi nhiu tin khác nhau.
- Chi phí cho mt bit thông tin thp.
1.2.3.2. Độ tin cy
Đảm bo độ chính xác ca vic thu nhn tin cao, xác sut thu sai (BER) thp.
Hai ch tiêu trên mâu thun nhau. Gii quyết mâu thun trên là nhim v ca lý thuyết thông
tin.
1.2.3.3. An toàn
- Bí mt:
+ Không th khai thác thông tin trái phép.
+ Ch có người nhn hp l mi hiu được thông tin.
- Xác th
c: Gn trách nhim ca bên gi – bên nhn vi bn tin (ch ký s).
- Toàn vn:
+ Thông tin không b bóp méo (ct xén, xuyên tc, sa đổi).
+ Thông tin được nhn phi nguyên vn c v ni dung và hình thc.
- Kh dng: Mi tài nguyên và dch v ca h thng phi được cung cp đầy đủ cho người
dùng hp pháp.
1.2.3.4. Đảm bo cht lượng dch v (QoS)
Đây là mt ch
tiêu rt quan trng đặc bit là đối vi các dch v thi gian thc, nhy cm
vi độ tr (truyn tiếng nói, hình nh, ….)
Chương 2: Tín hiu và nhiu
11
CHƯƠNG II: TÍN HIU VÀ NHIU
2.1. TÍN HIU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VT LÝ CA CHÚNG
Tín hiu xác định thường được xem là mt hàm xác định ca biến thi gian t (s(t)). Hàm
này có th được mô t bng mt biu thc gii tích hoc được mô t bng đồ th. Mt trong các
đặc trưng vt lý quan trng ca tín hiu là hàm mt độ ph biên độ phc
S( )
ω . Vi tín hiu s(t)
kh tích tuyt đối, ta có cp biến đổi Fourier sau:
jt
jt
S( ) s(t)e dt (2.1)
1
s(t) S( )e d (2.2)
2
−ω
−∞
ω
−∞
ω=
ω
π
Sau đây là mt s đặc trưng vt lý quen thuc ca tín hiu:
- Thi hn ca tín hiu (T): Thi hn ca tín hiu là khong thi gian tn ti ca tín hiu,
trong khong này giá tr ca tín hiu không đồng nht bng 0.
- B rng ph ca tín hiu (F): Đây là min xác định bi tn s khác không cao nht ca tín
hiu.
- Năng lượng ca tín hi
u (E): Năng lượng ca tín hiu có th tính theo min thi gian hay
min tn s.
2
2
1
Es(t)dt S()d[J](2.3)
2
∞∞
−∞ −∞
==ωω
π
∫∫
(Định lý Parseval)
- Công sut ca tín hiu (P):
E
P[W]
T
=
2.2. TÍN HIU VÀ NHIU LÀ CÁC QUÁ TRÌNH NGU NHIÊN
2.2.1. Bn cht ngu nhiên ca tín hiu và nhiu
Như đã xét trên, chúng ta coi tín hiu là biu hin vt lý ca tin (trong thông tin vô tuyến:
dng vt lý cui cùng ca tin là sóng đin t). Quá trình vt lý mang tin din ra theo thi gian, do
đó v mt toán hc thì khi có th được, cách biu din trc tiếp nht cho tín hiu là viết biu thc
ca nó theo thi gian hay v đồ th thi gian ca nó.
Chương 2: Tín hiu và nhiu
12
Trong lý thuyết c đin, dù tín hiu tun hoàn hoc không tun hoàn nhưng ta đều coi là đã
biết trước và biu din nó bng mt hàm tin định ca thi gian. Đó là quan nim xác định v tín
hiu (tín hiu tin định). Tuy vy, quan nim này không phù hp vi thc tế. Tht vy, tín hiu
tin định không th dùng vào vic truyn tin tc được. Vi cách coi tín hiu là bi
u hin vt lý ca
tin, nếu chúng ta hoàn toàn biết trước nó thì v mt thông tin, vic nhn tín hiu đó không có ý
nghĩa gì. Nhưng nếu ta hoàn toàn không biết gì v tín hiu truyn đi, thì ta không th thc hin
nhn tin được. Bi vì khi đó không có cái gì làm căn c để phân bit tín hiu vi nhng cái không
phi nó, đặc bit là vi các nhiu. Như vy, quan nim hp lý nht là phi k đến các đặ
c tính
thng kê ca tín hiu, tc là phi coi tín hiu là mt quá trình ngu nhiên. Chúng ta s gi các tín
hiu xét theo quan đim thng kê này là các tín hiu ngu nhiên.
2.2.2. Định nghĩa và phân loi nhiu
Trong quá trình truyn tin, tín hiu luôn luôn b nhiu yếu t ngu nhiên tác động vào, làm
mt mát mt phn hoc thm chí có th mt toàn b thông tin cha trong nó. Nhng yếu t ngu
nhiên đó rt đa dng, chúng có th là nhng thay đổi ngu nhiên ca các hng s vt lý ca môi
trường truyn qua hoc nhng loi trường đin t cm ng trong công nghip, y hc…vv…
Trong vô tuyến
đin, người ta gi tt c nhng yếu t ngu nhiên y là các can nhiu (hay nhiu).
Tóm li, ta có th coi nhiu là tt c nhng tín hiu vô ích (tt nhiên là đối vi h truyn tin ta xét)
nh hưởng xu đến vic thu tin. Ngun nhiu có th ngoài hoc trong h. Nếu nhiu xác định
thì vic chng nó không có khó khăn gì v mt nguyên tc. Ví d như người ta đã có nh
ng bin
pháp để chng n do dòng xoay chiu gây ra trong các máy khuếch đại âm tn, người ta cũng biết
rõ nhng cách chng s nhiu ln nhau gia các đin đài vô tuyến đin cùng làm vic mà chúng
có ph tín hiu trùm nhau…vv… Các loi nhiu này không đáng ngi.
Chú ý:
Cn phân bit nhiu vi s méo gây ra bi đặc tính tn sđặc tính thi gian ca các thiết
b, kênh truyn… (méo tuyến tính và méo phi tuyế
n). V mt nguyên tc, ta có th khc phc
được chúng bng cách hiu chnh.
Nhiu đáng lo ngi nht vn là các nhiu ngu nhiên. Cho đến nay, vic chng các nhiu
ngu nhiên vn gp nhng khó khăn ln c v mt lý lun ln v mt thc hin k thut. Do đó,
trong giáo trình này ta ch đề cp đến mt dng nào đó (sau này s thy
đây thường xét nht là
nhiu cng, chun) ca nhiu ngu nhiên.
Vic chia thành các loi (dng) nhiu khác nhau có th làm theo các du hiu sau:
1. Theo b rng ph ca nhiu: có nhiu gii rng (ph rng như ph ca ánh sáng trng gi
là tp âm trng), nhiu gii hp (gi là tp âm màu).
2. Theo quy lut biến thiên thi gian ca nhiu: có nhiu ri rc và nhiu liên t
c.
3. Theo phương thc mà nhiu tác động lên tín hiu: có nhiu cng và nhiu nhân.
4. Theo cách bc x ca nhiu: có nhiu th động và nhiu tích cc.
Nhiu th động là các tia phn x t các mc tiêu gi hoc t địa vt tr v đài ta xét khi
các tia sóng ca nó đập vào chúng. Nhiu tích cc (ch động) do mt ngun bc x năng lượng
(các đài hoc các h th
ng lân cn) hoc máy phát nhiu ca đối phương chĩa vào đài hoc h
thng đang xét.
Chương 2: Tín hiu và nhiu
13
5. Theo ngun gc phát sinh: có nhiu công nghip, nhiu khí quyn, nhiu vũ tr…vv…
Trong giáo trình này khi nói v nhiu, ta ch nói theo phương thc tác động ca nhiu lên
tín hiu, tc là ch nói đến nhiu nhân hoc nhiu cng.
V mt toán hc, tác động ca nhiu cng lên tín hiu được biu din bi h thc sau:
u(t) = s(t) + n(t) (2.4)
s(t) tín hiu gi đi
u(t) tín hiu thu được
n(t) nhiu c
ng
Còn nhiu nhân được biu din bi:
u(t) (t).s(t) (2.5)
μ(t): nhiu nhân, là mt quá trình ngu nhiên. Hin tượng gây nên bi nhiu nhân gi là
suy lc (fading).
Tng quát, khi tín hiu chu tác động đồng thi ca c nhiu cng và nhiu nhân thì:
u(t) (t).s(t) n(t) + (2.6)
đây, ta đã coi h s truyn ca kênh bng đơn v và b qua thi gian gi chm tín hiu
ca kênh truyn. Nếu k đến thi gian gi chm
τ
ca kênh truyn thì (2.6) có dng:
u(t) (t).s(t ) n(t) τ + (2.7)
2.3. CÁC ĐẶC TRƯNG THNG KÊ CA TÍN HIU NGU NHIÊN VÀ NHIU
2.3.1. Các đặc trưng thng kê
Theo quan đim thng kê, tín hiu và nhiu được coi là các quá trình ngu nhiên. Đặc trưng
cho các quá trình ngu nhiên chính là các quy lut thng kê (các hàm phân b và mt độ phân b)
và các đặc trưng thng kê (k vng, phương sai, hàm t tương quan, hàm tương quan). Các quy
lut thng kê và các đặc trưng thng kê đã được nghiên cu trong lý thuyết hàm ngu nhiên, vì
vy đây ta s không nhc li.
Trong lp các quá trình ngu nhiên, đặc bit quan trng là các quá trình ngu nhiên sau:
- Quá trình ng
u nhiên dng (theo nghĩa hp và theo nghĩa rng) và quá trình ngu nhiên
chun dng.
- Quá trình ngu nhiên ergodic
Ta minh ho chúng theo lược đồ sau:
Chương 2: Tín hiu và nhiu
14
Hình 2.1
Trong nhng đặc trưng thng kê ca các quá trình ngu nhiên, hàm t tương quan và hàm
tương quan là nhng đặc trưng quan trng nht. Theo định nghĩa, hàm t tương quan s bng:
{
}
[][ ]
x12 1 x1 2 x2
1 x1 2 x2 21212 12
R(t,t) M X(t) m(t).X(t) m(t)
x(t) m (t).x(t ) m (t ).W(x,x,t,t )dxdx
Δ
∞∞
−∞ −∞
⎡⎤
=−
⎣⎦
=−
∫∫
(2.8)
x12
R(t,t)đặc trưng cho s ph thuc thng kê gia hai giá tr hai thi đim thuc cùng
mt th hin ca quá trình ngu nhiên.
(
)
21212
W x ,x ,t ,t là hàm mt độ phân b xác sut hai chiu ca hai giá tr ca quá trình
ngu nhiên hai thi đim
1
t
2
t .
Khi t
1
= t
2
thì (2.8) tr thành:
[]
{
}
2
x12 x x
R (t ,t ) M X(t) m (t) D (t)=−= (2.9)
Như vy, phương sai là trường hp riêng ca hàm t tương quan khi hai thi đim xét trùng
nhau.
Đôi khi để tin tính toán và so sánh, người ta dùng hàm t tương quan chun hoá được định
nghĩa bi công thc:
x12 x12
x12
x11 x22 x1 x2
x12
x1 x2
R(t,t) R(t,t)
(t ,t )
R (t ,t ).R (t ,t ) D (t ).D (t )
R(t,t)
(t ). (t )
τ= =
=
ττ
(2.10)
D dàng thy rng:
x12
(t ,t ) 1τ≤.
QTNN QTNN
dng dng QTNN
rng hp chun
QTNN chun dng
QTNN
QTNN ergodic
Chương 2: Tín hiu và nhiu
15
2.3.2. Khong tương quan
Khong tương quan cũng là mt đặc trưng khá quan trng. Ta thy rng hai giá tr ca mt
quá trình ngu nhiên
ξ
(t) ch tương quan vi nhau khi khong cách
τ
gia hai thi đim xét là
hu hn. Khi
τ→∞, thì coi như hai giá tr y không tương quan vi nhau na. Tuy vy, trong
thc tế, đối vi hu hết các quá trình ngu nhiên ch cn
τ
đủ ln thì s tương quan gia hai giá
tr ca quá trình đã mt. Do đó, đối vi tính toán thc tế người ta định nghĩa khong (thi gian)
tương quan như sau:
Định nghĩa 1:
Khong tương quan
K
τ là khong
thi gian trong đó
()
ξ
τ
τ không nh hơn
0,05. (hình v 2.2). Như vy,
∀τ >
K
τ
thì
xem như hết tương quan.
Nếu cho biu thc gii tích ca
()
ξ
τ
τ
thì
K
τ
được tính như sau:
K
1
()d
2
ξ
−∞
τ= τττ
(2.11)
Ý nghĩa hình hc:
K
τ
là na cnh đáy ca hình ch nht có chiu cao bng đơn v K, có din tích bng din
tích ca min gii hn bi trc hoành và đường biu din
()
ξ
τ
τ .
Trong thc tế, ta thường gp nhng quá trình ngu nhiên ergodic. Ví d: tp âm ca các
máy thu vô tuyến đin,… Đối vi các quá trình ngu nhiên ergodic, ta có th xác định các đặc
trưng thng kê ca chúng bng thc nghim mt cách d dàng.
Ta đã biết rng, nếu X(t) – ergodic và vi T đủ ln thì ta có th viết:
[]
[
]
{
}
[][ ]
xxx
T
xx
0
R ( ) M X(t) m . X(t ) m
1
x(t) m . x(t ) m dt
T
τ= τ
≈−+τ
(2.12)
Trung bình thng kê = trung bình theo thi gian
1 τ
ξ
(τ)
0,05
0 τk τ t
Hình 2.2
Chương 2: Tín hiu và nhiu
16
2.4. CÁC ĐẶC TRƯNG VT LÝ CA TÍN HIU NGU NHIÊN VÀ NHIU. BIN
ĐỔI WIENER – KHINCHIN
2.4.1. Nhng khái nim xây dng lý thuyết ph ca quá trình ngu nhiên - mt độ ph
công sut
Mc trước ta mi ch đưa ra mt s đặc trưng thng kê ca các quá trình ngu nhiên (tín
hiu, nhiu) mà chưa đưa ra các đặc trưng vt lý ca chúng. V mt lý thuyết cũng như thc tế,
các đặc trưng vt lý ca tín hiu ngu nhiên (quá trình ngu nhiên) đóng mt vai trò rt quan trng
nhng chương sau khi nói đến cơ s lý thuyết chng nhiu cũng như xét các bi
n pháp thc tế
và các thiết b chng nhiu ta không th không dùng đến nhng đặc trưng vt lý ca tín hiu ngu
nhiên và nhiu. Khi xét các loi tín hiu xác định trong giáo trình “Lý thuyết mch”, chúng ta đã
làm quen vi các đặc trưng vt lý ca chúng như: năng lượng, công sut, thi hn ca tín hiu,
ph biên độ phc, mt độ ph, b rng ph, … Cơ s để hình thành các đặ
c trưng vt lý này là
chui và tích phân Fourier.
Đối vi các tín hiu ngu nhiên và nhiu, ta không th dùng trc tiếp các biến đổi Fourier
để xây dng các đặc trưng vt lý ca chúng được vì nhng lý do sau:
- Tp các th hin
{
}
i
x (t) , i 1,2,...,=∞ ca quá trình ngu nhiên X(t) cho trên khong T
thường là mt tp vô hn (thm chí nó cũng không phi là mt tp đếm được).
- Nếu tín hiu ngu nhiên là dng cht thì tp vô hn các th hin theo thi gian ca nó
thường s không kh tích tuyt đối. Tc là:
T2
T
T2
lim x(t) dt
→∞
=∞
Để tránh khi nhng khó khăn trên, ta làm như sau:
Ly hàm
T
x(t)
trùng vi mt th hin ca quá trình ngu nhiên trung tâm X(t) (QTNN trung
tâm là QTNN có k vng không) trong đon
TT
,
22
và nó bng không ngoài đon đó:
T
x(t) t T 2
x(t)
0tT2
⎧≤
=
>
(2.13)
T (2.13), ta thy
T
x(t) tho mãn điu kin kh tích tuyt đối nên có th dùng biến đổi
Fourier cho nó được. Ta đã biết rng ph biên độ phc
(
)
T
S
ω
ca
T
x(t) được xác định bi
tích phân thun Fourier sau:
() ()
T2
jt
TT
T2
Sxtedt
−ω
ω=
(2.14)
Theo định lý Parseval, ta có biu thc tính năng lượng ca
T
x(t)
như sau:
Chương 2: Tín hiu và nhiu
17
2
2
T
TT
1
Ex(t)dt S()d
2
∞∞
−∞ −∞
==ωω
π
∫∫
(2.15)
Công sut ca th hin
T
x(t)
s bng:
2
T
2
T
T
T
S()
E1 1
PS()d d
T2T 2 T
∞∞
−∞ −∞
ω
=
ω= ω
ππ
∫∫
(2.16)
Ta thy vế trái ca (2.16) là công sut ca th hin
T
x(t) trong khong thi gian tn ti hu
hn T, còn vế phi là mt tng liên tc ca các đại lượng
2
T
S() Td
ω
ω
⎩⎭
. Rõ ràng là để đảm
bo s bình đẳng v th nguyên gia hai vế ca (2.16) thì lượng
2
T
S()
d
T
ω
ω
phi biu th công
sut trong gii tn vô cùng bé
dω. Như vy,
2
T
S()
T
ω
s biu th công sut ca th hin
T
x(t)
trong mt đơn v tn s [W/Hz] tc là mt độ ph công sut ca th hin
T
x(t). Đến đây ta đặt:
2
T
T
S()
G()
T
ω
=
ω (2.17)
và gi
T
G()ω là mt độ ph công sut ca th hin
T
x(t) trong khong T hu hn.
T
G()ω đặc trưng cho s phân b công sut ca mt th hin
T
x(t) trên thang tn s. Khi cho
T
→∞ ta s tìm được mt độ ph công sut ca mt th hin duy nht
T
x(t) ca quá trình
ngu nhiên:
2
T
xT
TT
S()
G() limG() lim
T
→∞ →∞
ω
ω= ω= (2.18)
x
G()ω cũng có ý nghĩa tương t như
T
G()
ω
.
T (2.18) ta thy rng để xác định mt độ ph công sut ca c quá trình ngu nhiên (tc là
tp các th hin ngu nhiên) thì phi ly trung bình thng kê đại lượng
x
G()ω
, tc là:
Chương 2: Tín hiu và nhiu
18
{}
2
T
x
T
S()
G( ) M G ( ) M lim
T
→∞
ω
ω= ω = (2.19)
(2.19) là công thc xác định mt độ ph công sut ca các quá trình ngu nhiên.
2.4.2. Cp biến đổi Wiener – Khinchin
Để thy được mi quan h gia các đặc trưng thng kê (nói riêng là hàm t tương quan) và các
đặc trưng vt lý (nói riêng là mt độ ph công sut) ta viết li và thc hin biến đổi (2.19) như sau:
{}
12
12
22
TT
TT
*
TT
T
T2 T2
jt jt
T1 1 T2 2
T
T2 T2
T/2 T/2
j(t t)
T1 T2 12
T
T/2 T/2
S() MS()
G( ) M lim lim
TT
1
lim M S ( )S ( ) do (2.14)
T
1
lim M x(t)e dt. x(t)e dt
T
1
lim M x (t ).x (t ) e dt dt
T
••
→∞ →∞
••
→∞
−ω −ω
→∞
−−
−ω
→∞
−−
ωω
ω= = =
⎧⎫
⎪⎪
ω
⎨⎬
⎪⎪
⎩⎭
⎧⎫
⎪⎪
==
⎨⎬
⎪⎪
⎩⎭
=
∫∫
∫∫
Nhưng theo định nghĩa (2.8), ta thy ngay
{
}
T1 T2
Mx(t).x(t) là hàm t tương quan ca
quá trình ngu nhiên trung tâm (có
x
m0
=
) nên ta có th viết:
{
}
T1 T2 T12
Mx(t).x(t) R(t,t)
=
Nếu
21
ttτ= +
thì đối vi nhng quá trình dng, ta có:
{
}
T1 T2 T
Mx(t).x(t) R()
=
τ
Ta có th viết li biu thc cho
(
)
G
ω
:
2
2
2
2
T
t
T/2
2
j
T2
T
T
T/2
t
2
T
t
T/2
2
j
T2
TT
T
T/2
t
2
1
G( ) lim R ( )e d dt
T
1
lim R ( )e d . lim dt
T
+
−ωτ
→∞
−−
+
−ωτ
→∞ →∞
−−
⎧⎫
⎪⎪
ω= τ τ
⎨⎬
⎪⎪
⎩⎭
τ
∫∫
∫∫
Chương 2: Tín hiu và nhiu
19
j
G( ) R( )e d
ωτ
−∞
ω
τ
(2.20)
Tt nhiên đây phi gi s tích phân vế phi ca (2.20) tn ti. Điu này luôn luôn đúng
nếu hàm t tương quan
R( )τ kh tích tuyt đối, tc là:
R( )d
−∞
ττ<
(2.20) là mt độ ph công sut ca quá trình ngu nhiên dng. Nó biu din mt cách trung
bình (thng kê) s phân b công sut ca quá trình ngu nhiên theo tn s ca các thành phn dao
động điu hoà nguyên t (tc là nhng thành phn dao động điu hoà vô cùng bé).
Như vy, t (2.20) ta có th kết lun rng ph công sut
G( )
ω
ca quá trình ngu nhiên
dng là biến đổi thun Fourier ca hàm t tương quan
R( )
τ
. Hin nhiên rng khi đã tn ti biến
đổi thun Fourier thì cũng tn ti biến đổi ngược Fourier sau:
j
1
R( ) G( )e d
2
ωτ
−∞
τ= ω ω
π
(2.21)
Cp công thc (2.20) và (2.21) gi là cp biến đổi Wiener – Khinchin, đó là s m rng cp
biến đổi Fourier sang các tín hiu ngu nhiên dng (ít nht là theo nghĩa rng).
Rõ ràng t định nghĩa (2.17) ca mt độ ph công sut, ta thy hàm
G( )ω là hàm chn
ca đối s
ω. Do đó sau khi dùng công thc Euler (
j
ecosjsin
±ωτ
=
ωτ ± ωτ ) để biến đổi
(2.20) và (2.21), ta được:
0
0
G( ) 2 R( )cos d
1
R( ) G( )cos d
ω= τ ωττ
τ= ω ωτω
π
(2.22)
Chú ý 1: T mt độ ph công sut ca tín hiu ngu nhiên, không th sao li bt c mt th
hin nào (là hàm ca thi gian t) ca nó, vì G( )
ω
không cha nhng thông tin (nhng hiu biết)
v pha ca các thành phn ph riêng l. Đối vi tín hiu xác định thì t mt độ ph hoàn toàn có
th sao li chính tín hiu đó nh tích phân ngược Fourier. Đó là ch khác nhau v bn cht gia
biến đổi Fourier và biến đổi Wiener – Khinchin.
Chú ý 2: Nếu phi xét đồng thi hai quá trình ngu nhiên thì người ta cũng đưa ra khái
nim mt độ ph chéo. Mt
độ ph chéo và hàm tương quan chéo ca hai quá trình ngu nhiên có
liên h dng cũng tho mãn cp biến đổi Wiener – Khinchi.
2.4.3. B rng ph công sut
| 1/227

Preview text:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG - - - - - - - - - - - - - - BÀI GIẢNG LÝ THUYẾT THÔNG TIN
Biên soạn : PGS.Ts. NGUYỄN BÌNH Lưu hành nội bộ HÀ NỘI - 2006 LỜI NÓI ĐẦU
Giáo trình Lý thuyết thông tin là một giáo trình cơ sở dùng cho sinh viên chuyên ngành
Điện tử – Viễn thông và Công nghệ thông tin của Học viện Công nghệ Bưu chính Viễn thông.
Đây cũng là một tài liệu tham khảo hữu ích cho các sinh viên chuyên ngành Điện - Điện tử.
Giáo trình này nhằm chuẩn bị tốt kiến thức cơ sở cho sinh viên để học tập và nắm vững các
môn kỹ thuật chuyên ngành, đảm bảo cho sinh viên có thể đánh giá các chỉ tiêu chất lượng cơ bản
của một hệ thống truyền tin một cách có căn cứ khoa học.
Giáo trình gồm 6 chương, ngoài chương I có tính chất giới thiệu chung, các chương còn lại
được chia thành 4 phần chính:
Phần I: Lý thuyết tín hiệu ngẫu nhiên và nhiễu (Chương 2)
Phần II: Lý thuyết thông tin và mã hóa (Chương 3 và Chương 4)
Phần III: Lý thuyết thu tối ưu (Chương 5)
Phần IV: Mật mã (Chương 6)
Phần I: (Chương II). Nhằm cung cấp các công cụ toán học cần thiết cho các chương sau.
Phần II: Gồm hai chương với các nội dungchủ yếu sau:
- Chương III: Cung cấp những khái niệm cơ bản của lý thuyết thông tin Shannon trong hệ
truyền tin rời rạc và mở rộng cho các hệ truyền tin liên tục.
- Chương IV: Trình bày hai hướng kiến thiết cho hai định lý mã hóa của Shannon. Vì
khuôn khổ có hạn của giáo trình, các hướng này (mã nguồn và mã kênh) chỉ được trình bày ở mức
độ các hiểu biết cơ bản. Để có thể tìm hiểu sâu hơn những kết quả mới và các ứng dụng cụ thể
sinh viên cần phải xem thêm trong các tài liệu tham khảo.
Phần III: (Chương V) Trình bày vấn đề xây dựng các hệ thống thu tối ưu đảm bảo tốc độ
truyền tin và độ chính xác đạt được các giá trị giới hạn. Theo truyền thống bao trùm lên toàn bộ
giáo trình là việc trình bày hai bài toán phân tích và tổng hợp. Các ví dụ trong giáo trình được
chọn lọc kỹ nhằm giúp cho sinh viên hiểu được các khái niệm một cách sâu sắc hơn. Các hình vẽ,
bảng biểu nhằm mô tả một cách trực quan nhất các khái niệm và hoạt động của sơ đồ khối chức
năng của các thiết bị cụ thể
Phần VI: (Chương VI) Trình bày cơ sở lý thuyết các hệ mật bao gồm các hệ mật khóa bí
mật và các hệ mật khóa công khai. Do khuôn khổ có hạn của giáo trình, một số vấn đề quan trọng
còn chưa được đề cập tới (như trao đổi và phân phối khóa, xác thực, đảm bảo tính toàn vẹn …)
Sau mỗi chương đều có các câu hỏi và bài tập nhằm giúp cho sinh viên củng cố được các kỹ
năng tính toán cần thiết và hiểu sâu sắc hơn các khái niệm và các thuật toán quan trọng.
Phần phụ lục cung cấp một số kiến thức bổ xung cần thiết đối với một số khái niệm quan
trọng về một số số liệu cần thiết giúp cho sinh viên làm được các bài tập được ra ở các chương.
Giáo trình được viết dựa trên cơ sở đề cương môn học Lỹ thuyết thông tin do Bộ Giáo dục
và Đào tạo và được đúc kết sau nhiều năm giảng dạy và nghiên cứu của tác giả. Rất mong được
sự đóng góp của bạn đọc.
Các đóng góp ý kiến xin gửi về
KHOA KỸ THUẬT ĐIỆN TỬ 1 - HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
KM 10. ĐƯỜNG NGUYỄN TRÃI - THỊ XÃ HÀ ĐÔNG Email: KhoaDT1@hn.vnn.vn
Hoặc nguyenbinh1999@yahoo.com
Cuối cùng tôi xin chân thành cảm ơn GS. Huỳnh Hữu Tuệ đã cho tôi nhiều ý kiến quý báu
trong các trao đổi học thuật có liên quan tới một số nội dung quan trọng trong giáo trình này. NGƯỜI BIÊN SOẠN
Chương 1: Những vấn đề chung và những khái niệm cơ bản
CHƯƠNG I: NHỮNG VẤN ĐỀ CHUNG VÀ NHỮNG KHÁI NIỆM CƠ BẢN
1.1. VỊ TRÍ, VAI TRÒ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN”
1.1.1. Vị trí, vai trò của Lý thuyết thông tin
Do sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động, một ngành khoa học
mới ra đời và phát triển nhanh chóng, đó là: “Lý thuyết thông tin”. Là một ngành khoa học nhưng
nó không ngừng phát triển và thâm nhập vào nhiều ngành khoa học khác như: Toán; triết; hoá;
Xibecnetic; lý thuyết hệ thống; lý thuyết và kỹ thuật thông tin liên lạc… và đã đạt được nhiều kết
quả. Tuy vậy nó cũng còn nhiều vấn đề cần được giải quyết hoặc giải quyết hoàn chỉnh hơn.
Giáo trình “ Lý thuyết thông tin” này (còn được gọi là “Cơ sở lý thuyết truyền tin”) chỉ là
một bộ phận của lý thuyết thông tin chung – Nó là phần áp dụng của “Lý thuyết thông tin” vào kỹ
thuật thông tin liên lạc.
Trong các quan hệ của Lý thuyết thông tin chung với các ngành khoa học khác nhau, ta phải
đặc biệt kể đến mối quan hệ của nó với ngành Xibecnetic.
Mối quan hệ giữa các hoạt động khoa học của con người và các quảng tính của vật chất
được mô tả trên hình (1.1).
Quảng tính của vật chất Thông tin Năng lượng Khối lượng Điều khiển học Năng lượng học Công nghệ học (Xibecnetic)
Các lĩnh vực hoạt động khoa học của con người
Hình 1.1. Quan hệ giữa hoạt động khoa học và quảng tính của vật chất
- Năng lượng học: Là một ngành khoa học chuyên nghiên cứu các vấn đề liên quan tới các
khái niệm thuộc về năng lượng. Mục đích của năng lượng học là làm giảm sự nặng nhọc của lao
động chân tay và nâng cao hiệu suất lao động chân tay. Nhiệm vụ trung tâm của nó là tạo, truyền,
thụ, biến đổi, tích luỹ và xử lý năng lượng. 3
Chương 1: Những vấn đề chung và những khái niệm cơ bản
- Xibecnetic: Bao gồm các ngành khoa học chuyên nghiên cứu các vấn đề có liên quan đến
khái niệm thông tin và tín hiệu. Mục đích của Xibecnetic là làm giảm sự nặng nhọc của trí óc và
nâng cao hiệu suất lao động trí óc. Ngoài những vấn đề được xét trong Xibecnetic như đối tượng,
mục đích, tối ưu hoá việc điều khiển, liên hệ ngược. Việc nghiên cứu các quá trình thông tin (như
chọn, truyền, xử lý, lưu trữ và hiển thị thông tin) cũng là một vấn đề trung tâm của Xibecnetic.
Chính vì vậy, lý thuyết và kỹ thuật thông tin chiếm vai trò rất quan trọng trong Xibecnetic.
- Công nghệ học: gồm các ngành khoa học tạo, biến đổi và xử lý các vật liệu mới. Công
nghệ học phục vụ đắc lực cho Xibecnetic và năng lượng học. Không có công nghệ học hiện đại
thì không thể có các ngành khoa học kỹ thuật hiện đại.
1.1.2. Sơ lược lịch sử phát triển
Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là Hartley R.V.L. Năm 1928,
ông đã đưa ra số đo lượng thông tin là một khái niệm trung tâm của lý thuyết thông tin. Dựa vào
khái niệm này, ta có thể so sánh định lượng các hệ truyền tin với nhau.
Năm 1933, V.A Kachenhicov chứng minh một loạt những luận điểm quan trọng của lý
thuyết thông tin trong bài báo “Về khả năng thông qua của không trung và dây dẫn trong hệ thống liên lạc điện”.
Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến tính”, trong đó ông phát
biểu những nguyên tắc cơ bản về lý thuyết tách các tín hiệu.
Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế chống nhiễu’ đánh dấu
một bước phát triển rất quan trọng của lý thuyết thông tin.
Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các công trình vĩ đại, đưa sự
phát triển của lý thuyết thông tin lên một bước tiến mới chưa từng có. Trong các công trình này,
nhờ việc đưa vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin, ông đã chứng
minh một loạt định lý về khả năng thông qua của kênh truyền tin khi có nhiễu và các định lý mã
hoá. Những công trình này là nền tảng vững chắc của lý thuyết thông tin.
Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau:
Lý thuyết thông tin toán học: Xây dựng những luận điểm thuần tuý toán học và những cơ
sở toán học chặt chẽ của lý thuyết thông tin. Cống hiến chủ yếu trong lĩnh vực này thuộc về các
nhà bác học lỗi lạc như: N.Wiener, A. Feinstain, C.E Shanon, A.N. Kanmôgorov, A.JA Khintrin.
Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin)
Chuyên nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt ra có liên quan
đến vấn đề chống nhiễu và nâng cao độ tin cậy của việc truyền tin. Các bác học C.E Shanon, S.O
RiCe, D. Midleton, W. Peterson, A.A Khakevich, V. Kachenhicov đã có những công trình quý báu trong lĩnh vực này. 4
Chương 1: Những vấn đề chung và những khái niệm cơ bản
1.2. NHỮNG KHÁI NIỆM CƠ BẢN - SƠ ĐỒ HỆ TRUYỀN TIN VÀ NHIỆM VỤ CỦA NÓ
1.2.1. Các định nghĩa cơ bản 1.2.1.1. Thông tin
Định nghĩa: Thông tin là những tính chất xác định của vật chất mà con người (hoặc hệ
thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra trong bản thân nó.
Với định nghĩa này, mọi ngành khoa học là khám phá ra các cấu trúc thông qua việc thu
thập, chế biến, xử lý thông tin. ở đây “thông tin” là một danh từ chứ không phải là động từ để chỉ
một hành vi tác động giữa hai đối tượng (người, máy) liên lạc với nhau.
Theo quan điểm triết học, thông tin là một quảng tính của thế giới vật chất (tương tự như
năng lượng, khối lượng). Thông tin không được tạo ra mà chỉ được sử dụng bởi hệ thụ cảm.
Thông tin tồn tại một cách khách quan, không phụ thuộc vào hệ thụ cảm. Trong nghĩa khái quát
nhất, thông tin là sự đa dạng. Sự đa dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu
nhiên, trình độ tổ chức,… 1.2.1.2. Tin
Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin. Có hai dạng: tin rời rạc và tin liên tục.
Ví dụ: Tấm ảnh, bản nhạc, bảng số liệu, bài nói,… là các tin. 1.2.1.3. Tín hiệu
Tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền.
Chú ý: Không phải bản thân quá trình vật lý là tín hiệu, mà sự biến đổi các tham số riêng
của quá trình vật lý mới là tín hiệu.
Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm thanh, trường điện từ
1.2.2. Sơ đồ khối của hệ thống truyền tin số (Hình 1.2) 5 Từ các nguồn khác Đầu vào số Nguồn tin Định khuôn Mã Mã bảo Mã Dồn Trải Đa truy Máy m1 S1(t) dạng nguồn mật kênh kênh Điều chế phổ nhập Phát (XMT) K Hệ thống đồng bộ ễu Dòng bit Ê ( Synchronization ) Dạng sóng số N Nhi H Đầu ra số Nhận Giải mã tin Định khuôn Chia Giải điều Ép Đa truy MáY nguồn Giải mã Giải mã dạng kênh chế phổ nhập THU m1 mật kênh (RCV)
Tới các bộ nhận tin khác Khối cơ bản Khối tuỳ chọn
Hình 1.2. Sơ đồ khối hệ thống truyền tin số.
Chương 1: Những vấn đề chung và những khái niệm cơ bản 1.2.2.1. Nguồn tin Nơi sản ra tin:
- Nếu tập tin là hữu hạn thì nguồn sinh ra nó được gọi là nguồn rời rạc.
- Nếu tập tin là vô hạn thì nguồn sinh ra nó được gọi là nguồn liên tục.
Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý.
Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau.
Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào đó sau một dãy tin khác nhau nào đó là khác nhau.
Ví dụ: P(y/ta) ≠ P(y/ba) 1.2.2.2. Máy phát
Là thiết bị biến đổi tập tin thành tập tín hiệu tương ứng. Phép biến đổi này phải là đơn trị
hai chiều (thì bên thu mới có thể “sao lại” được đúng tin gửi đi). Trong trường hợp tổng quát, máy
phát gồm hai khối chính.
- Thiết bị mã hoá: Làm ứng mỗi tin với một tổ hợp các ký hiệu đã chọn nhằm tăng mật độ,
tăng khả năng chống nhiễu, tăng tốc độ truyền tin.
- Khối điều chế: Là thiết bị biến tập tin (đã hoặc không mã hoá) thành các tín hiệu để bức xạ
vào không gian dưới dạng sóng điện từ cao tần. Về nguyên tắc, bất kỳ một máy phát nào cũng có khối này.
1.2.2.3. Đường truyền tin
Là môi trường vật lý, trong đó tín hiệu truyền đi từ máy phát sang máy thu. Trên đường
truyền có những tác động làm mất năng lượng, làm mất thông tin của tín hiệu. 1.2.2.4. Máy thu
Là thiết bị lập lại (sao lại) thông tin từ tín hiệu nhận được. Máy thu thực hiện phép biến đổi
ngược lại với phép biến đổi ở máy phát: Biến tập tín hiệu thu được thành tập tin tương ứng. Máy thu gồm hai khối:
- Giải điều chế: Biến đổi tín hiệu nhận được thành tin đã mã hoá.
- Giải mã: Biến đổi các tin đã mã hoá thành các tin tương ứng ban đầu (các tin của nguồn gửi đi). 1.2.2.5. Nhận tin Có ba chức năng:
- Ghi giữ tin (ví dụ bộ nhớ của máy tính, băng ghi âm, ghi hình,…)
- Biểu thị tin: Làm cho các giác quan của con người hoặc các bộ cảm biến của máy thụ cảm
được để xử lý tin (ví dụ băng âm thanh, chữ số, hình ảnh,…) 7
Chương 1: Những vấn đề chung và những khái niệm cơ bản
- Xử lý tin: Biến đổi tin để đưa nó về dạng dễ sử dụng. Chức năng này có thể thực hiện
bằng con người hoặc bằng máy.
1.2.2.6. Kênh truyền tin
Là tập hợp các thiết bị kỹ thuật phục vụ cho việc truyền tin từ nguồn đến nơi nhận tin. 1.2.2.7. Nhiễu
Là mọi yếu tố ngẫu nhiên có ảnh hưởng xấu đến việc thu tin. Những yếu tố này tác động
xấu đến tin truyền đi từ bên phát đến bên thu. Để cho gọn, ta gộp các yếu tố tác động đó vào một ô trên hình 1.2.
Hình 1.2 là sơ đồ khối tổng quát nhất của một hệ truyền tin số. Nó có thể là: hệ thống vô
tuyến điện thoại, vô tuyến điện báo, rađa, vô tuyến truyền hình, hệ thống thông tin truyền số liệu,
vô tuyến điều khiển từ xa.
1.2.2.8. Các phương pháp biến đổi thông tin số trong các khối chức năng của hệ thống 8
Chương 1: Những vấn đề chung và những khái niệm cơ bản Định dạng/ Mã nguồn Điều chế Mã hoá ký tự - PCM vi phân Kết hợp Không kết hợp Lấy mẫu - Điều chế Delta (DM) Lượng tử hoá
- DM có tốc độ biến đổi - PSK: Manip pha - PSK vi phân Điều chế mã xung liên tục (CVSD) - FSK: Manip tần số - FSK (PCM)
- Mã hoá dự đoán tuyến - ASK: Manip biên độ - ASK tính (LPC) - Hỗn hợp - Hỗn hợp - Các phương pháp nén: - OQPSK: Manip pha Mã Huffman, mã số học, tương đối 4 mức thuật toán Ziv_Lempel - MSK Mã kênh Dồn kênh/ Đa truy cập Trải phổ Dạng sóng Các dãy có cấu trúc - Phân chia tần số: Dãy trực tiếp (DS) FDM/ FDMA Nhảy tần (FH) Tín hiệu M_trị - Mã khối - Phân chia thời gian: Nhảy thời gian (TH) Tín hiệu trực giao - Mã liên tục TDM/ TDMA Các phương pháp hỗn Tín hiệu song trực - Phân chia mã: hợp giao CDM/ CDMA - Phân chia không gian: SDMA - Phân chia cực tính: PDMA - OFDM - Hoán vị Mã bảo mật - Thay thế - Xử lý bit
- Các phương pháp hỗn hợp Mã hoá theo khối Mật mã cổ điển Mã hoá dòng số liệu Mật mã khoá công khai - Thuật toán RSA
- Thuật toán logarit rời rạc Đồng bộ - Thuật toán McElice
- Thuật toán Merkle-Hellman
- Thuật toán sử dụng đường cong Elliptic - Đồng bộ sóng mang - Đồng bộ dấu - Đồng bộ khung - Đồng bộ mạng 9
Chương 1: Những vấn đề chung và những khái niệm cơ bản
1.2.3. Những chỉ tiêu chất lượng cơ bản của một hệ truyền tin
1.2.3.1. Tính hữu hiệu
Thể hiện trên các mặt sau:
- Tốc độ truyền tin cao.
- Truyền được đồng thời nhiều tin khác nhau.
- Chi phí cho một bit thông tin thấp.
1.2.3.2. Độ tin cậy
Đảm bảo độ chính xác của việc thu nhận tin cao, xác suất thu sai (BER) thấp.
Hai chỉ tiêu trên mâu thuẫn nhau. Giải quyết mâu thuẫn trên là nhiệm vụ của lý thuyết thông tin. 1.2.3.3. An toàn - Bí mật:
+ Không thể khai thác thông tin trái phép.
+ Chỉ có người nhận hợp lệ mới hiểu được thông tin.
- Xác thực: Gắn trách nhiệm của bên gửi – bên nhận với bản tin (chữ ký số). - Toàn vẹn:
+ Thông tin không bị bóp méo (cắt xén, xuyên tạc, sửa đổi).
+ Thông tin được nhận phải nguyên vẹn cả về nội dung và hình thức.
- Khả dụng: Mọi tài nguyên và dịch vụ của hệ thống phải được cung cấp đầy đủ cho người dùng hợp pháp.
1.2.3.4. Đảm bảo chất lượng dịch vụ (QoS)
Đây là một chỉ tiêu rất quan trọng đặc biệt là đối với các dịch vụ thời gian thực, nhậy cảm
với độ trễ (truyền tiếng nói, hình ảnh, ….) 10
Chương 2: Tín hiệu và nhiễu
CHƯƠNG II: TÍN HIỆU VÀ NHIỄU
2.1. TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỦA CHÚNG
Tín hiệu xác định thường được xem là một hàm xác định của biến thời gian t (s(t)). Hàm
này có thể được mô tả bằng một biểu thức giải tích hoặc được mô tả bằng đồ thị. Một trong các •
đặc trưng vật lý quan trọng của tín hiệu là hàm mật độ phổ biên độ phức S( ) ω . Với tín hiệu s(t)
khả tích tuyệt đối, ta có cặp biến đổi Fourier sau: ∞ • − jωt S( ) ω = s(t)e dt (2.1) ∫ −∞ 1 ∞ • jωt s(t) = S( ) ω e dω (2.2) ∫ 2π −∞
Sau đây là một số đặc trưng vật lý quen thuộc của tín hiệu:
- Thời hạn của tín hiệu (T): Thời hạn của tín hiệu là khoảng thời gian tồn tại của tín hiệu,
trong khoảng này giá trị của tín hiệu không đồng nhất bằng 0.
- Bề rộng phổ của tín hiệu (F): Đây là miền xác định bởi tần số khác không cao nhất của tín hiệu.
- Năng lượng của tín hiệu (E): Năng lượng của tín hiệu có thể tính theo miền thời gian hay miền tần số. ∞ ∞ 2 • 2 1 E = s (t)dt = S( ) ω dω [J] (2.3) ∫ ∫ 2π −∞ −∞ (Định lý Parseval)
- Công suất của tín hiệu (P): E P = [W] T
2.2. TÍN HIỆU VÀ NHIỄU LÀ CÁC QUÁ TRÌNH NGẪU NHIÊN
2.2.1. Bản chất ngẫu nhiên của tín hiệu và nhiễu
Như đã xét ở trên, chúng ta coi tín hiệu là biểu hiện vật lý của tin (trong thông tin vô tuyến:
dạng vật lý cuối cùng của tin là sóng điện từ). Quá trình vật lý mang tin diễn ra theo thời gian, do
đó về mặt toán học thì khi có thể được, cách biểu diễn trực tiếp nhất cho tín hiệu là viết biểu thức
của nó theo thời gian hay vẽ đồ thị thời gian của nó. 11
Chương 2: Tín hiệu và nhiễu
Trong lý thuyết cổ điển, dù tín hiệu tuần hoàn hoặc không tuần hoàn nhưng ta đều coi là đã
biết trước và biểu diễn nó bằng một hàm tiền định của thời gian. Đó là quan niệm xác định về tín
hiệu (tín hiệu tiền định). Tuy vậy, quan niệm này không phù hợp với thực tế. Thật vậy, tín hiệu
tiền định không thể dùng vào việc truyền tin tức được. Với cách coi tín hiệu là biểu hiện vật lý của
tin, nếu chúng ta hoàn toàn biết trước nó thì về mặt thông tin, việc nhận tín hiệu đó không có ý
nghĩa gì. Nhưng nếu ta hoàn toàn không biết gì về tín hiệu truyền đi, thì ta không thể thực hiện
nhận tin được. Bởi vì khi đó không có cái gì làm căn cứ để phân biệt tín hiệu với những cái không
phải nó, đặc biệt là với các nhiễu. Như vậy, quan niệm hợp lý nhất là phải kể đến các đặc tính
thống kê của tín hiệu, tức là phải coi tín hiệu là một quá trình ngẫu nhiên. Chúng ta sẽ gọi các tín
hiệu xét theo quan điểm thống kê này là các tín hiệu ngẫu nhiên.
2.2.2. Định nghĩa và phân loại nhiễu
Trong quá trình truyền tin, tín hiệu luôn luôn bị nhiều yếu tố ngẫu nhiên tác động vào, làm
mất mát một phần hoặc thậm chí có thể mất toàn bộ thông tin chứa trong nó. Những yếu tố ngẫu
nhiên đó rất đa dạng, chúng có thể là những thay đổi ngẫu nhiên của các hằng số vật lý của môi
trường truyền qua hoặc những loại trường điện từ cảm ứng trong công nghiệp, y học…vv…
Trong vô tuyến điện, người ta gọi tất cả những yếu tố ngẫu nhiên ấy là các can nhiễu (hay nhiễu).
Tóm lại, ta có thể coi nhiễu là tất cả những tín hiệu vô ích (tất nhiên là đối với hệ truyền tin ta xét)
có ảnh hưởng xấu đến việc thu tin. Nguồn nhiễu có thể ở ngoài hoặc trong hệ. Nếu nhiễu xác định
thì việc chống nó không có khó khăn gì về mặt nguyên tắc. Ví dụ như người ta đã có những biện
pháp để chống ồn do dòng xoay chiều gây ra trong các máy khuếch đại âm tần, người ta cũng biết
rõ những cách chống sự nhiễu lẫn nhau giữa các điện đài vô tuyến điện cùng làm việc mà chúng
có phổ tín hiệu trùm nhau…vv… Các loại nhiễu này không đáng ngại. Chú ý:
Cần phân biệt nhiễu với sự méo gây ra bởi đặc tính tần số và đặc tính thời gian của các thiết
bị, kênh truyền… (méo tuyến tính và méo phi tuyến). Về mặt nguyên tắc, ta có thể khắc phục
được chúng bằng cách hiệu chỉnh.
Nhiễu đáng lo ngại nhất vẫn là các nhiễu ngẫu nhiên. Cho đến nay, việc chống các nhiễu
ngẫu nhiên vẫn gặp những khó khăn lớn cả về mặt lý luận lẫn về mặt thực hiện kỹ thuật. Do đó,
trong giáo trình này ta chỉ đề cập đến một dạng nào đó (sau này sẽ thấy ở đây thường xét nhất là
nhiễu cộng, chuẩn) của nhiễu ngẫu nhiên.
Việc chia thành các loại (dạng) nhiễu khác nhau có thể làm theo các dấu hiệu sau:
1. Theo bề rộng phổ của nhiễu: có nhiễu giải rộng (phổ rộng như phổ của ánh sáng trắng gọi
là tạp âm trắng), nhiễu giải hẹp (gọi là tạp âm màu).
2. Theo quy luật biến thiên thời gian của nhiễu: có nhiễu rời rạc và nhiễu liên tục.
3. Theo phương thức mà nhiễu tác động lên tín hiệu: có nhiễu cộng và nhiễu nhân.
4. Theo cách bức xạ của nhiễu: có nhiễu thụ động và nhiễu tích cực.
Nhiễu thụ động là các tia phản xạ từ các mục tiêu giả hoặc từ địa vật trở về đài ta xét khi
các tia sóng của nó đập vào chúng. Nhiễu tích cực (chủ động) do một nguồn bức xạ năng lượng
(các đài hoặc các hệ thống lân cận) hoặc máy phát nhiễu của đối phương chĩa vào đài hoặc hệ thống đang xét. 12
Chương 2: Tín hiệu và nhiễu
5. Theo nguồn gốc phát sinh: có nhiễu công nghiệp, nhiễu khí quyển, nhiễu vũ trụ…vv…
Trong giáo trình này khi nói về nhiễu, ta chỉ nói theo phương thức tác động của nhiễu lên
tín hiệu, tức là chỉ nói đến nhiễu nhân hoặc nhiễu cộng.
Về mặt toán học, tác động của nhiễu cộng lên tín hiệu được biểu diễn bởi hệ thức sau: u(t) = s(t) + n(t) (2.4) s(t) là tín hiệu gửi đi u(t) là tín hiệu thu được n(t) là nhiễu cộng
Còn nhiễu nhân được biểu diễn bởi: u(t) = μ(t).s(t) (2.5)
μ(t): nhiễu nhân, là một quá trình ngẫu nhiên. Hiện tượng gây nên bởi nhiễu nhân gọi là suy lạc (fading).
Tổng quát, khi tín hiệu chịu tác động đồng thời của cả nhiễu cộng và nhiễu nhân thì: u(t) = μ(t).s(t) + n(t) (2.6)
Ở đây, ta đã coi hệ số truyền của kênh bằng đơn vị và bỏ qua thời gian giữ chậm tín hiệu
của kênh truyền. Nếu kể đến thời gian giữ chậm τ của kênh truyền thì (2.6) có dạng:
u(t) = μ(t).s(t − τ) + n(t) (2.7)
2.3. CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU
2.3.1. Các đặc trưng thống kê
Theo quan điểm thống kê, tín hiệu và nhiễu được coi là các quá trình ngẫu nhiên. Đặc trưng
cho các quá trình ngẫu nhiên chính là các quy luật thống kê (các hàm phân bố và mật độ phân bố)
và các đặc trưng thống kê (kỳ vọng, phương sai, hàm tự tương quan, hàm tương quan). Các quy
luật thống kê và các đặc trưng thống kê đã được nghiên cứu trong lý thuyết hàm ngẫu nhiên, vì
vậy ở đây ta sẽ không nhắc lại.
Trong lớp các quá trình ngẫu nhiên, đặc biệt quan trọng là các quá trình ngẫu nhiên sau:
- Quá trình ngẫu nhiên dừng (theo nghĩa hẹp và theo nghĩa rộng) và quá trình ngẫu nhiên chuẩn dừng.
- Quá trình ngẫu nhiên ergodic
Ta minh hoạ chúng theo lược đồ sau: 13
Chương 2: Tín hiệu và nhiễu QTNN QTNN dừng dừng QTNN rộng hẹp chuẩn QTNN chuẩn dừng QTNN QTNN ergodic Hình 2.1
Trong những đặc trưng thống kê của các quá trình ngẫu nhiên, hàm tự tương quan và hàm
tương quan là những đặc trưng quan trọng nhất. Theo định nghĩa, hàm tự tương quan sẽ bằng: Δ R = ⎡ − ⎤ ⎡ − ⎤ x ( 1
t ,t2) M{ X( 1t) mx( 1t) . X(t2) mx(t2) ⎣ ⎦ ⎣ }⎦ ∞ ∞ (2.8)
= ∫ ∫ [x( 1t) − mx( 1t)][.x(t2) − mx(t2)]. 2 W ( 1 x , x2, 1t,t2)d 1 x dx2 −∞ −∞
Rx( 1t,t2)đặc trưng cho sự phụ thuộc thống kê giữa hai giá trị ở hai thời điểm thuộc cùng
một thể hiện của quá trình ngẫu nhiên. 2 W ( 1
x , x2, 1t,t2 ) là hàm mật độ phân bố xác suất hai chiều của hai giá trị của quá trình
ngẫu nhiên ở hai thời điểm 1 t và t2 .
Khi t = t thì (2.8) trở thành: 1 2 2 Rx( 1t,t2) = M [ { X(t) − mx(t)] }= Dx(t) (2.9)
Như vậy, phương sai là trường hợp riêng của hàm tự tương quan khi hai thời điểm xét trùng nhau.
Đôi khi để tiện tính toán và so sánh, người ta dùng hàm tự tương quan chuẩn hoá được định nghĩa bởi công thức: Δ Rx(t1,t2) Rx(t1,t2) τx(t1,t2) = = R (t ,t ).R (t , t ) D (t ).D (t ) x 1 1 x 2 2 x 1 x 2 (2.10) Rx(t1,t2) = τx 1(t).τx(t2)
Dễ dàng thấy rằng: τx (t1,t2) ≤ 1 . 14
Chương 2: Tín hiệu và nhiễu
2.3.2. Khoảng tương quan
Khoảng tương quan cũng là một đặc trưng khá quan trọng. Ta thấy rằng hai giá trị của một
quá trình ngẫu nhiên ξ (t) chỉ tương quan với nhau khi khoảng cách τ giữa hai thời điểm xét là
hữu hạn. Khi τ → ∞ , thì coi như hai giá trị ấy không tương quan với nhau nữa. Tuy vậy, trong
thực tế, đối với hầu hết các quá trình ngẫu nhiên chỉ cần τ đủ lớn thì sự tương quan giữa hai giá
trị của quá trình đã mất. Do đó, đối với tính toán thực tế người ta định nghĩa khoảng (thời gian) tương quan như sau: Định nghĩa 1: 1 τξ (τ)
Khoảng tương quan τK là khoảng thời gian trong đó τ ( ) ξ τ không nhỏ hơn
0,05. (hình vẽ 2.2). Như vậy, ∀τ > τK thì xem như hết tương quan.
Nếu cho biểu thức giải tích của τ ( ) ξ τ
thì τK được tính như sau: 0,05 1 ∞ τK = τ (τ) dτ ∫ (2.11) 0 τk τ t 2 ξ −∞ Hình 2.2 Ý nghĩa hình học:
τK là nửa cạnh đáy của hình chữ nhật có chiều cao bằng đơn vị K, có diện tích bằng diện
tích của miền giới hạn bởi trục hoành và đường biểu diễn τ ( ) ξ τ .
Trong thực tế, ta thường gặp những quá trình ngẫu nhiên ergodic. Ví dụ: tạp âm của các
máy thu vô tuyến điện,… Đối với các quá trình ngẫu nhiên ergodic, ta có thể xác định các đặc
trưng thống kê của chúng bằng thực nghiệm một cách dễ dàng.
Ta đã biết rằng, nếu X(t) – ergodic và với T đủ lớn thì ta có thể viết: Rx(τ) = M [
{ X(t)−mx] [.X(t− )τ−mx]} T 1 (2.12)
≈ ∫[x(t)−mx] [.x(t+τ)−mx]dt T 0
Trung bình thống kê = trung bình theo thời gian 15
Chương 2: Tín hiệu và nhiễu
2.4. CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU. BIẾN
ĐỔI WIENER – KHINCHIN

2.4.1. Những khái niệm xây dựng lý thuyết phổ của quá trình ngẫu nhiên - mật độ phổ công suất
Mục trước ta mới chỉ đưa ra một số đặc trưng thống kê của các quá trình ngẫu nhiên (tín
hiệu, nhiễu) mà chưa đưa ra các đặc trưng vật lý của chúng. Về mặt lý thuyết cũng như thực tế,
các đặc trưng vật lý của tín hiệu ngẫu nhiên (quá trình ngẫu nhiên) đóng một vai trò rất quan trọng
ở những chương sau khi nói đến cơ sở lý thuyết chống nhiễu cũng như xét các biện pháp thực tế
và các thiết bị chống nhiễu ta không thể không dùng đến những đặc trưng vật lý của tín hiệu ngẫu
nhiên và nhiễu. Khi xét các loại tín hiệu xác định trong giáo trình “Lý thuyết mạch”, chúng ta đã
làm quen với các đặc trưng vật lý của chúng như: năng lượng, công suất, thời hạn của tín hiệu,
phổ biên độ phức, mật độ phổ, bề rộng phổ, … Cơ sở để hình thành các đặc trưng vật lý này là
chuỗi và tích phân Fourier.
Đối với các tín hiệu ngẫu nhiên và nhiễu, ta không thể dùng trực tiếp các biến đổi Fourier
để xây dựng các đặc trưng vật lý của chúng được vì những lý do sau:
- Tập các thể hiện {xi(t }
) , i =1,2,...,∞ của quá trình ngẫu nhiên X(t) cho trên khoảng T
thường là một tập vô hạn (thậm chí nó cũng không phải là một tập đếm được).
- Nếu tín hiệu ngẫu nhiên là dừng chặt thì tập vô hạn các thể hiện theo thời gian của nó
thường sẽ không khả tích tuyệt đối. Tức là: T 2 lim x(t) dt = ∞ ∫ T →∞ −T 2
Để tránh khỏi những khó khăn trên, ta làm như sau:
Lấy hàm xT(t) trùng với một thể hiện của quá trình ngẫu nhiên trung tâm X(t) (QTNN trung ⎡ T T ⎤
tâm là QTNN có kỳ vọng không) ở trong đoạn − , ⎢
và nó bằng không ở ngoài đoạn đó: 2 2 ⎥ ⎣ ⎦ ⎧x(t) t ≤ T 2 ⎪ xT(t) = ⎨ (2.13) ⎪0 t > T 2 ⎩
Từ (2.13), ta thấy xT (t) thoả mãn điều kiện khả tích tuyệt đối nên có thể dùng biến đổi
Fourier cho nó được. Ta đã biết rằng phổ biên độ phức ω T
S ( ) của xT(t) được xác định bởi
tích phân thuận Fourier sau: T 2 S (ω) = x ∫ (t) −jωt T T e dt (2.14) −T 2
Theo định lý Parseval, ta có biểu thức tính năng lượng của xT(t) như sau: 16
Chương 2: Tín hiệu và nhiễu ∞ ∞ 2 1 • 2 ET = x ∫ T (t)dt = T S ( ) ω dω ∫ (2.15) 2π −∞ −∞
Công suất của thể hiện xT(t) sẽ bằng: 2 • ∞ 2 ∞ T S ( ) ω E 1 • 1 T T P = = T S ( ) ω dω = dω ∫ ∫ (2.16) T 2 T π 2π T −∞ −∞
Ta thấy vế trái của (2.16) là công suất của thể hiện xT(t) trong khoảng thời gian tồn tại hữu 2 ⎧ • ⎫ ⎪ ⎪
hạn T, còn vế phải là một tổng liên tục của các đại lượng ⎨ T S ( ) ω
T⎬dω. Rõ ràng là để đảm ⎪ ⎪ ⎩ ⎭ 2 • T S ( ) ω
bảo sự bình đẳng về thứ nguyên giữa hai vế của (2.16) thì lượng dω phải biểu thị công T 2 • T S ( ) ω
suất trong giải tần vô cùng bé dω . Như vậy,
sẽ biểu thị công suất của thể hiện x (t) T T
trong một đơn vị tần số [W/Hz] tức là mật độ phổ công suất của thể hiện xT(t). Đến đây ta đặt: 2 • T S ( ) ω = GT( ) ω (2.17) T và gọi GT( )
ω là mật độ phổ công suất của thể hiện xT(t) trong khoảng T hữu hạn. GT( )
ω đặc trưng cho sự phân bố công suất của một thể hiện xT(t) trên thang tần số. Khi cho
T → ∞ ta sẽ tìm được mật độ phổ công suất của một thể hiện duy nhất xT(t) của quá trình ngẫu nhiên: 2 • T S ( ) ω Gx( ) ω = lim GT( ) ω = lim (2.18) T→∞ T→∞ T Gx( )
ω cũng có ý nghĩa tương tự như GT( ) ω .
Từ (2.18) ta thấy rằng để xác định mật độ phổ công suất của cả quá trình ngẫu nhiên (tức là
tập các thể hiện ngẫu nhiên) thì phải lấy trung bình thống kê đại lượng Gx ( ) ω , tức là: 17
Chương 2: Tín hiệu và nhiễu 2 • T S ( ) ω G( ) ω = M{Gx(ω } ) = M lim (2.19) T→∞ T
(2.19) là công thức xác định mật độ phổ công suất của các quá trình ngẫu nhiên.
2.4.2. Cặp biến đổi Wiener – Khinchin
Để thấy được mối quan hệ giữa các đặc trưng thống kê (nói riêng là hàm tự tương quan) và các
đặc trưng vật lý (nói riêng là mật độ phổ công suất) ta viết lại và thực hiện biến đổi (2.19) như sau: 2 2 • • T S ( ) ω M T S ( ) ω G( ) ω = M lim = lim = T→∞ T T→∞ T * 1 ⎧• • ⎫ ⎪ ⎪ = lim M ⎨ T S ( ) ω T S ( ) ω ⎬ do (2.14) T→∞ T ⎪⎩ ⎪⎭ ⎧ T 2 T 2 1 ⎫ ⎪ − jωt − jωt ⎪ 1 2 = lim M ⎨ x ∫ T( 1t)e d 1t. x ∫ T(t2)e dt2⎬= T→∞ T ⎪−T 2 −T 2 ⎪ ⎩ ⎭ T / 2 T / 2 1 = lim M ∫ ∫ {x − ω − T ( 1 t ).xT(t2 } j (t t ) 1 2 ) e d 1tdt2 T→∞ T −T/2−T/2
Nhưng theo định nghĩa (2.8), ta thấy ngay M{xT( 1 t ).xT(t2 }
) là hàm tự tương quan của
quá trình ngẫu nhiên trung tâm (có mx = 0 ) nên ta có thể viết: M{xT( 1t).xT(t2 } ) = RT( 1t,t2) Nếu τ = − t2 + 1
t thì đối với những quá trình dừng, ta có: M{xT( 1t).xT(t2 } ) = RT( ) τ
Ta có thể viết lại biểu thức cho G (ω) : T ⎧ + t ⎫ 2 2 T / 2 ⎪ 1 − j ⎪ G( ) ω = lim ⎨ R ωτ ∫ T (τ) e dτ dt ∫ 2⎬ T→∞ T ⎪ T − − t −T / 2 ⎪ 2 ⎩ 2 ⎭ T + t2 2 T / 2 − jωτ 1 = lim R ∫ T (τ) e d . τ lim dt ∫ 2 T→∞ T→∞ T T − − t −T / 2 2 2 18
Chương 2: Tín hiệu và nhiễu ∞ − ωτ j G( ) ω = R(τ)e dτ ∫ (2.20) −∞
Tất nhiên ở đây phải giả sử tích phân ở vế phải của (2.20) tồn tại. Điều này luôn luôn đúng
nếu hàm tự tương quan R( )
τ khả tích tuyệt đối, tức là: ∞ R(τ)dτ < ∞ ∫ −∞
(2.20) là mật độ phổ công suất của quá trình ngẫu nhiên dừng. Nó biểu diễn một cách trung
bình (thống kê) sự phân bố công suất của quá trình ngẫu nhiên theo tần số của các thành phần dao
động điều hoà nguyên tố (tức là những thành phần dao động điều hoà vô cùng bé).
Như vậy, từ (2.20) ta có thể kết luận rằng phổ công suất G( )
ω của quá trình ngẫu nhiên
dừng là biến đổi thuận Fourier của hàm tự tương quan R( )
τ . Hiển nhiên rằng khi đã tồn tại biến
đổi thuận Fourier thì cũng tồn tại biến đổi ngược Fourier sau: 1 ∞ ωτ j R( ) τ = G( ) ω e dω ∫ (2.21) 2π −∞
Cặp công thức (2.20) và (2.21) gọi là cặp biến đổi Wiener – Khinchin, đó là sự mở rộng cặp
biến đổi Fourier sang các tín hiệu ngẫu nhiên dừng (ít nhất là theo nghĩa rộng).
Rõ ràng từ định nghĩa (2.17) của mật độ phổ công suất, ta thấy hàm G( ) ω là hàm chẵn ± ωτ
của đối số ω . Do đó sau khi dùng công thức Euler ( j e
= cosωτ ± jsinωτ ) để biến đổi
(2.20) và (2.21), ta được: ∞ G( ) ω = 2 R(τ)cosωτdτ ∫0 (2.22) 1 ∞ R( ) τ = G( ) ω cosωτdω ∫ π 0
Chú ý 1: Từ mật độ phổ công suất của tín hiệu ngẫu nhiên, không thể sao lại bất cứ một thể
hiện nào (là hàm của thời gian t) của nó, vì G( )
ω không chứa những thông tin (những hiểu biết)
về pha của các thành phần phổ riêng lẻ. Đối với tín hiệu xác định thì từ mật độ phổ hoàn toàn có
thể sao lại chính tín hiệu đó nhờ tích phân ngược Fourier. Đó là chỗ khác nhau về bản chất giữa
biến đổi Fourier và biến đổi Wiener – Khinchin.
Chú ý 2: Nếu phải xét đồng thời hai quá trình ngẫu nhiên thì người ta cũng đưa ra khái
niệm mật độ phổ chéo. Mật độ phổ chéo và hàm tương quan chéo của hai quá trình ngẫu nhiên có
liên hệ dừng cũng thoả mãn cặp biến đổi Wiener – Khinchi.
2.4.3. Bề rộng phổ công suất 19