Bài tập lớn về Mã hóa dữ liệu đa phương tiện | Trường Đại học Bách Khoa Hà Nội

IT4622
Mã hóa dữ liệu a phương tiện Bài tập lớn
PGS. Nguyễn Thị Hoàng Lan
CNTT &TT– ĐHBK Hà Nội Mục ích yêu cầu
Bài tập lớn học phần yêu cầu sinh viên tìm hiểu kỹ một vấn ề hẹp trong nội dung giảng
dạy học phần IT4622 về cơ sở lý thuyết và triển khai thử nghiệm ứng dụng nhằm tăng cường
kiến thức và kỹ năng lập trình theo yêu cầu cụ thể ề bài.
BTL làm theo nhóm, mỗi nhóm khoảng 3 SV (có thể làm cá nhân). Yêu cầu chung :
- Phần lý thuyết trình bày tóm tắt theo ề BTL, có cấu trúc mạch lạc, tham chiếu tài liệu
tham khảo xác thực rõ ràng.
- Phần triển khai phần mềm cần trình bày : o
Môi trường công cụ cài ặt PM o Sơ ồ khối, luồng hoạt
ộng PM, luồng xử lý/ thuật toán. o
Qui trình triển khai cài ặt ứng dụng, giao diện UD (nếu
có), o Kịch bản thực nghiệm và nhận xét kết quả Các ề cụ thể :
Đề số 1. Dữ liệu a phương tiện, tổng quan mã hóa nén dữ liệu và ứng dụng
- Các loại dữ liệu a phương tiện. Dữ liệu a phương tiện phụ thuộc thời gian liên quan ến
tín hiệu. Cấu trúc và ịnh dạng dữ liệu ảnh, video, audio ( ịnh dạng trình diễn, ịnh dạng lưu trữ)
- Tổng quan về mã hóa dùng phép biến ổi (TC: Transform Coding). Các ộ o hiệu năng nén dữ liệu a phương tiện
- Cài ặt ứng dụng “Tự ộng ịnh dạng lại ảnh và chuyển mã JPEG”:
Ứng dụng nhận ầu vào là file ảnh màu RGB bất kỳ (với một số ịnh dạng file thông dụng
như: *.png, *.jpg, *.tif…), ầu ra cung cấp file *.jpg ã ịnh dạng theo tham số ngầm ịnh
sẵn; Ứng dụng thực hiện các chức năng sau:
+ Mở file, giải nén dữ liệu ảnh
+ Nếu ảnh có ộ phân giải lớn hơn MN (M=352, N=240, MN là tham số ngầm ịnh)
thì ứng dụng ịnh dạng lại ảnh với ộ phân giải MN.
+ Chuyển ổi hệ màu RGB thành YUV/ YCbCr và thực hiện lấy mẫu 4:2:0+ + Mã hóa
nén ảnh JPEG và lưu file.jpg
Đề số 2. Mã hóa nén không tổn hao (Lossless Compression) và áp dụng trong nén ảnh
- Mã hóa dữ liệu không tổn hao VLC (Variable Length Code). Mã Huffman áp dụng cho
ảnh, audio. DPCM không tồn hao
- Tìm hiểu thuật toán mã hóa nén ảnh JPEG-LS không tổn hao
- Tìm hiểu thuật toán mã hóa không tổn hao ảnh PNG, thuật toán này liên quan ến mã hóa DPCM như thế nào?
- Ứng dụng: Cài ặt ứng dụng 2 thuật toán mã hóa nén ảnh JPEG-LS và PNG không tổn hao,
so sánh, nhận xét theo kịch bản tình huống thực nghiệm.
Đề số 3. Mã hóa dự oán DPCM và ứng dụng
- Nguyên lý mã hóa dự oán (Predictive Coding- DPCM), các kiểu sơ ồ DPCM và các thuật toán DPCM.
- Áp dung DPCM trong mã hóa tiếng nói thoại: Tìm hiểu 1 chuẩn mã hóa tiếng nói dùng DPCM
- Áp dụng DPCM trong nén ảnh JPEG: Tìm hiểu thuật toán DPCM dùng trong mã hóa thành
phần DC của các khối hệ số DCT trong sơ ồ nén ảnh JPEG. Thuật toán này theo kiếu sơ ồ DPCM nào?
- Ứng dụng: Cài ặt ứng dụng bộ Codec mã hóa nén ảnh JPEG ( ầu vào là ảnh màu RGB
chưa nén) và khảo sát ảnh hưởng của mã hóa DPCM các thành phần DC của các khối hệ
số DCT ối với hiệu năng nén trong các kịch bản thử nghiệm.
Đề số 4. Lượng tử hóa vectơ (Vector Quantization -VQ) và ứng dụng
- Tìm hiểu chung về mô hình và phương pháp lượng tử hóa vectơ VQ
- Sơ ồ mã hóa nén/ giải nén dữ liệu theo phương pháp VQ
- Tìm hiểu một thuật toán xây dựng bộ codebook (tùy chọn)
- Cài ặt ứng dụng mã hóa ảnh dùng VQ bao gồm 2 giai oạn:
o Thiết kế xây dựng bộ codebook,
o Mã hóa nén/ giải nén ảnh dùng bộ codebook,
Tính các ộ o hiệu năng nén ảnh dùng VQ và iều chỉnh tham số sao cho ộ tổn hao >=25 db
Đề số 5. Phân tích các dải tần con (Subband) và ứng dụng
- Tìm hiểu chung mô hình phân tích tín hiệu số 1D thành tín hiệu dải tần con (Subbband)
và tổng hợp dùng băng lọc số
- Hai kiểu sơ ồ nguyên lý và thuật toán phân tách tín hiệu thành các tín hiệu dải tần con (Subband)
- Tìm hiểu sơ ồ và thuật toán phân tách tín hiệu các dải tần con (Subband) trong nén nén ảnh JPEG-2000
- Ứng dụng: Cài ặt ứng dụng thực hiện các chức năng sau :
+ Phân tách ảnh thành các 4 ảnh dải tần con (LL, LH, HL, HH) và khôi phục ảnh dùng bộ lọc Daubechies (Wavelet).
+ Biểu diễn ảnh a phân giải dùng bộ lọc thông thấp 2 tầng (ảnh ¼ và ảnh 1/16).
Đề số 6. Mã hóa các dải tần con (Subband Coding- SBC) và ứng dụng trong mã hóa nén ảnh JPEG-2000
- Tìm hiểu chung về nguyên tắc mã hóa các dải tần con SBC và Tìm hiểu các khối chức
năng của nén ảnh JPEG-2000
- Phép biến ổi Wavelet rời rạc (DWT) và kỹ thuật Subband phân tích a phân giải ảnh. Tìm
hiểu sơ ồ thực hiện phép DWT dùng băng lọc Wavelet Daubechies.
- Tìm hiểu 1 thuật toán mã hóa JPEG-2000 (ví dụ thuật toán EZW:Embedded Zero-Tree Wavelet Coding)
- Ứng dụng: Cài ặt thực nghiệm mã hóa nén ảnh JPEG2000 và tính các ộ o hiệu năng nén.
Đề số 7. Mã hóa nén dựa trên phép biến ổi (Transform Coding) và ứng dụng nén ảnh JPEG
- Tổng quan về mã hóa dùng phép biến ổi (TC: Transform Coding). Các ộ o hiệu năng nén dữ liệu a phương tiện
- Tìm hiểu và làm rõ các ặc iểm của 2 phép biến ổi ược dùng trong các chuẩn nén hiện nay: DCT và DWT.
- Phân tích sơ ồ nén theo chuẩn JPEG cơ bản (Base line JPEG)
- Ưng dụng: Cài ặt ứng dụng bộ mã hóa nén/ giải nén ảnh JPEG cơ bản: Tiền xử lý nén, Xử
lý nén: Thực hiện DCT tuần tự các khối; Lượng tử hóa; Mã hóa Huffman theo sơ ồ nén
JPEG/ giải nén. Tính các ộ o hiệu năng gồm tỷ số nén, ộ tổn hao. Điều chỉnh tham số ể ạt
hiệu năng tốt về tỷ số nén và ộ tổn hao >=30db
Đề số 8. Mã hóa nén video theo chuẩn MPEG
- Tổng quan về mã hóa video chuẩn MPEG, các qui ịnh về dữ liệu của chuẩn MPEG: Frame, GOP, MB, Block
- Mã hóa video MPEG-1 (Base of Video coding): sơ ồ mã hóa video chuẩn MPEG-1.
- Thuật toán/ luồng xử lý “mã hóa Intraframe” và thuật toán/ luồng xử lý “mã hóa
Interframe” của sơ ồ mã hóa nén video MPEG-1, các thuật toán liên quan ến các qui ịnh
về dữ liệu của chuẩn thế nào?
- Cài ặt ứng dụng nén video theo chuẩn MPEG-1 (tùy chọn công cụ phần mềm) và thực
nghiệm; o Tính tỷ số nén video MPEG-1.
o Thay ổi cấu trúc lấy mẫu tín hiệu màu từ 4:2:0 thành 4:2:2, tính tỷ số nén o Thực
hiện khi iều chỉnh tham số GOP của video MPEG-1 ể tăng tý nén và ộ tổn hao sẽ thay ổi như thế nào?
Đề số 9. Các kỹ thuật ước lượng chuyển ộng và dự oán bù chuyển ộng trong mã hóa nén video MPEG
- Các hướng tiếp cận mã hóa ảnh ộng (video). Vai trò của ước lượng chuyển ộng và mã
hóa dự oán bù chuyển ộng trong mã hóa video “Intrame coding, Interframe coding”
- Vấn ề ước lượng vector chuyển ộng trong nén video (tiêu chí ối sánh, chiến lược tìm
kiếm) và tìm hiểu một thuật toán ước lượng vector chuyển ộng
- Tìm hiêu thuật toán mã hóa dự oán bù chuyển ộng mã hóa frame P trong sơ ồ nén/ giải nén video chuẩn MPEG-1
- Cài ặt ứng dụng bộ CODEC mã hóa video MPEG-1: Chuỗi xử lý của các thuật toán ước
lượng chuyển ộng, mã hóa dự oán oán bù chuyển ộng frame P của bộ CODEC này. Thực
nghiệm thay ổi các tham số (GOP, Frame, MB, Block) và khảo sát ảnh hưởng của các
tham số ến hiệu năng nén video MPEG-1 trong các tình huống cụ thể.
Đề số 10. Mã hóa nén video theo chuẩn ITU-T/ MPEG
- Tổng quan về mã hóa video chuẩn ITU-T H26X (H261, H263, H264, H265). Một số qui ịnh
về dữ liệu của chuẩn H26X, ặc iểm chuẩn H26X so với chuẩn MPEG.
- So sánh sơ ồ nén video H261 và các tham số với sơ ồ nén video MPEG-1
- Trình bày thuật toán/ luồng xử lý “mã hóa Intraframe” và thuật toán/ luồng xử lý “mã
hóa Interframe” mã hóa nén video H261
- Triển khai cài ặt thực nghiệm bộ mã hóa nén video MPEG-4/ H264 (bộ CODEC H264) so
sánh hiệu năng video H264 với video H261 và cho biết các chức năng phát triển của mã
hóa nén video H264 so với H261. Khảo sát thay ổi tham số của bộ mã hóa nén H264 ể
tạo ra video ã nén a luồng a tôc ộ theo yêu cầu (dùng kỹ thuật mã hóa SVC- Scalable Video Coding).
Đề số 11. Mã hóa SVC (Scalable Video Coding – SVC) và mã hóa nén video tiên tiến AVC: MPEG4/ H264
- Tìm hiểu chung về mã hóa video dùng SVC “Scalable Video Coding”, sơ ồ kiến trúc SVC
và giải thích tác dụng “Scalable Video Coding” trong nén video tiến tiến AVC theo chuẩn
MPEG-4/ H264. Tìm hiểu MPEG4 part 14: file *.mp4
- Tìm hiểu các thuật toán thực hiện các kiểu SVC
- Tìm hiểu một sơ ồ mã hóa SVC theo không gian (Spatial scalability) và thuật toán khối
“Spatial decimation” phân tích a phân giải ảnh dùng băng lọc số, thuật toán khối này liên
quan ến kỹ thuật Subband nào?
- Cài ặt thực nghiệm mã hóa SVC trong nén video MPEG-4/H264 và khảo sát thay ổi tham
số mã hóa SVC a luồng a tốc ộ kết hợp 2 kiểu SVC: SVC kiểu không gian (spatial scalability)
dùng kỹ thuật “Spatial decimation” a phân giải 2 tầng (gọi là “Subband 2 tầng”) kết hợp
với kiểu SVC thay ổi SNR với 2 hệ số khác nhau.
Đề số 12. Nén âm thanh tiếng nói thoại theo chuẩn ITU
- Tìm hiểu chung về tín hiệu tiếng nói, ịnh dạng số và các chuẩn mã hóa nén tiếng nói
thoại ITU-T dùng trong các ứng dụng VOIP.
- Tổng quan các phương pháp mã hóa tiếng nói
- Tìm hiểu một số sơ ồ mã hóa tiếng nói thoại theo chuẩn ITU (các chuẩn G/ GSM) theo
phương pháp mã hóa dạng sóng (waveform coding) (tùy chọn)
- Cài ặt thực nghiêm mã hóa âm thanh thoại theo sơ ồ phân tích ã chọn, tính các ộ o hiệu
năng giải pháp nén và so sánh kết quả thử nghiệm.
Đề số 13. Nén âm thanh tiếng nói dải rộng (audio HiFi)
- Đặc iểm tín hiệu âm thanh dải rộng và giải thích mô hình cảm thụ âm thanh
- Phương pháp nén audio dùng mô hình cảm thụ âm thanh và giải thích tại sao mã hóa
audio HiFi dựa trên mô hình cảm thụ âm thanh (các bước cơ bản)
- Tìm hiểu sơ ồ và thuật toán phân tách các dải tần con trong nén audio theo chuẩn MP3.
- Cài ặt thuật toán khối “Analysis Filter bank” phân tách tín hiệu audio thành 32 tín hiệu
dải tần con trong sơ ồ nén audio MP3 theo chuẩn MPEG-1 (MP3) và khảo sát ảnh hưởng
của khối này ến hiệu năng nén.
Đề số 14. Đồng bộ Audio-Video theo chuẩn MPEG
- Tìm hiểu chung về ồng bô Audio-video
- Tìm hiểu ồng bộ trộn dữ liệu audio – video thành dòng tải tải dữ liệu (MPEG Transport
Stream-TS) theo chuẩn MPEG-2
- Tìm hiểu cấu trúc file video *.mp4. Phân biệt khái niệm MPEG4 với MP4
- Cài ặt thực nghiệm giải pháp ồng bô trộn dữ liệu audio-video sau nén 2 dòng dữ liệu: dữ
liệu nén ảnh video MPEG và dữ liệu nén audio MP3 thành dòng tải TS theo chuẩn MPEG
- file TS, thực nghiệm với file *.mp4
Đề số 15. Tìm hiểu nén ngữ nghĩa video (Semantic video Compression) và ứng dụng trong
truyền thông video hướng nhiệm vụ phát hiện ối tượng
- Tìm hiểu khái quát vấn ề nén ngữ nghĩa – mã hóa hướng nhiệm vụ và ứng dụng trong
truyền thông hướng nhiệm vu (Task-Oriented Communication)
- Tìm hiểu thuật toán nén video ể phát hiện ối tượng và hướng ứng dụng trong hệ thống
giám sát video (Video Compression for Object Detection, Surveillance Videos) - Cài ặt thực nghiệm thuật toán
Đề số 16. Phân vùng ngữ nghĩa trong nén video (Semantic Segmentation in Compressed Video)
- Tìm hiểu phương pháp phân vùng ngữ nghĩa (Semantic Segmentation -Computer Vision)
kết hợp trong nén video MPEG.
- Tìm hiểu một giải pháp thuật toán theo bài báo
- Cài ặt thực nghiệm thuật toán
Đề số 17. Mã hóa video tiên tiến (Avanced Video Coding – AVC), chuẩn MPEG-DASH và ứng
dụng trong truyền thông video online
- Tìm hiểu tổng quan về mã hóa video tiên tiến AVC (nêu tóm tắt)
- Tìm hiểu chuẩn MPEG-DASH về phần MPEG Encoded - AVC streams (MPEG-4)
- Cài ặt ứng dụng chuyển mã (Transcoding) và mã hóa video theo chuẩn MPEG4 theo
MPEG-DASH (MPEG-DASH Encode) dùng công nghệ HLS (dùng PM mở) thực hiện một số nhiệm vụ sau :
Đầu vào ứng dụng: Tiếp nhận dòng video ã nén theo các ịnh dạng mã hóa thông dụng
Đầu ra ứng dụng: Chuyển mã video thành mã hóa video MPEG-4 với n Substream
theo cấu hình các tốc ộ dòng bít theo yêu cầu (ví dụ n=3) và lưu trữ các oạn (segment video theo MPEG-DASH)
Các chức năng chính của ứng dụng :
+ Chuyển mã video ịnh dang cũ sang mã hóa video MPEG-4
+ Mã hóa Video MPEG4 tạo ra các dòng bit video (SVC) theo yêu cầu
+ Phân oạn video (Stream Segmenter) và lưu trữ các oạn theo chuẩn MPEG- DASH
PHỤ LỤC: Công nghệ HLS : MPEG Encoded, AVC streams trong hệ thống HLS (dùng PM mã nguồn mở).
MPEG - DASH (Dynamic Adaptive Streaming over HTTP) is a developing ISO Standard (ISO/IEC
23009-1) that should be finalized by early 2012. DASH is a standard for adaptive streaming over HTTP
HTTP-based adaptive streaming technologies have two components: MPEG Encoded AVC
streams (MPEG-4); The DASH manifest file (called the Media Presentation Description) for the
player and contain their URL address.