BỘ NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN
PHÂN HIỆU
TRƯỜNG ĐẠI HỌC THỦY LỢI
BỘ MÔN CÔNG NGHỆ THÔNG TIN
-----
-----
BÁO CÁO ĐỒ ÁN MÔN HỌC
AN
TOÀN VÀ BẢO MẬT THÔNG TIN
ĐỀ TÀI:
Deepfake và nguy cơ bảo mật
TP. Hồ Chí Minh
, ngày
30
tháng
12
năm 2024
Giảng viên hướng dẫn:
Th
S
.
Sinh viên thực hiện:
Trần Đình Khải
Nguyễn Lâm Mạnh
Huỳnh Minh Nghĩa
Lê Quang Nhật
Mục Lục I. Giới
thiệu.................................................................................3
1. Deepfake là gì?.......................................................................3
2. Lịch sử phát triển của deepfake...........................................3
3. Công nghệ đứng sau deepfake(AI, GANs)..........................3
II. Cách nhận diện và ngăn chặn
deepfake.............................4
1. Các phương pháp thủ công...................................................4
2. Công cụ AI phát hiện deepfake............................................4
3. Cách ngăn chặn deepfake cho mục đích xấu.......................4
III. Tác động của deepfake đối với xã hội và an ninh thông
tin................................................................................................5
1. Fake news & thao túng dư luận............................................5
2. Ảnh hưởng đến danh tiếng cá nhân và chính trị................5
3. Nguy cơ tội phạm công.(lừa đảo, tống tiền).........................6
IV. Mở rộng................................................................................7
1. Nguy cơ bảo mật trên mạng xã hội và pháp........................7
2. Phân tích thuật toán phát hiện deepfake.............................7
3. Thảo luận về vấn đề pháp luật và trách nhiệm pháp.........8
4. Kiểm tra video giả mạo bằng công cụ thực tế.....................9
V. Demo cách tấn công của deepfake.......................................9
1. Cách tạo 1 video bằng deepfake...........................................9
2. Giả mạo để điện thoại realtime trên messenger..................9
I. Giới thiệu
1. Deepfake là gì?
Deepfake là một công nghệ sử dụng trí tuệ nhân tạo (AI) để tạo ra các video, hình ảnh hoặc
âm thanh giả mạo nhưng có độ chân thực cao. Công nghệ này chủ yếu dựa trên các thuật toán
học sâu (Deep Learning) và mạng đối sinh (Generative Adversarial Networks - GANs) để
thay thế khuôn mặt hoặc giọng nói của một người bằng một người khác.
Deepfake ngày càng trở nên phổ biến và tinh vi, tạo ra nhiều cơ hội và thách thức. Mặc dù nó
có thể được sử dụng trong lĩnh vực điện ảnh, giải trí hoặc giáo dục, nhưng cũng đặt ra nhiều
nguy cơ lớn về bảo mật, danh tính cá nhân và sự thật trong thông tin.
2. Lịch sử phát triển của deepfake.
Deepfake là sự kết hợp giữa trí tuệ nhân tạo (AI) và học sâu (deep learning), có
nguồn gốc từ các nghiên cứu về machine learning từ những năm 1990. Tuy nhiên,
deepfake thực sự trở nên phổ biến từ năm 2017, khi các diễn đàn trên Reddit lan
truyền những video deepfake đầu tiên, thường dùng để thay thế khuôn mặt các nhân
vật nổi tiếng.
Thuật ngữ "deepfake" được ghép từ "deep learning" và "fake" (giả mạo). Các mô hình
deepfake sử dụng Generative Adversarial Networks (GANs) để tạo ra những hình
ảnh và video giả mạo có độ chính xác cao. Năm 2018, nhiều công cụ deepfake được
phát triển, như FaceSwap, FakeApp, và sau đó là DeepFaceLab.
Cùng với sự phát triển của deepfake, nhiều tranh luận về bảo mật và đạo đức đã nổi
lên. Các quốc gia và tổ chức bắt đầu ban hành luật để điều chỉnh deepfake, đặc biệt là
trong lĩnh vực chính trị và truyền thông.
Hiện nay, deepfake được ứng dụng rộng rãi trong giải trí, quảng cáo, và nghiên cứu
AI. Các công ty lớn như Adobe và Facebook đã phát triển các công cụ nhận diện
deepfake để ngăn chặn tác động tiêu cực. Bên cạnh đó, AI ngày càng cải thiện khả
năng nhận diện video giả mạo.
3. Công nghệ đứng sau deepfake(AI, GANs)
Deepfake được xây dựng dựa trên các kỹ thuật trí tuệ nhân tạo và học sâu, trong đó
nổi bật là Generative Adversarial Networks (GANs)Autoencoders:
Generative Adversarial Networks (GANs): Là mô hình AI gồm hai mạng
neural đối kháng nhau - một mạng sinh (Generator) tạo hình ảnh giả mạo và
một mạng phân biệt (Discriminator) cố gắng phát hiện hình ảnh giả. Quá trình
này giúp cải thiện chất lượng hình ảnh và video deepfake theo thời gian.
Autoencoders: Được sử dụng để mã hóa và giải mã hình ảnh, giúp thay thế
khuôn mặt một cách tự nhiên bằng cách học cách biểu diễn khuôn mặt của
người cần thay thế.
Face Alignment và Landmark Detection: Công nghệ này giúp xác định các
điểm quan trọng trên khuôn mặt, hỗ trợ quá trình thay thế khuôn mặt chính xác
hơn.
Neural Rendering: Kỹ thuật này sử dụng AI để tạo ra hình ảnh chân thực dựa
trên dữ liệu huấn luyện, giúp video deepfake trông tự nhiên và khớp với ánh
sáng, góc nhìn.
Deep Learning Frameworks: Các framework như TensorFlow, PyTorch hỗ
trợ xây dựng và huấn luyện mô hình deepfake, giúp tối ưu hóa khả năng tạo
video giả mạo.
II. Cách nhận diện và ngăn chặn deepfake
1. Các phương pháp thủ công.
Mặc dù deepfake ngày càng trở nên tinh vi, vẫn có một số dấu hiệu nhận biết có thể
giúp phát hiện nội dung giả mạo:
Hiệu ứng mắt không tự nhiên: Deepfake thường gặp khó khăn trong việc tái
tạo ánh mắt, khiến nhân vật trong video có ánh nhìn vô hồn hoặc chớp mắt
không tự nhiên.
Chuyển động khuôn mặt và môi không đồng bộ: Khi nói, nếu môi và giọng
không khớp nhau hoặc có sự trễ nhẹ, có thể là dấu hiệu của deepfake.
Biến dạng khuôn mặt khi chuyển động nhanh: Khi nhân vật di chuyển đột
ngột, khuôn mặt có thể bị méo mó hoặc mất tự nhiên.
Ánh sáng và bóng không khớp: Deepfake thường gặp khó khăn trong việc
xử lý ánh sáng và bóng đổ sao cho phù hợp với môi trường.
Chi tiết da và kết cấu bị mất hoặc mờ: Hình ảnh deepfake thường có vùng
da quá mịn hoặc bị làm mờ nhằm che giấu khuyết điểm.
Mí mắt và đường viền khuôn mặt không chính xác: Khi nhìn kỹ, có thể
thấy sự chồng chéo hoặc mờ nhòe ở viền khuôn mặt, đặc biệt khi nhân vật
quay đầu.
Hiệu ứng hình ảnh bất thường: Một số deepfake có thể tạo ra hiện tượng
nhấp nháy hoặc rung lắc bất thường do thuật toán không xử lý tốt toàn bộ
khung hình.
Tỉ lệ khuôn mặt không phù hợp: Đôi khi, khuôn mặt được thay thế có kích
thước hoặc góc nhìn không hoàn toàn trùng khớp với cơ thể.
2. Công cụ AI phát hiện deepfake.
Hiện nay có nhiều công cụ và phần mềm sử dụng trí tuệ nhân tạo để phát hiện
deepfake, bao gồm:
Deepware Scanner: Ứng dụng di động giúp kiểm tra xem video có bị chỉnh
sửa bằng deepfake hay không. Công cụ này sử dụng AI để quét các video và
phát hiện các dấu hiệu giả mạo.
Microsoft Video Authenticator: Công cụ do Microsoft phát triển giúp phân
tích các dấu hiệu bất thường trong video bằng AI, chẳng hạn như sự khác biệt
trong tông màu da hoặc ánh sáng giữa các khung hình.
FaceForensics++: Bộ dữ liệu và mô hình giúp phân tích hình ảnh để phát hiện
deepfake. Nó được sử dụng rộng rãi trong nghiên cứu học máy và bảo mật.
AI-Based Detection Models: Các mô hình học sâu sử dụng phân tích quang
phổ, phát hiện chuyển động mắt và kiểm tra sai lệch pixel để nhận diện nội
dung giả mạo.
Google Jigsaw's Assembler: Công cụ giúp các nhà báo và chuyên gia phân
tích phát hiện deepfake bằng cách cung cấp các công cụ kiểm tra chi tiết hình
ảnh và video.
Adobe Project About Face: Một phần mềm của Adobe giúp phát hiện sự thay
đổi nhỏ nhất trong kết cấu da hoặc tông màu của hình ảnh nhằm phát hiện
deepfake.
3. Cách ngăn chặn deepfake cho mục đích xấu
A. Tuyên truyền nâng cao nhận thức
Việc giáo dục cộng đồng về deepfake là một trong những biện pháp quan trọng nhất.
Cần có các chương trình tuyên truyền để giúp mọi người hiểu về deepfake, cách nhận
biết dấu hiệu giả mạo, cũng như những nguy cơ mà nó mang lại cho xã hội, đặc biệt
trong lĩnh vực truyền thông và chính trị.
B. Sử dụng công nghệ Blockchain
Một số nền tảng đang nghiên cứu ứng dụng blockchain để xác thực nguồn gốc video.
Blockchain có thể giúp ghi lại lịch sử chỉnh sửa và đảm bảo tính minh bạch của nội
dung số, giúp phát hiện và ngăn chặn video bị chỉnh sửa phi pháp.
C. Chính phủ và pháp luật can thiệp
Các chính phủ trên thế giới đang xem xét và ban hành các đạo luật để kiểm soát
deepfake. Một số quốc gia đã đưa ra các điều luật cấm phát tán deepfake với mục đích
lừa đảo, bôi nhọ danh dự hoặc gây ảnh hưởng đến bầu cử và chính trị.
D. Nâng cấp công nghệ AI để phát hiện deepfake
Công nghệ phát hiện deepfake cần liên tục được cập nhật để đối phó với các phương
pháp tạo deepfake ngày càng tiên tiến. Các thuật toán AI có thể phân tích sâu hơn vào
chi tiết hình ảnh, phát hiện bất thường về chuyển động, ánh sáng và kết cấu da để
nhận diện nội dung giả mạo.
E. Hợp tác giữa các tổ chức và doanh nghiệp
Việc kiểm soát deepfake cần có sự hợp tác giữa chính phủ, doanh nghiệp công nghệ,
tổ chức truyền thông và các nhà nghiên cứu. Cần có các chiến lược chung để ngăn
chặn deepfake ảnh hưởng đến an ninh thông tin và xã hội.
III. Tác động của deepfake đối với xã hội và an ninh thông tin
1. Fake news & thao túng dư luận.
Deepfake có thể được sử dụng để tạo ra tin tức giả mạo, gây hiểu lầm và thao túng dư luận.
Những video hoặc hình ảnh deepfake có thể khiến công chúng tin vào những sự kiện chưa
từng xảy ra, gây hoang mang và mất niềm tin vào thông tin chính thống. Điều này đặc biệt
nguy hiểm trong các chiến dịch chính trị hoặc các cuộc khủng hoảng xã hội.
Hình ảnh minh họa 1. Giả mạo giấy tờ.
(Nguồn :https://congan.hanam.gov.vn/index.php/vi/news/phong-chong-toi-pham-su-
dungcong-nghe-cao/dung-deepfake-vuot-qua-xac-thuc-online-tai-viet-nam-2244.html)
2. Ảnh hưởng đến danh tiếng cá nhân và chính trị.
Deepfake có thể được sử dụng để bôi nhọ danh tiếng của các cá nhân, đặc biệt là những người
nổi tiếng hoặc chính trị gia. Việc lan truyền các video hoặc hình ảnh giả mạo có thể gây ra
hậu quả nghiêm trọng, từ mất uy tín cá nhân đến tác động đến kết quả bầu cử hoặc sự ổn định
chính trị của một quốc gia.
Hình ảnh minh họa 2. Giả mạo người nổi tiếng.
(Nguồn:https://www.thegioididong.com/tin-tuc/video-deepfake-gia-nguoi-noi-
tiengtran-lan-tren-titok-1450403)
3. Nguy cơ tội phạm công.(lừa đảo, tống tiền)
Deepfake có thể bị tội phạm sử dụng để giả mạo danh tính, tạo ra các video hoặc âm thanh lừa
đảo nhằm chiếm đoạt tài sản hoặc thực hiện các hành vi tống tiền. Chẳng hạn, tội phạm có thể
tạo ra các cuộc gọi giả mạo từ giám đốc công ty để yêu cầu chuyển tiền, hoặc tạo video giả
mạo để ép buộc nạn nhân trả tiền chuộc.
hình ảnh minh họa 3. Lừa đảo qua điện thoại
(Nguồn :https://congan.quangbinh.gov.vn/canh-giac-voi-thu-doan-su-dung-cong-
nghedeepfake-gia-danh-cong-an-lua-dao/)
hình ảnh minh họa 4. tạo hình ảnh, video bằng deepfake để tống tiền.
( Nguồn:https://phuong3.tayninh.gov.vn/vi/news/ca-qs/han-che-dua-thong-tin-ca-nhan-
lenmang-xa-hoi-de-tranh-bi-lua-dao-bang-hinh-anh-video-gia-mao-13484.html)
Những tác động tiêu cực này đòi hỏi sự phối hợp chặt chẽ giữa công nghệ, pháp luật và nhận
thức xã hội để ngăn chặn và giảm thiểu hậu quả do deepfake gây ra.
IV. Mở rộng
1. Nguy cơ bảo mật trên mạng xã hội và pháp
Deepfake có thể bị lợi dụng trên mạng xã hội để phát tán nội dung sai lệch, gây mất
an ninh mạng và vi phạm pháp luật. Những video giả mạo có thể tạo ra thông tin sai
lệch, làm ảnh hưởng đến uy tín của cá nhân hoặc tổ chức, thậm chí gây bất ổn xã hội.
Ví dụ, một video giả mạo có thể khiến người xem tin rằng một chính trị gia đã đưa ra
phát ngôn gây tranh cãi, làm ảnh hưởng đến danh tiếng và sự nghiệp của họ.
Trong lĩnh vực pháp lý, deepfake có thể gây khó khăn trong việc xác minh bằng
chứng điện tử. Các video giả mạo có thể bị sử dụng trong các vụ kiện tụng, tạo ra
bằng chứng giả để lừa dối tòa án hoặc các cơ quan điều tra. Điều này đặt ra thách thức
lớn đối với hệ thống pháp lý trong việc xác định tính xác thực của các tài liệu số. Để
đối phó với vấn đề này, các tổ chức pháp lý và công nghệ cần hợp tác để phát triển
công cụ xác thực nội dung số, đồng thời ban hành các quy định chặt chẽ nhằm kiểm
soát việc sử dụng deepfake với mục đích xấu.
2. Phân tích thuật toán phát hiện deepfake
Có nhiều thuật toán và phương pháp tiên tiến để phát hiện deepfake, bao gồm:
Mạng nơ-ron tích chập (CNN - Convolutional Neural Networks): CNN
được sử dụng để phát hiện các bất thường trong hình ảnh và video deepfake
bằng cách phân tích cấu trúc khuôn mặt, ánh sáng, bóng đổ và các chi tiết
khác.
GAN-based detection: Sử dụng chính các mạng đối sinh để phát hiện
deepfake bằng cách kiểm tra các lỗi tạo hình từ các mô hình GAN khác.
Phân tích chuyển động vi mô: Deepfake gặp khó khăn trong việc tái tạo các
chuyển động nhỏ trên khuôn mặt như nháy mắt, biểu cảm tinh tế hoặc phản xạ
ánh sáng tự nhiên. Ngoài ra, các thuật toán phân tích sự thay đổi của hình ảnh
theo thời gian cũng giúp phát hiện deepfake dựa trên các bất thường trong
video.
Ví dụ, một số nghiên cứu đã phát hiện rằng các video deepfake thường có các vùng da quá
mịn, thiếu lỗ chân lông hoặc nếp nhăn chi tiết như trong video thật. Những điểm bất thường
này có thể giúp nhận diện video giả mạo.
3. Thảo luận về vấn đề pháp luật và trách nhiệm pháp
Nhiều quốc gia đang xem xét hoặc đã ban hành các đạo luật để đối phó vi deepfake:
- Hoa Kỳ: Một số bang như California và Texas đã đưa ra các điều luật cấm sử dụng
deepfake với mục đích gây hại, đặc biệt là trong các chiến dịch chính trị.
- Liên minh Châu Âu (EU): Đã có những đề xuất về quy định deepfake trong Đạo
luật Dịch vụ Kỹ thuật số (Digital Services Act) nhằm hạn chế sự lan truyền của nội dung giả
mạo.
- Trung Quốc: Trung Quốc đã ban hành quy định yêu cầu các nền tảng công nghệ gắn
nhãn watermark lên nội dung deepfake để cảnh báo người xem.
Bên cạnh đó, vấn đề trách nhiệm pháp lý cũng được đặt ra. Ví dụ, nếu một cá nhân tạo ra
deepfake để bôi nhọ người khác, họ có thể bị truy tố vì tội phỉ báng hoặc phát tán thông tin sai
lệch. Tuy nhiên, việc thực thi luật pháp gặp nhiều thách thức, do khó khăn trong việc truy tìm
nguồn gốc video deepfake và xác định danh tính của người tạo ra nó.
Tại Việt Nam
Tại Việt Nam, deepfake chưa có điều luật riêng biệt để quản lý, nhưng có thể bị xử lý theo các
quy định trong:
- Luật An ninh mạng 2018: Cấm việc phát tán thông tin sai sự thật, xâm phạm quyền
riêng tư.
- Bộ luật Hình sự 2015 (sửa đổi, bổ sung 2017): Các hành vi sử dụng deepfake để lừa
đảo, bôi nhọ danh dự có thể bị xử lý hình sự.
- Nghị định 15/2020/NĐ-CP: Quy định xử phạt hành chính trong lĩnh vực công nghệ
thông tin và an ninh mạng, có thể áp dụng với việc phát tán deepfake sai lệch.
Chế tài xử lý
- Hành vi phát tán thông tin giả mạo có thể bị phạt tiền từ 10 - 30 triệu đồng.
- Hành vi sử dụng deepfake để vu khống, xúc phạm danh dự cá nhân có thể bị xử lý hình
sự với mức phạt tù lên đến 5 năm.
- Hành vi giả mạo danh tính để lừa đảo có thể bị xử phạt theo Điều 174 Bộ luật Hình sự với
mức phạt tù từ 2 - 20 năm.
Hướng phát triển khung pháp lý về vấn đề này :
- Xây dựng quy định riêng về deepfake để kiểm soát và xử lý hành vi sai trái.
- Hợp tác quốc tế để ngăn chặn nội dung deepfake xuyên biên giới.
- Nâng cao nhận thức cộng đồng để người dân nhận diện và phòng tránh các nguy cơ từ
deepfake.
4. Kiểm tra video giả mạo bằng công cụ thực tế
Hiện nay có nhiều công cụ và phần mềm sử dụng trí tuệ nhân tạo để phát hiện
deepfake, bao gồm:
Deepware Scanner: Ứng dụng di động quét và kiểm tra tính xác thực của
video bằng cách phân tích dấu hiệu deepfake.
Microsoft Video Authenticator: Sử dụng AI để phân tích video và xác định
liệu có dấu hiệu của deepfake hay không.
FaceForensics++: Một bộ dữ liệu và thuật toán chuyên sâu hỗ trợ phát hiện
hình ảnh và video giả mạo.
Google Jigsaw's Assembler: Công cụ AI được Google phát triển nhằm giúp
các nhà báo xác minh nội dung truyền thông.
Adobe Project About Face: Một dự án của Adobe giúp phân tích và phát hiện
sự giả mạo trong hình ảnh khuôn mặt.
Các tổ chức báo chí lớn đã bắt đầu sử dụng những công cụ này để xác minh video
trước khi đăng tải, nhằm giảm thiểu nguy cơ lan truyền tin giả. Ngoài ra, nhiều nền
tảng mạng xã hội như Facebook và YouTube cũng đang áp dụng AI để tự động phát
hiện và gỡ bỏ nội dung deepfake có hại.
Những tác động tiêu cực của deepfake đòi hỏi sự phối hợp chặt chẽ giữa công nghệ,
pháp luật và nhận thức xã hội để ngăn chặn và giảm thiểu hậu quả mà công nghệ này
có thể gây ra.
V. Demo
1. Cách tạo 1 video bằng deepfake
Tạo Video Deepfake Bằng Roop Trên Google Colab
A. Giới Thiệu
Deepfake là công nghệ sử dụng AI để thay đổi khuôn mặt trong video một cách tự động và
chính xác. Trong bài báo cáo này, chúng ta sẽ triển khai và chạy Roop, một công cụ deepfake
đơn giản, trên Google Colab để thay đổi khuôn mặt trong video.
B. Các Bước Triển Khai
1. Cài Đặt Roop Trên Google Colab
Chúng ta sẽ sao chép kho mã Roop từ GitHub và cài đặt các thư viện cần thiết:
!git clone https://github.com/FurkanGozukara/roop
%cd roop
!pip install onnxruntime-gpu==1.21.0 && pip install -r requirements.txt
!pip install onnxruntime-gpu==1.21.0 --upgrade
Lệnh git clone dùng để tải dự án Roop về Google Colab. Sau đó, ta di chuyển vào thư mục
chính và cài đặt các phụ thuộc.
2. Cài Đặt CUDA Để Tối ưu GPU
Vì Roop yêu cầu GPU để xử lý nhanh chóng, chúng ta cài đặt CUDA:
!apt-get update --yes
!apt install nvidia-cuda-toolkit --yes
CUDA giúp gia tăng hiệu suất xử lý trên GPU của Colab.
3. Cài Đặt Thư Viện Bổ Sung
!pip install opennsfw2 keras --upgrade
!pip install numpy==1.26.1
Những thư viện này hỗ trợ xử lý hình ảnh và deep learning.
4. Thực Hiện Thay Đổi Khuôn Mặt Trong Video
Dưới đây là hai cách thực hiện thay đổi khuôn mặt:
Cách 1: Thay Đổi Khuôn Mặt Cơ Bản
!python run.py -s "face2.png" -t "test_video.mp4" -o "face_changed_video_v2.mp4" \ --keep-
frames --keep-fps --temp-frame-quality 1 --output-video-quality 1 --executionprovider cuda
Trong đó:
-s "face2.png": Hình ảnh khuôn mặt muốn thay thế.
-t "test_video.mp4": Video gốc.
-o "face_changed_video_v2.mp4": Video đã thay đổi khuôn mặt. --execution-
provider cuda: Tối ưu GPU.
Cách 2: Thay Đổi Khuôn Mặt Kèm Cải Thiện Chất Lượng
!python run.py -s "face2.png" -t "video3.mp4" -o "face_restored_video3.mp4" \ --keep-frames
--keep-fps --temp-frame-quality 1 --output-video-quality 1 --executionprovider cuda \
--frame-processor face_swapper face_enhancer
--frame-processor face_swapper face_enhancer: Cải thiện khuôn mặt trong video.
5. Lưu Và Tải Xuống Video
Sau khi tạo xong video deepfake, chúng ta làm gói ZIP và tải xuống:
import shutil import os from
google.colab import files
def zip_directory(directory_path, zip_path):
shutil.make_archive(zip_path, 'zip', directory_path)
# Set the directory path
zip_directory('/content/roop/video3', 'video3')
files.download('video3.zip')
C Kết Quả Thực Nghiệm
Thành công tạo video deepfake.
GPU giúp giảm thời gian xử lý.
Hình ảnh cần tạo video
Video gốc
Video sao khi tạo
D Kết Luận
Roop dễ dàng tạo deepfake nhanh chóng trên Google Colab.
GPU CUDA giúp xử lý nhanh hơn.
Deepfake chưa hoàn hảo do một số khung nh lỗi.
Hướng phát triển: Kết hợp mô hình AI khác như DeepFaceLab để nâng cao chất
lượng deepfake.
(Link colab:
(https://colab.research.google.com/drive/1Z05C8SNfwHmAuD_Qt06TeEcl27ePf1od?
usp=sharing)
2. Deepfake detection
Các Công Nghệ Sử Dụng:
Google Colab: Môi trường chạy Python trên máy chủ mạnh.
Python: Ngôn ngữ lập trình chính.
OpenCV: Thư viện xử lý ảnh và video.
Timm (Torch Image Models): Cung cấp mô hình Xception.
PyTorch: Framework dùng cho deep learning.
FFmpeg: Hỗ trợ xử lý video
Thuật Toán Sử Dụng
- Trích Xuất Khung Hình Từ Video
Mã nguồn sử dụng OpenCV để tách khung hình (frame) từ video:
cap = cv2.VideoCapture(video_path) frame_count = 0 success,
frame = cap.read() while success: if frame_count %
frame_interval == 0:
cv2.imwrite(f"frames/frame_{frame_count}.jpg", frame)
success, frame = cap.read() frame_count += 1 cap.release()
Lý do: Mô hình phân loại deepfake hoạt động trên ảnh, do đó ta cần trích xuất khung hình để
xử lý.
- Mô Hình Xception
Mô hình Xception (“Extreme Inception”) là biến thể của Inception, tối ưu trong nhiệm vụ
phát hiện deepfake.
Xception dựa trên Depthwise Separable Convolutions, giúp giảm số tham số và tăng hiệu
suất.
Mô hình huấn luyện trên FaceForensics++ (tập dữ liệu Deepfake). import
timm model = timm.create_model("xception", pretrained=True,
num_classes=2) model.eval()
- Tiến Trình Phân Loại Ảnh
Resize ảnh về kích thước 299x299 (chuẩn Xception).
Chuẩn hóa dữ liệu (đồng bố 0.5, 0.5, 0.5).
Dự đoán dùng mô hình.
transform = transforms.Compose([
transforms.Resize((299, 299)),
transforms.ToTensor(),
transforms.Normalize([0.5], [0.5])
])
def detect_deepfake(image_path):
image = Image.open(image_path).convert("RGB")
image = transform(image).unsqueeze(0) with
torch.no_grad(): output = model(image)
prediction = torch.argmax(output, dim=1).item()
return "FAKE" if prediction == 1 else "REAL" - .
Kết Quả Thực Nghiệm
Dữ Liệu Kiểm Tra
Video Deepfake tạo bằng FaceSwap.
Video gốc không chỉnh sửa
.
10 khung hình được lấy mỗi video.
Kết Quả
Loại Video Khung Hình REAL Khung Hình FAKE Dự Đoán Cuối
Video 1 (Thật) 9/10 1/10 REAL
Video 2 (Deepfake) 3/10 7/10 FAKE
Độ chính xác cao: Video Deepfake bị nhận diện vi tỷ lệ 70% khung hình FAKE.
Sai sót nhỏ: Video thật bị sai 1/10 khung hình do nhiễu nhiễu.
5. Kết Luận
Hệ thống hoạt động tốt với mô hình Xception.
Khả năng phát hiện deepfake nhanh chóng và độ chính xác cao.
Hạn chế: Mô hình có thể bị lỗi với deepfake nếu nó dùng công cao hơn .

Preview text:

BỘ NÔNG NGHIỆP VÀ PHÁT TRIỂN NÔNG THÔN
PHÂN HIỆU TRƯỜNG ĐẠI HỌC THỦY LỢI
BỘ MÔN CÔNG NGHỆ THÔNG TIN ----- -----
BÁO CÁO ĐỒ ÁN MÔN HỌC
AN TOÀN VÀ BẢO MẬT THÔNG TIN ĐỀ TÀI:
Deepfake và nguy cơ bảo mật Giảng viên hướng dẫn: Th S . Sinh viên thực hiện: Trần Đình Khải Nguyễn Lâm Mạnh Huỳnh Minh Nghĩa Lê Quang Nhật
TP. Hồ Chí Minh , ngày 30 tháng 12 năm 2024 Mục Lục I. Giới
thiệu.................................................................................3
1. Deepfake là gì?.......................................................................3
2. Lịch sử phát triển của deepfake...........................................3
3. Công nghệ đứng sau deepfake(AI, GANs)..........................3
II. Cách nhận diện và ngăn chặn
deepfake.............................4
1. Các phương pháp thủ công...................................................4
2. Công cụ AI phát hiện deepfake............................................4
3. Cách ngăn chặn deepfake cho mục đích xấu.......................4
III. Tác động của deepfake đối với xã hội và an ninh thông
tin................................................................................................5
1. Fake news & thao túng dư luận............................................5
2. Ảnh hưởng đến danh tiếng cá nhân và chính trị................5
3. Nguy cơ tội phạm công.(lừa đảo, tống tiền).........................6
IV. Mở rộng................................................................................7
1. Nguy cơ bảo mật trên mạng xã hội và pháp........................7
2. Phân tích thuật toán phát hiện deepfake.............................7
3. Thảo luận về vấn đề pháp luật và trách nhiệm pháp.........8
4. Kiểm tra video giả mạo bằng công cụ thực tế.....................9
V. Demo cách tấn công của deepfake.......................................9
1. Cách tạo 1 video bằng deepfake...........................................9
2. Giả mạo để điện thoại realtime trên messenger..................9 I. Giới thiệu 1. Deepfake là gì?
Deepfake là một công nghệ sử dụng trí tuệ nhân tạo (AI) để tạo ra các video, hình ảnh hoặc
âm thanh giả mạo nhưng có độ chân thực cao. Công nghệ này chủ yếu dựa trên các thuật toán
học sâu (Deep Learning) và mạng đối sinh (Generative Adversarial Networks - GANs) để
thay thế khuôn mặt hoặc giọng nói của một người bằng một người khác.
Deepfake ngày càng trở nên phổ biến và tinh vi, tạo ra nhiều cơ hội và thách thức. Mặc dù nó
có thể được sử dụng trong lĩnh vực điện ảnh, giải trí hoặc giáo dục, nhưng cũng đặt ra nhiều
nguy cơ lớn về bảo mật, danh tính cá nhân và sự thật trong thông tin.
2. Lịch sử phát triển của deepfake.
Deepfake là sự kết hợp giữa trí tuệ nhân tạo (AI) và học sâu (deep learning), có
nguồn gốc từ các nghiên cứu về machine learning từ những năm 1990. Tuy nhiên,
deepfake thực sự trở nên phổ biến từ năm 2017, khi các diễn đàn trên Reddit lan
truyền những video deepfake đầu tiên, thường dùng để thay thế khuôn mặt các nhân vật nổi tiếng.
Thuật ngữ "deepfake" được ghép từ "deep learning" và "fake" (giả mạo). Các mô hình
deepfake sử dụng Generative Adversarial Networks (GANs) để tạo ra những hình
ảnh và video giả mạo có độ chính xác cao. Năm 2018, nhiều công cụ deepfake được
phát triển, như FaceSwap, FakeApp, và sau đó là DeepFaceLab.
Cùng với sự phát triển của deepfake, nhiều tranh luận về bảo mật và đạo đức đã nổi
lên. Các quốc gia và tổ chức bắt đầu ban hành luật để điều chỉnh deepfake, đặc biệt là
trong lĩnh vực chính trị và truyền thông.
Hiện nay, deepfake được ứng dụng rộng rãi trong giải trí, quảng cáo, và nghiên cứu
AI. Các công ty lớn như Adobe và Facebook đã phát triển các công cụ nhận diện
deepfake để ngăn chặn tác động tiêu cực. Bên cạnh đó, AI ngày càng cải thiện khả
năng nhận diện video giả mạo.
3. Công nghệ đứng sau deepfake(AI, GANs)
Deepfake được xây dựng dựa trên các kỹ thuật trí tuệ nhân tạo và học sâu, trong đó
nổi bật là Generative Adversarial Networks (GANs)Autoencoders:
Generative Adversarial Networks (GANs): Là mô hình AI gồm hai mạng
neural đối kháng nhau - một mạng sinh (Generator) tạo hình ảnh giả mạo và
một mạng phân biệt (Discriminator) cố gắng phát hiện hình ảnh giả. Quá trình
này giúp cải thiện chất lượng hình ảnh và video deepfake theo thời gian.
Autoencoders: Được sử dụng để mã hóa và giải mã hình ảnh, giúp thay thế
khuôn mặt một cách tự nhiên bằng cách học cách biểu diễn khuôn mặt của người cần thay thế.
Face Alignment và Landmark Detection: Công nghệ này giúp xác định các
điểm quan trọng trên khuôn mặt, hỗ trợ quá trình thay thế khuôn mặt chính xác hơn.
Neural Rendering: Kỹ thuật này sử dụng AI để tạo ra hình ảnh chân thực dựa
trên dữ liệu huấn luyện, giúp video deepfake trông tự nhiên và khớp với ánh sáng, góc nhìn.
Deep Learning Frameworks: Các framework như TensorFlow, PyTorch hỗ
trợ xây dựng và huấn luyện mô hình deepfake, giúp tối ưu hóa khả năng tạo video giả mạo.
II. Cách nhận diện và ngăn chặn deepfake
1. Các phương pháp thủ công.
Mặc dù deepfake ngày càng trở nên tinh vi, vẫn có một số dấu hiệu nhận biết có thể
giúp phát hiện nội dung giả mạo:
Hiệu ứng mắt không tự nhiên: Deepfake thường gặp khó khăn trong việc tái
tạo ánh mắt, khiến nhân vật trong video có ánh nhìn vô hồn hoặc chớp mắt không tự nhiên.
Chuyển động khuôn mặt và môi không đồng bộ: Khi nói, nếu môi và giọng
không khớp nhau hoặc có sự trễ nhẹ, có thể là dấu hiệu của deepfake.
Biến dạng khuôn mặt khi chuyển động nhanh: Khi nhân vật di chuyển đột
ngột, khuôn mặt có thể bị méo mó hoặc mất tự nhiên.
Ánh sáng và bóng không khớp: Deepfake thường gặp khó khăn trong việc
xử lý ánh sáng và bóng đổ sao cho phù hợp với môi trường.
Chi tiết da và kết cấu bị mất hoặc mờ: Hình ảnh deepfake thường có vùng
da quá mịn hoặc bị làm mờ nhằm che giấu khuyết điểm.
Mí mắt và đường viền khuôn mặt không chính xác: Khi nhìn kỹ, có thể
thấy sự chồng chéo hoặc mờ nhòe ở viền khuôn mặt, đặc biệt khi nhân vật quay đầu.
Hiệu ứng hình ảnh bất thường: Một số deepfake có thể tạo ra hiện tượng
nhấp nháy hoặc rung lắc bất thường do thuật toán không xử lý tốt toàn bộ khung hình.
Tỉ lệ khuôn mặt không phù hợp: Đôi khi, khuôn mặt được thay thế có kích
thước hoặc góc nhìn không hoàn toàn trùng khớp với cơ thể.
2. Công cụ AI phát hiện deepfake.
Hiện nay có nhiều công cụ và phần mềm sử dụng trí tuệ nhân tạo để phát hiện deepfake, bao gồm:
Deepware Scanner: Ứng dụng di động giúp kiểm tra xem video có bị chỉnh
sửa bằng deepfake hay không. Công cụ này sử dụng AI để quét các video và
phát hiện các dấu hiệu giả mạo.
Microsoft Video Authenticator: Công cụ do Microsoft phát triển giúp phân
tích các dấu hiệu bất thường trong video bằng AI, chẳng hạn như sự khác biệt
trong tông màu da hoặc ánh sáng giữa các khung hình.
FaceForensics++: Bộ dữ liệu và mô hình giúp phân tích hình ảnh để phát hiện
deepfake. Nó được sử dụng rộng rãi trong nghiên cứu học máy và bảo mật.
AI-Based Detection Models: Các mô hình học sâu sử dụng phân tích quang
phổ, phát hiện chuyển động mắt và kiểm tra sai lệch pixel để nhận diện nội dung giả mạo.
Google Jigsaw's Assembler: Công cụ giúp các nhà báo và chuyên gia phân
tích phát hiện deepfake bằng cách cung cấp các công cụ kiểm tra chi tiết hình ảnh và video.
Adobe Project About Face: Một phần mềm của Adobe giúp phát hiện sự thay
đổi nhỏ nhất trong kết cấu da hoặc tông màu của hình ảnh nhằm phát hiện deepfake.
3. Cách ngăn chặn deepfake cho mục đích xấu
A. Tuyên truyền nâng cao nhận thức
Việc giáo dục cộng đồng về deepfake là một trong những biện pháp quan trọng nhất.
Cần có các chương trình tuyên truyền để giúp mọi người hiểu về deepfake, cách nhận
biết dấu hiệu giả mạo, cũng như những nguy cơ mà nó mang lại cho xã hội, đặc biệt
trong lĩnh vực truyền thông và chính trị.
B. Sử dụng công nghệ Blockchain
Một số nền tảng đang nghiên cứu ứng dụng blockchain để xác thực nguồn gốc video.
Blockchain có thể giúp ghi lại lịch sử chỉnh sửa và đảm bảo tính minh bạch của nội
dung số, giúp phát hiện và ngăn chặn video bị chỉnh sửa phi pháp.
C. Chính phủ và pháp luật can thiệp
Các chính phủ trên thế giới đang xem xét và ban hành các đạo luật để kiểm soát
deepfake. Một số quốc gia đã đưa ra các điều luật cấm phát tán deepfake với mục đích
lừa đảo, bôi nhọ danh dự hoặc gây ảnh hưởng đến bầu cử và chính trị.
D. Nâng cấp công nghệ AI để phát hiện deepfake
Công nghệ phát hiện deepfake cần liên tục được cập nhật để đối phó với các phương
pháp tạo deepfake ngày càng tiên tiến. Các thuật toán AI có thể phân tích sâu hơn vào
chi tiết hình ảnh, phát hiện bất thường về chuyển động, ánh sáng và kết cấu da để
nhận diện nội dung giả mạo.
E. Hợp tác giữa các tổ chức và doanh nghiệp
Việc kiểm soát deepfake cần có sự hợp tác giữa chính phủ, doanh nghiệp công nghệ,
tổ chức truyền thông và các nhà nghiên cứu. Cần có các chiến lược chung để ngăn
chặn deepfake ảnh hưởng đến an ninh thông tin và xã hội.
III. Tác động của deepfake đối với xã hội và an ninh thông tin
1. Fake news & thao túng dư luận.
Deepfake có thể được sử dụng để tạo ra tin tức giả mạo, gây hiểu lầm và thao túng dư luận.
Những video hoặc hình ảnh deepfake có thể khiến công chúng tin vào những sự kiện chưa
từng xảy ra, gây hoang mang và mất niềm tin vào thông tin chính thống. Điều này đặc biệt
nguy hiểm trong các chiến dịch chính trị hoặc các cuộc khủng hoảng xã hội.
Hình ảnh minh họa 1. Giả mạo giấy tờ.
(Nguồn :https://congan.hanam.gov.vn/index.php/vi/news/phong-chong-toi-pham-su-
dungcong-nghe-cao/dung-deepfake-vuot-qua-xac-thuc-online-tai-viet-nam-2244.html)
2. Ảnh hưởng đến danh tiếng cá nhân và chính trị.
Deepfake có thể được sử dụng để bôi nhọ danh tiếng của các cá nhân, đặc biệt là những người
nổi tiếng hoặc chính trị gia. Việc lan truyền các video hoặc hình ảnh giả mạo có thể gây ra
hậu quả nghiêm trọng, từ mất uy tín cá nhân đến tác động đến kết quả bầu cử hoặc sự ổn định
chính trị của một quốc gia.
Hình ảnh minh họa 2. Giả mạo người nổi tiếng.
(Nguồn:https://www.thegioididong.com/tin-tuc/video-deepfake-gia-nguoi-noi-
tiengtran-lan-tren-titok-1450403)

3. Nguy cơ tội phạm công.(lừa đảo, tống tiền)
Deepfake có thể bị tội phạm sử dụng để giả mạo danh tính, tạo ra các video hoặc âm thanh lừa
đảo nhằm chiếm đoạt tài sản hoặc thực hiện các hành vi tống tiền. Chẳng hạn, tội phạm có thể
tạo ra các cuộc gọi giả mạo từ giám đốc công ty để yêu cầu chuyển tiền, hoặc tạo video giả
mạo để ép buộc nạn nhân trả tiền chuộc.
hình ảnh minh họa 3. Lừa đảo qua điện thoại
(Nguồn :https://congan.quangbinh.gov.vn/canh-giac-voi-thu-doan-su-dung-cong-
nghedeepfake-gia-danh-cong-an-lua-dao/)
hình ảnh minh họa 4. tạo hình ảnh, video bằng deepfake để tống tiền.
( Nguồn:https://phuong3.tayninh.gov.vn/vi/news/ca-qs/han-che-dua-thong-tin-ca-nhan-
lenmang-xa-hoi-de-tranh-bi-lua-dao-bang-hinh-anh-video-gia-mao-13484.html)
Những tác động tiêu cực này đòi hỏi sự phối hợp chặt chẽ giữa công nghệ, pháp luật và nhận
thức xã hội để ngăn chặn và giảm thiểu hậu quả do deepfake gây ra. IV. Mở rộng
1. Nguy cơ bảo mật trên mạng xã hội và pháp
Deepfake có thể bị lợi dụng trên mạng xã hội để phát tán nội dung sai lệch, gây mất
an ninh mạng và vi phạm pháp luật. Những video giả mạo có thể tạo ra thông tin sai
lệch, làm ảnh hưởng đến uy tín của cá nhân hoặc tổ chức, thậm chí gây bất ổn xã hội.
Ví dụ, một video giả mạo có thể khiến người xem tin rằng một chính trị gia đã đưa ra
phát ngôn gây tranh cãi, làm ảnh hưởng đến danh tiếng và sự nghiệp của họ.
Trong lĩnh vực pháp lý, deepfake có thể gây khó khăn trong việc xác minh bằng
chứng điện tử. Các video giả mạo có thể bị sử dụng trong các vụ kiện tụng, tạo ra
bằng chứng giả để lừa dối tòa án hoặc các cơ quan điều tra. Điều này đặt ra thách thức
lớn đối với hệ thống pháp lý trong việc xác định tính xác thực của các tài liệu số. Để
đối phó với vấn đề này, các tổ chức pháp lý và công nghệ cần hợp tác để phát triển
công cụ xác thực nội dung số, đồng thời ban hành các quy định chặt chẽ nhằm kiểm
soát việc sử dụng deepfake với mục đích xấu.
2. Phân tích thuật toán phát hiện deepfake
Có nhiều thuật toán và phương pháp tiên tiến để phát hiện deepfake, bao gồm:
Mạng nơ-ron tích chập (CNN - Convolutional Neural Networks): CNN
được sử dụng để phát hiện các bất thường trong hình ảnh và video deepfake
bằng cách phân tích cấu trúc khuôn mặt, ánh sáng, bóng đổ và các chi tiết khác.
GAN-based detection: Sử dụng chính các mạng đối sinh để phát hiện
deepfake bằng cách kiểm tra các lỗi tạo hình từ các mô hình GAN khác.
Phân tích chuyển động vi mô: Deepfake gặp khó khăn trong việc tái tạo các
chuyển động nhỏ trên khuôn mặt như nháy mắt, biểu cảm tinh tế hoặc phản xạ
ánh sáng tự nhiên. Ngoài ra, các thuật toán phân tích sự thay đổi của hình ảnh
theo thời gian cũng giúp phát hiện deepfake dựa trên các bất thường trong video.
Ví dụ, một số nghiên cứu đã phát hiện rằng các video deepfake thường có các vùng da quá
mịn, thiếu lỗ chân lông hoặc nếp nhăn chi tiết như trong video thật. Những điểm bất thường
này có thể giúp nhận diện video giả mạo.
3. Thảo luận về vấn đề pháp luật và trách nhiệm pháp
Nhiều quốc gia đang xem xét hoặc đã ban hành các đạo luật để đối phó với deepfake: -
Hoa Kỳ: Một số bang như California và Texas đã đưa ra các điều luật cấm sử dụng
deepfake với mục đích gây hại, đặc biệt là trong các chiến dịch chính trị. -
Liên minh Châu Âu (EU): Đã có những đề xuất về quy định deepfake trong Đạo
luật Dịch vụ Kỹ thuật số (Digital Services Act) nhằm hạn chế sự lan truyền của nội dung giả mạo. -
Trung Quốc: Trung Quốc đã ban hành quy định yêu cầu các nền tảng công nghệ gắn
nhãn watermark lên nội dung deepfake để cảnh báo người xem.
Bên cạnh đó, vấn đề trách nhiệm pháp lý cũng được đặt ra. Ví dụ, nếu một cá nhân tạo ra
deepfake để bôi nhọ người khác, họ có thể bị truy tố vì tội phỉ báng hoặc phát tán thông tin sai
lệch. Tuy nhiên, việc thực thi luật pháp gặp nhiều thách thức, do khó khăn trong việc truy tìm
nguồn gốc video deepfake và xác định danh tính của người tạo ra nó. Tại Việt Nam
Tại Việt Nam, deepfake chưa có điều luật riêng biệt để quản lý, nhưng có thể bị xử lý theo các quy định trong: -
Luật An ninh mạng 2018: Cấm việc phát tán thông tin sai sự thật, xâm phạm quyền riêng tư. -
Bộ luật Hình sự 2015 (sửa đổi, bổ sung 2017): Các hành vi sử dụng deepfake để lừa
đảo, bôi nhọ danh dự có thể bị xử lý hình sự. -
Nghị định 15/2020/NĐ-CP: Quy định xử phạt hành chính trong lĩnh vực công nghệ
thông tin và an ninh mạng, có thể áp dụng với việc phát tán deepfake sai lệch. Chế tài xử lý
- Hành vi phát tán thông tin giả mạo có thể bị phạt tiền từ 10 - 30 triệu đồng.
- Hành vi sử dụng deepfake để vu khống, xúc phạm danh dự cá nhân có thể bị xử lý hình
sự với mức phạt tù lên đến 5 năm.
- Hành vi giả mạo danh tính để lừa đảo có thể bị xử phạt theo Điều 174 Bộ luật Hình sự với
mức phạt tù từ 2 - 20 năm.
Hướng phát triển khung pháp lý về vấn đề này :
- Xây dựng quy định riêng về deepfake để kiểm soát và xử lý hành vi sai trái.
- Hợp tác quốc tế để ngăn chặn nội dung deepfake xuyên biên giới.
- Nâng cao nhận thức cộng đồng để người dân nhận diện và phòng tránh các nguy cơ từ deepfake.
4. Kiểm tra video giả mạo bằng công cụ thực tế
Hiện nay có nhiều công cụ và phần mềm sử dụng trí tuệ nhân tạo để phát hiện deepfake, bao gồm:
Deepware Scanner: Ứng dụng di động quét và kiểm tra tính xác thực của
video bằng cách phân tích dấu hiệu deepfake.
Microsoft Video Authenticator: Sử dụng AI để phân tích video và xác định
liệu có dấu hiệu của deepfake hay không.
FaceForensics++: Một bộ dữ liệu và thuật toán chuyên sâu hỗ trợ phát hiện
hình ảnh và video giả mạo.
Google Jigsaw's Assembler: Công cụ AI được Google phát triển nhằm giúp
các nhà báo xác minh nội dung truyền thông.
Adobe Project About Face: Một dự án của Adobe giúp phân tích và phát hiện
sự giả mạo trong hình ảnh khuôn mặt.
Các tổ chức báo chí lớn đã bắt đầu sử dụng những công cụ này để xác minh video
trước khi đăng tải, nhằm giảm thiểu nguy cơ lan truyền tin giả. Ngoài ra, nhiều nền
tảng mạng xã hội như Facebook và YouTube cũng đang áp dụng AI để tự động phát
hiện và gỡ bỏ nội dung deepfake có hại.
Những tác động tiêu cực của deepfake đòi hỏi sự phối hợp chặt chẽ giữa công nghệ,
pháp luật và nhận thức xã hội để ngăn chặn và giảm thiểu hậu quả mà công nghệ này có thể gây ra. V. Demo
1. Cách tạo 1 video bằng deepfake
Tạo Video Deepfake Bằng Roop Trên Google Colab A. Giới Thiệu
Deepfake là công nghệ sử dụng AI để thay đổi khuôn mặt trong video một cách tự động và
chính xác. Trong bài báo cáo này, chúng ta sẽ triển khai và chạy Roop, một công cụ deepfake
đơn giản, trên Google Colab để thay đổi khuôn mặt trong video.
B. Các Bước Triển Khai
1. Cài Đặt Roop Trên Google Colab
Chúng ta sẽ sao chép kho mã Roop từ GitHub và cài đặt các thư viện cần thiết:
!git clone https://github.com/FurkanGozukara/roop %cd roop
!pip install onnxruntime-gpu==1.21.0 && pip install -r requirements.txt
!pip install onnxruntime-gpu==1.21.0 --upgrade
Lệnh git clone dùng để tải dự án Roop về Google Colab. Sau đó, ta di chuyển vào thư mục
chính và cài đặt các phụ thuộc.
2. Cài Đặt CUDA Để Tối ưu GPU
Vì Roop yêu cầu GPU để xử lý nhanh chóng, chúng ta cài đặt CUDA: !apt-get update --yes
!apt install nvidia-cuda-toolkit --yes
CUDA giúp gia tăng hiệu suất xử lý trên GPU của Colab.
3. Cài Đặt Thư Viện Bổ Sung
!pip install opennsfw2 keras --upgrade !pip install numpy==1.26.1
Những thư viện này hỗ trợ xử lý hình ảnh và deep learning.
4. Thực Hiện Thay Đổi Khuôn Mặt Trong Video
Dưới đây là hai cách thực hiện thay đổi khuôn mặt:
Cách 1: Thay Đổi Khuôn Mặt Cơ Bản
!python run.py -s "face2.png" -t "test_video.mp4" -o "face_changed_video_v2.mp4" \ --keep-
frames --keep-fps --temp-frame-quality 1 --output-video-quality 1 --executionprovider cuda Trong đó: •
-s "face2.png": Hình ảnh khuôn mặt muốn thay thế. •
-t "test_video.mp4": Video gốc. •
-o "face_changed_video_v2.mp4": Video đã thay đổi khuôn mặt. --execution- provider cuda: Tối ưu GPU.
Cách 2: Thay Đổi Khuôn Mặt Kèm Cải Thiện Chất Lượng
!python run.py -s "face2.png" -t "video3.mp4" -o "face_restored_video3.mp4" \ --keep-frames
--keep-fps --temp-frame-quality 1 --output-video-quality 1 --executionprovider cuda \
--frame-processor face_swapper face_enhancer
--frame-processor face_swapper face_enhancer: Cải thiện khuôn mặt trong video.
5. Lưu Và Tải Xuống Video
Sau khi tạo xong video deepfake, chúng ta làm gói ZIP và tải xuống: import shutil import os from google.colab import files
def zip_directory(directory_path, zip_path):
shutil.make_archive(zip_path, 'zip', directory_path) # Set the directory path
zip_directory('/content/roop/video3', 'video3') files.download('video3.zip')
C Kết Quả Thực Nghiệm
Thành công tạo video deepfake. •
GPU giúp giảm thời gian xử lý. • Hình ảnh cần tạo video • Video gốc • Video sao khi tạo D Kết Luận
Roop dễ dàng tạo deepfake nhanh chóng trên Google Colab. •
GPU CUDA giúp xử lý nhanh hơn. •
Deepfake chưa hoàn hảo do một số khung hình lỗi. •
Hướng phát triển: Kết hợp mô hình AI khác như DeepFaceLab để nâng cao chất lượng deepfake. (Link colab:
(https://colab.research.google.com/drive/1Z05C8SNfwHmAuD_Qt06TeEcl27ePf1od? usp=sharing) 2. Deepfake detection
Các Công Nghệ Sử Dụng:
Google Colab: Môi trường chạy Python trên máy chủ mạnh.
Python: Ngôn ngữ lập trình chính.
OpenCV: Thư viện xử lý ảnh và video.
Timm (Torch Image Models): Cung cấp mô hình Xception.
PyTorch: Framework dùng cho deep learning.
FFmpeg: Hỗ trợ xử lý video
Thuật Toán Sử Dụng
- Trích Xuất Khung Hình Từ Video
Mã nguồn sử dụng OpenCV để tách khung hình (frame) từ video:
cap = cv2.VideoCapture(video_path) frame_count = 0 success,
frame = cap.read() while success: if frame_count % frame_interval == 0:
cv2.imwrite(f"frames/frame_{frame_count}.jpg", frame)
success, frame = cap.read() frame_count += 1 cap.release()
Lý do: Mô hình phân loại deepfake hoạt động trên ảnh, do đó ta cần trích xuất khung hình để xử lý. - Mô Hình Xception
Mô hình Xception (“Extreme Inception”) là biến thể của Inception, tối ưu trong nhiệm vụ phát hiện deepfake.
Xception dựa trên Depthwise Separable Convolutions, giúp giảm số tham số và tăng hiệu suất.
Mô hình huấn luyện trên FaceForensics++ (tập dữ liệu Deepfake). import
timm model = timm.create_model("xception", pretrained=True, num_classes=2) model.eval()
- Tiến Trình Phân Loại Ảnh
Resize ảnh về kích thước 299x299 (chuẩn Xception).
Chuẩn hóa dữ liệu (đồng bố 0.5, 0.5, 0.5). Dự đoán dùng mô hình.
transform = transforms.Compose([
transforms.Resize((299, 299)), transforms.ToTensor(),
transforms.Normalize([0.5], [0.5]) ])
def detect_deepfake(image_path):
image = Image.open(image_path).convert("RGB")
image = transform(image).unsqueeze(0) with
torch.no_grad(): output = model(image)
prediction = torch.argmax(output, dim=1).item()
return "FAKE" if prediction == 1 else "REAL" - . Kết Quả Thực Nghiệm Dữ Liệu Kiểm Tra
Video Deepfake tạo bằng FaceSwap.
Video gốc không chỉnh sửa .
10 khung hình được lấy mỗi video. Kết Quả Loại Video
Khung Hình REAL Khung Hình FAKE Dự Đoán Cuối Video 1 (Thật) 9/10 1/10 REAL Video 2 (Deepfake) 3/10 7/10 FAKE
Độ chính xác cao: Video Deepfake bị nhận diện với tỷ lệ 70% khung hình FAKE.
Sai sót nhỏ: Video thật bị sai 1/10 khung hình do nhiễu nhiễu. 5. Kết Luận
Hệ thống hoạt động tốt với mô hình Xception.
Khả năng phát hiện deepfake nhanh chóng và độ chính xác cao.
Hạn chế: Mô hình có thể bị lỗi với deepfake nếu nó dùng công cao hơn .