Brain – Computer Interface | Báo cáo toàn văn nhập môn công nghệ thông tin Trường đại học sư phạm kỹ thuật TP. Hồ Chí Minh

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA CÔNG NGHỆ TÔNG TIN
BÁO CÁO TOÀN VĂN NHẬP MÔN CÔNG NGHỆ THÔNG TIN
Đề bài: Brain – Computer Interface
Giảng viên hướng dẫn: Đinh Công Đoan Nhóm thực hiện: Nhóm 3 Lớp: 231INIT130185_07
Tp Hồ Chí Minh, ngày 7 tháng 12 năm 2023 DANH SÁCH NHÓM Mức độ Phân công Họ và tên MSSV hoàn Nhiệm vụ thành Soạn đề cương, phần mở đầu và Nguyễn Quốc
231102 tổng hợp, chỉnh 100 % Khánh 39 sửa báo cáo, thuyết trình. Soạn chương 1, soạn đề cương, 231103 Mai Hồng Tín nhiệm vụ của luận 100 % 42 văn, chỉnh sửa báo cáo. Nông Thị Ngọc 231103 Soạn chương 3 100 % Châm 74 231102 Cáp Thanh Nhàn Soạn chương 2 100 % 76 Phạm Thị Tuyết 231102 Soạn PowerPoint 100 % Minh 68 Soạn chương 4, Nguyễn Thành
231103 kết luận và kiến 100 % Tài 09 nghị MỤC LỤC PHẦN MỞ
ĐẦU……………………………………………………………………………...1 1. Tính cấp
thiết………………………………………………………………………………1
2. Mục tiêu của luận
án………………………………………………………………………2
3. Cách tiếp cận và phương pháp nghiên
cứu………………………………………………3
4. Phân tích những công trình có liên
quan………………………………………………...3
5. Kết quả dự kiến đạt
được…………………………………………………………………3
CHƯƠNG 1. TỔNG QUAN VỀ TÍN HIỆU ĐIỆN NÃO VÀ XỬ LÝ, PHÂN
TÍCH TÍN HIỆU ĐIỆN
NÃO…………………………………………………………………………….4
1.1 Giới thiệu tổng quát về tín hiệu điện
não………………………………………………4
1.2 Tín hiệu điện não và phương pháp đo tín hiệu từ não
bộ……………………………..5
1.2.1 Chụp quang phổ cận hồng ngoại chức
năng…………………………….6
1.2.2. Chụp Cộng hưởng từ chức
năng………………………………………...6
1.2.3. Chụp cắt lớp phát xạ
positron…………………………………………...7 1.2.4. Từ não
đồ……………………………………………………………….....7
1.2.5 Điện não đồ xâm
lấn……………………………………………………....8 1.2.6. Điện não
đồ………………………………………………………………..8
1.3. Một số phương pháp xử lý, phân tích tín hiệu điện
não………………………9 1.3.1. Biến đổi
wavelet………………………………………………………..9
1.3.2. Phân tích thành phần độc lập trong khử nhiễu tín hiệu điện não….10 1.3.3 Mạng Nơron
wavelet…………………………………………………..11
1.4. Một số ứng dụng hệ giao diện não máy
tính…………………………………..12 1.4.1 Hệ
BCI2000…………………………………………………………….12
1.4.2 Hệ VR-BCI trong phục hồi chức
năng……………………………….13
1.4.3 Một số hệ BCI trong đánh vần kí
tự………………………………….13
1.5 Kết luận chương 1
…………………………………………………………………..….15
CHƯƠNG 2. PHƯƠNG PHÁP HỌC SÂU TỰ MÃ HÓA THƯA WAVELET
TRONG KHỬ TÍN HIỆU ĐIỆN NÃO BẤT THƯỜNG DO NHÁY
MẮT………………………..16 2.1 Đặt vấn
đề…………………………………………………………………………16
2.2 Đề xuất phương pháp học sâu tự mã hóa thưa
wavelet…………………………17
2.2.1 Mạng học sâu tự mã hóa
thưa……………………………………….18
2.3 Phương pháp dò đếm EOG dựa trên biến đổi wavelet
Haar……………………19
2.3.1 Biến đổi wavelet
Haar………………………………………………..19
2.3.2 Thuật toán dò tìm EOG dựa trên biến đổi wavelet Haar………….20
2.4. Mạng học sâu tự mã hóa thưa wavelet trong khử
EOG…………………………….22
2.4.1. Huấn luyện tự
động………………………………………………22
2.4.2 Tự động sửa lỗi tín
hiệu……………………………………………..23
2.5 Độ đo đánh giá kết
quả…………………………………………………………….23 2.6 Kết
quả……………………………………………………………………………...24
2.6.1 Dữ liệu kiểm
thử……………………………………………………...24
2.6.2 Thiết kế thí
nghiệm…………………………………………………..25 2.7 Kết quả thí
nghiệm…………………………………………………………………25
2.7.1 Kết quả trên Tập dữ liệu 1: thực hiện nhiệm vụ chú ý quan sát…25
luận……………………………………………………………...51
4.4 Kết luận Chương
4……………………………………………………………..…54
PHẦN KẾT LUẬN VÀ KIẾN
NGHỊ……………………………………………………..55 TÀI LIỆU THAM
KHẢO………………………………………………………………....59 PHẦN MỞ ĐẦU 1.Tính cấp thiết
Não bộ là một trong những cơ quan quan trọng nhất, về cơ
bản chịu trách nhiệm điều phối toàn bộ các cơ quan khác trong
cơ thể con người. Cơ chế hoạt động của não bộ là một vấn đề
rất phức tạp, đến nay khoa học chưa có lời giải rõ ràng. Nếu não
bộ hoạt động không bình thường có thể do các vấn đề tâm lý
hay xáo trộn về cấu trúc sinh học, một số bệnh liên quan có thể
xuất hiện như suy giảm trí nhớ, tự kỷ/trầm cảm, Parkinson, đột
qụy… Tín hiệu điện não là một cách tiếp cận phù hợp để có thể
đánh giá tình trạng của não bộ trong các trường hợp kể trên do
chất lượng tín hiệu tốt, độ phân giải cao, tính linh động của thiết
bị, an toàn và giá thành hợp lý trong điều kiện Việt Nam nếu so
sánh với các phương pháp thu tín hiệu từ não bộ khác như chụp
cộng hưởng từ, chụp cắt lớp, điện não đồ xâm lấn…
Tín hiệu điện não hay sóng điện não (Electroencephalogram
– EEG) là các giá trị điện thế có giá trị rất nhỏ, tạo ra bởi quá
trình tương tác với nhau của các tế bào thần kinh trong não. Tín
hiệu EEG thường có biên độ trong khoảng từ 10 µV đến 100 µV
và tần số trong dải từ 1 Hz đến 100 Hz. Tín hiệu EEG không tuân
theo phân bố Gauss thông thường và cũng không tĩnh
(nonstationary). Thông thường, tín hiệu EEG cho biết thông tin
về các hoạt động theo nhịp (rhythmic activities) trên các dải tần
số khác nhau như dải tần Delta (0.5–4 Hz), Theta (4-8 Hz), Alpha
(8-13 Hz), Beta (13-30 Hz) và Gamma (30-50 Hz). Phân tích tín
hiệu EEG có thể dẫn đến một số phát hiện như: nhịp Delta
thường được thu được ở các trẻ nhỏ dưới 1 tuổi và trong trạng
thái ngủ sâu của người lớn; nhịp Theta tồn tại ở trẻ em nhỏ dưới
7 tuổi hoặc trẻ em bình thường hoặc ở người lớn trong trạng
thái buồn ngủ hoặc đang ngủ; một lượng lớn tín hiệu nhịp Theta
thu được ở người lớn trong trạng thái tỉnh táo là dấu hiệu cảnh
báo tình trạng bất thường hoặc dấu hiệu bị bệnh...
Một số ứng dụng của hệ BCI có thể kể đến trong việc hỗ trợ
phục hồi chức năng của người bị liệt nửa người do chấn thương
tủy sống [1], cho phép người sử dụng điều khiển các nhân vật
hoạt họa di chuyển trong một trò chơi điện tử dựa trên Xung
phản ứng kích thích thị giác trạng thái ổn định [2], điều khiển con chuột máy tính [3]. 1
phương pháp phân tích tín hiệu điện não dựa trên học có giám
sát, kết quả phân loại tín hiệu sẽ cho thấy mô hình đã được
huấn luyện có thể học và làm tốt đến đâu với 14 dữ liệu tín hiệu
điện não đầu vào đã được gán nhãn. Trong trường hợp xử lý tín
hiệu điện não với phương pháp học không giám sát, luận án sẽ
kiểm chứng việc một thuật toán học máy trong trường hợp cụ
thể có thể làm tốt đến đâu khi đã biết nhiệm vụ nhưng chưa
thực sự thực hiện nhiệm vụ này bao giờ.
- Phát triển một qui trình thu nhận dữ liệu với thiết kế thí
nghiệm riêng để đảm bảo phù hợp với hệ thống BCI có khả năng
điều khiển các thiết bị điện tử gia dụng thông minh: Hiện nay,
rất nhiều nghiên cứu về xử lý, phân tích tín hiệu điện não trên
thế giới sử dụng tập dữ liệu có sẵn được công bố miễn phí và
rộng rãi. Tuy nhiên cách tiếp cận này có một nhược điểm là dữ
liệu thu trước không phải lúc nào cũng phù hợp với nội dung của
nghiên cứu. Một số nghiên cứu khác chủ động tiến hành thu
nhận và sử dụng dữ liệu thu được. Để thực hiện hệ BCI như vậy,
nghiên cứu trong khuôn khổ luận án này đã phát triển một qui
trình thu nhận dữ liệu với thiết kế thí nghiệm riêng để đảm bảo
phù hợp với hệ thống BCI có khả năng điều khiển các thiết bị
điện tử gia dụng thông minh.
3. Cách tiếp cận và phương pháp nghiên cứu: 
Đối tượng nghiên cứu: Nghiên cứu sẽ tập trung vào việc
khảo sát và phân tích tín hiệu điện não, cũng như xác định
khả năng ứng dụng của chúng trong BCI. 
Phạm vi nghiên cứu: Từ việc đánh giá và so sánh các
phương pháp xử lý tín hiệu, đến việc đề xuất mô hình hệ
thống BCI trong điều khiển máy móc.
4. Phân tích những công trình có liên quan:
Chúng ta sẽ tiến hành phân tích kỹ lưỡng những nghiên
cứu, công trình liên quan đã được thực hiện trước đó về BCI và
ứng dụng của nó trong điều khiển máy móc. Điều này sẽ giúp
định hình được nền tảng kiến thức và hiểu rõ sâu hơn về trạng
thái hiện tại của lĩnh vực này.
5. Kết quả dự kiến đạt được: 3
Kết quả dự kiến của luận văn này sẽ là việc áp dụng kiến
thức từ các nghiên cứu, đề xuất các phương pháp mới và tiến bộ
trong việc xây dựng giao diện não máy tính để tạo ra một hệ
thống BCI có khả năng điều khiển máy móc bằng ý nghĩ một
cách hiệu quả và đáng tin cậy. 4
- Delta: Tần số < 4Hz, biên độ thường cao. Delta là dạng tín
hiệu điện liên quan đến sự nghỉ ngơi và tái tạo của não. Delta
xuất hiện khi người ở trong trạng thái ngủ sâu. Hình 1. Cấu trúc não bộ
1.2. Tín hiệu điện não và phương pháp đo tín hiệu từ não bộ.
Một số phương pháp khác nhau ghi lại hoạt động của não (Hình 2), đó là:
- Chụp quang phổ cận hồng ngoại chức năng (Functional Near-Infrared Spectroscopy - fNIRS).
- Chụp cộng hưởng từ chức năng (functional magnetic resonance imaging - fMRI).
- Chụp cắt lớp phát xạ positron (Positron emission tomography - PET).
- Từ não đồ (Magnetoencephalography - MEG).
- Điện não xâm lấn (Electro-corticography - ECoG).
- Điện não đồ (Electroencephalography - EEG). 6
Hình 2. Các phương thức thu tín hiệu từ não bộ (a) (a) fNIRS,
(b) fMRI, (c) PET, (d) MEG, (e) EcoG và (f) EEG
1.2.1. Chụp quang phổ cận hồng ngoại chức năng:
Phương pháp chụp quang phổ cận hồng ngoại chức năng
(Functional NearInfrared Spectroscopy - fNIRS). Đây là một kỹ
thuật không xâm lấn được sử dụng để đo lường hoạt động não
bằng cách theo dõi sự thay đổi trong cường độ của ánh sáng
hồng ngoại gần khi nó đi qua não. Trong quá trình hoạt động,
máy đo sẽ phát ánh sáng hồng ngoại gần vào da của đối tượng,
và sau đó, các cảm biến sẽ đo lường lượng ánh sáng được phản
xạ hoặc được hấp thụ bởi não. Những thay đổi này có thể liên
quan đến sự hoạt động của các phần khác nhau của não. fNIRS
được thực hiện dựa trên nguyên lí tia sáng ở phổ cận hồng
ngoại với bước sóng từ 700-900 nm bị hấp thụ mạnh bởi
hemoglobin (Hb) và deoxygenated-hemoglobin (deoxy-Hb) vốn
có trong máu nhưng có thể dễ dàng đi xuyên qua da, xương và
các mô tế bào. fNIRS cho phép theo dõi và phát hiện những sự
thay đổi mang tính tương đối trong lưu thông máu não dựa trên
sự khác biệt về mức độ bị hấp thụ các tia sáng ở phổ cận hồng ngoại này.
Chứng tỏ được nhiều ưu điểm về độ chính xác và chất
lượng của tín hiệu thu được, fNIRS thu hút sự quan tâm của
nhiều nhóm nghiên cứu trên thế giới nhưng ở Việt Nam phương
pháp này vẫn còn khá mới mẻ. Ngoài những ưu điểm trên, cản
trở lớn nhất của việc nghiên cứu phổ biến fNIRS là ở chi phí sử
dụng cao, việc thiết lập hệ thống vẫn còn phức tạp. Ngoài ra
fNIRS có một nhược điểm rất lớn là không thể sử dụng để thăm
dò hoạt động não ở khu vực sâu hơn 4 cm do những hạn chế 7
này để tạo ra hình ảnh về phân bố của chất phát xạ trong cơ thể.
Trong nghiên cứu não, PET thường được sử dụng để đo
lường sự tiêu thụ glucose trong các khu vực não khác nhau. Sự
tăng hoặc giảm tiêu thụ glucose có thể liên quan đến hoạt động
não, và do đó, PET có thể cung cấp thông tin về chức năng não.
Chụp Positron cắt lớp cho phép phát hiện nguồn năng
lượng được phóng thích bởi các hạt positron vốn là những hạt
nhỏ được hình thành khi mà chất đánh dấu phóng xạ bị phá vỡ
trong cơ thể. Tia gamma được sinh ra khi các hạt positron bị
phá vỡ và sẽ được phát hiện bởi máy quét tạo nên hình ảnh
không gian 3 chiều. Thông qua hình ảnh thu được cho thấy các
cơ quan trong cơ thể hoạt động bình thường hay bất thường.
Cũng giống như fMRI, thiết bị chụp PET thường có kích
thướng lớn, cồng kềnh, không di chuyển được và yêu cầu bất
động cơ thể người thu tín hiệu. Ngoài ra việc đưa chất đánh dấu
trong phức hợp đánh dấu phóng xạ vào cơ thể người cũng có
thể gây ra các tác dụng phụ không mong muốn. 1.2.4. Từ não đồ:
Từ não đồ MEG là một kỹ thuật thần kinh chức năng cho
phép lập bản đồ hoạt động của não bằng cách ghi nhận từ
trường sinh ra bởi dòng điện sinh học, có giá trị rất nhỏ, gây ra
do hoạt động của các tế bào thần kinh. MEG là một phương
pháp không xâm lấn cho phép đo sự thay đổi của trường điện từ
dựa trên hoạt động của tế bào thần kinh với độ phân giải cao
trong dải giá trị từ femto tesla (10-15T) tới pico tesla (10-12T).
Từ trường của trái đất ở cỡ 10-4 đến 10- 5 T. MEG thường được
kết hợp với phương pháp đo tín hiệu hình ảnh cộng hưởng từ
MRI, được gọi là phương pháp chẩn đoán hình ảnh dựa trên
nguồn từ trường (Magnetic source imaging - MSI) để có được
thông tin về cấu trúc não bộ tốt hơn.
Để thu được tín hiệu từ não đồ, cần phải giải quyết được
hai vấn đề đó là việc ghi nhận giá trị từ trường rất nhỏ phát ra
từ não bộ và giảm thiểu ảnh hưởng của từ trường trái đất vốn có
giá trị lớn hơn nhiều so với từ não bộ. Kỹ thuật được sử dụng để
thu tín hiệu từ não đồ là thiết bị giao thoa kế lượng tử siêu dẫn
(super-conducting quantum interference detector). Để duy trì 9
được chất siêu dẫn, môi trường được giữ ổn định ở nhiệt độ rất
thấp, khoảng 3°C sử dụng dung dịch helium.
Như vậy, từ não đồ là phương pháp đo tín hiệu não bộ
chứa nhiều thông tin, có độ phân giải và chất lượng tốt nhưng
sử dụng thiết bị khá cồng kềnh, công nghệ phức tạp dẫn đến
không di chuyển được và giá thành đắt.
1.2.5 Điện não đồ xâm lấn:
Điện não đồ xâm lấn (electro-corticography - ECoG) là một
phương pháp xâm lấn, dùng phẫu thuật mở hộp sọ để đặt các
điện cực trực tiếp lên bề mặt não bộ nhằm ghi lại các hoạt động
điện của não. Trong kĩ thuật ECoG, thường dùng các bộ điện cực
vô trùng được chế tạo từ thép không gỉ, bạch kim hoặc hợp kim
của vàng. Các điện cực thường có đường kính 5 mm được đặt
trên lưới điện cực trong suốt với khoảng cách tiêu chuẩn giữ hai
điện cực là 1 cm và được đánh số thứ tự. Các điện cực được
thiết kế một cách linh hoạt để không gây tổn thương não trong
những chuyển động nhỏ và được đặt để tiếp xúc trực tiếp trên
bề mặt não nhưng không làm tổn thương các tế bào thần kinh.
Phương pháp ECoG cho tín hiệu có độ phân giải không gian
cao hơn nhiều so với EEG. Thiết bị ghi, cụ thể là điện cực và
cách đặt điện cực ảnh hưởng lớn đến độ phân giải không gian
của kĩ thuật ECoG. Tuy có nhiều ưu điểm về chất lượng tín hiệu
nhưng do là một kĩ thuật xâm lấn đòi hỏi phẫu thuật nên ECoG
nên việc chuẩn bị và tiến hành kĩ thuật này là phức tạp hơn rất
nhiều so với các kĩ thuật khác, do đó ECoG phần lớn được chỉ
định trong điều trị y học nhiều hơn là trong nghiên cứu.
1.2.6. Điện não đồ:
Điện não đồ (Electroencephalography - EEG) là một
phương pháp phổ biến để đo lường hoạt động điện của não.
Trong quá trình này, các điện cực được đặt lên da đầu để ghi lại
các tín hiệu điện từ hoạt động của các tế bào não. EEG thường
được sử dụng để nghiên cứu các biến đổi ngắn hạn trong hoạt
động não, như sóng não theta, alpha, beta, và gamma.
EEG có khả năng ghi lại dữ liệu thời gian thực, giúp theo
dõi các sự kiện ngắn hạn và biến đổi trong hoạt động não một
cách chính xác. Độ phân giải thời gian của EEG rất cao, giúp
phân tích sự kiện xảy ra ở mức độ miligisecond. So với một số 10
khi được sử dụng để phân tích tín hiệu sẽ thể hiện thông tin đầu
ra khu trú rất rõ trên cả miền thời gian và tần số. So với phép
biến đổi Fourier (sử dụng duy nhất hàm mũ), phép biến đổi
wavelet có tính linh động cao vì có thể lựa chọn các hàm
wavelet khác nhau trong họ hàm wavelet sao cho thích hợp với
bài toán (hình dạng của hàm wavelet phù hợp với tín hiệu cần
phân tích) để kết quả phân tích là tốt nhất. Các hàm cơ sở
wavelet có thể được xây dựng từ một hàm wavelet mẹ duy nhất
𝜓(𝑡) được định nghĩa như sau:
Trong đó a là tỉ lệ (nghịch đảo của tần số) và 𝜏 là dịch
chuyển đặc trưng vị trí. Biến đổi wavelet liên tục (Continuous
wavelet transform - CWT) của một tín hiệu 𝑥(𝑡) được định nghĩa
là hệ số tương quan (correlation) giữa hàm cơ sở wavelet và
chính tín hiệu đó. CWT của 𝑥(𝑡) được định nghĩa bởi công thức sau:
Trong đó 𝜓∗(𝑡) là biến đổi phức liên hợp của 𝜓(𝑡). Phương
trình (2) ở trên cho thấy trong phép biến đổi CWT, một sóng nhỏ
wavelet được cho đi qua tín hiệu cần phân tích. Kết quả thu
được là một tập các hệ số wavelet đại diện cho hình ảnh trên
các bậc hay dải tần khác nhau trên miền thời gian và tần số của
tín hiệu phân tích. Tham số tỉ lệ a đóng vai trò quan trọng trong
phép biến đổi wavelet. Khi giá trị của a thay đổi từ lớn xuống
bé, hàm cơ sở wavelet trở nên “giãn” ra và trơn hơn tương ứng
với tần số thấp hơn. Theo đó, các thành phần tín hiệu chứa tần
số thấp có thể được phân tích với các sóng wavelet trơn như
vậy có thể đem lại thông tin phân tích hết sức hữu ích. Đặc biệt
trong điều kiện tín hiệu điện não thường bị ảnh hưởng bới các
loại nhiễu trong đó có tín hiệu bất thường do nháy mắt EOG vốn
thường xuất hiện ở giải tần thấp.
Wavelet cho phép điều chỉnh độ phân giải theo tần số và
thời gian, giúp nghiên cứu tần số cụ thể hoặc các sự kiện ngắn
hạn trong tín hiệu EEG nên nó thường được sử dụng để nghiên
cứu các trạng thái tâm lý, như giấc ngủ, và để phát hiện các 12
biến động đặc trưng trong tín hiệu EEG liên quan đến các sự
kiện như cơn co giật. Mặc dù Wavelet có nhiều ưu điểm, nhưng
xử lý dữ liệu lớn có thể là một thách thức do yêu cầu tính toán cao.
1.3.2. Phân tích thành phần độc lập trong khử
nhiễu tín hiệu điện não
Phương pháp phân tích thành phần độc lập (Independent
component analysis - ICA) là một kĩ thuật tách nguồn mù
thường được sử dụng trong khử nhiễu tín hiệu điện não. Các kĩ
thuật tách nguồn mù thường được sử dụng phổ biến với mục
đích đánh giá các nguồn tín hiệu ban đầu từ tập hợp các tín
hiệu trộn của chúng dù không có hoặc có rất ít thông tin về quá
trình trộn cũng như tín hiệu gốc ban đầu. Ý tưởng của phương
pháp ICA dựa trên việc coi mỗi kênh tín hiệu thu được là kết quả
của việc trộn nhiều nguồn tín hiệu gốc.
Quá trình trộn sử dụng một ma trận trộn (kí hiệu là W-1)
được mô tả bằng công thức x= W-1*s Trong đó:
-x là các tín hiệu thu được ở mỗi điểm đặt điện cực trên vỏ da đầu.
-s là tín hiệu trộn của nhiều nguồn tín hiệu gốc nằm bên trong bộ não.
Mô hình ICA cơ bản yêu cầu các giả thiết sau phải được thỏa mãn:
- Các nguồn tín hiệu ban đầu phải độc lập thống kê với nhau.
- Không có nguồn nào có phân bố Gauss, hoặc tối đa chỉ có 1 nguồn có phân bố Gauss.
- Ma trận trộn W-1 là ma trận vuông (số tín hiệu nguồn bằng số tín hiệu trộn).
Có nhiều thuật toán để thực hiện phương pháp ICA như
infomax, FastICA, JADE... Về mặt toán học, các giả thiết ban đầu
của mô hình ICA tuyến tính có thể đặt vào trường hợp của tín
hiệu EEG mà không làm thay đổi bản chất của tín hiệu. Trong
phân tích tín hiệu điện não EEG, phương pháp ICA được sử dụng
nhiều nhất trong xử lí nhiễu, đặc biệt là tín hiệu bất thường do 13