Khóa luận tốt nghiệp: Xây dựng hệ thống nhận diện cảm xúc qua Điện não đồ | Trường Đại học Sư phạm, Đại học Đà Nẵng

lOMoAR cP SD| 59062190 ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM ------
ĐỀ CƯƠNG KHÓA LUẬN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN TÊN ĐỀ TÀI
XÂY DỰNG HỆ THỐNG NHẬN DIỆN CHUYỂN ĐỘNG CƠ CỦA
CON NGƯỜI THÔNG QUA GIẢI MÃ TÍN HIỆU ĐIỆN NÃO ĐỒ
Giảng viên hướng dẫn: TS. Nguyễn Thị Ngọc Anh
Tên sinh viên: Dương Thanh Linh
Lớp: K40.HTTT – Bình Dương
Đà Nẵng, tháng 8 năm 2021 lOMoARcP SD| 5906 219 0 MỤC LỤC 1.
Lý do chọn đề tài..................................................................................1 2.
Mục tiêu của đề tài...............................................................................2 3.
Đối tượng và phạm vi nghiên cứu.......................................................3 4.
Phương pháp nghiên cứu.....................................................................3 4.1. Phương pháp lý
thuyết.......................................................................3 4.2. Phương pháp thực
nghiệm.................................................................3 5.
Ý nghĩa của đề tài.................................................................................3 5.1. Ý nghĩa khoa
học...............................................................................3 5.2. Ý nghĩa thực
tiễn................................................................................4 6.
Dự kiến bố cục nội dung luận văn.......................................................4 7.
Dự kiến kế hoạch thực hiện đề tài.......................................................5 8.
Tài liệu tham khảo...............................................................................6 9.
Thời gian và địa điểm thực tập tốt nghiệp.........................................8 lOMoARcP SD| 5906 219 0 MỞ ĐẦU 1. Lý do chọn đề tài
Cảm xúc là phản ứng của con người đối với các sự kiện hoặc đối tượng, và chúng
có ảnh hưởng đến toàn bộ cơ thể. Chúng là một phần trong cuộc sống hàng ngày của
con người và là một phần thiết yếu của giao tiếp không lời, vì vậy chúng đã được các
nhà tâm lý học nghiên cứu trong nhiều thập kỷ qua. Mỗi đối tượng mà chúng ta tiếp xúc,
là tác động kích thích để chúng ta phản ứng bằng cảm xúc. Nếu kích thích là tích cực,
thì cảm xúc đó sẽ tích cực. Bất kể loại cảm xúc nào, chúng có thể biểu hiện qua nhiều
phương thức biểu hiện cảm xúc khác nhau của con người như tâm sinh lý, biểu hiện
khuôn mặt, cử chỉ hoặc phản ứng sinh học.
Nhận biết cảm xúc nói chung có thể được phân tích thông qua các tín hiệu phi
sinh lý và tín hiệu sinh lý. Nhóm các tín hiệu phi sinh lý chẳng hạn như giọng nói, nét
mặt và tư thế, nhưng các phương pháp này khá chủ quan và phụ thuộc vào tuổi tác và
văn hóa của một người, nó khó có thể chắc chắn về tính xác thực của cảm xúc. Nhóm
các tín hiệu sinh lý, chẳng hạn như nhịp tim, điện trở sinh học của da, hô hấp hoặc tín
hiệu não, cũng như hình ảnh cộng hưởng từ chức năng (fMRI), từ tính não (MEG) và
điện não đồ (EEG), có thể cung cấp nhiều hơn kết quả đáng tin cậy hơn. Bởi vì các tín
hiệu EEG đã được chứng minh là có mối quan hệ chặt chẽ với các trạng thái cảm xúc
trong. Bằng cách phân tích tín hiệu EEG để nhận dạng cảm xúc có độ chính xác phân
loại cao hơn với những thay đổi của cảm xúc.
Cảm xúc của con người đã được sử dụng nhiều thập kỷ qua trong lĩnh vực kỹ
thuật y sinh để điều khiển các thiết bị bằng tín hiệu não. Các tín hiệu EEG được thu thập
từ các điện cực đặt trên hộp sọ của con người, được sử dụng để phân loại và phát hiện
cảm xúc của con người. Rất nhiều nỗ lực từ các nhà nghiên cứu về việc ghi nhận cảm
xúc bằng tín hiệu điện não đồ để đưa vào ứng dụng phát minh một hệ thống nhận dạng
cảm xúc thông minh. Nhưng nhận diện cảm xúc vẫn là một nhiệm vụ rất khó để máy
móc có thể nhận ra. Khi các công cụ học máy phát triển, nhu cầu nhận dạng cảm xúc tự
động của con người tăng lên. Nhận diện cảm xúc có tầm quan trọng lớn trong các lĩnh
vực khác như: Khoa học nhận thức, khoa học máy tính, tâm lý học, khoa học sinh học 1 lOMoARcP SD| 5906 219 0
và trí tuệ nhân tạo. Khi nhu cầu về các ứng dụng di động tăng lên, nhận diện về cảm xúc
đã trở thành một phần không thể thiếu trong việc cung cấp khả năng quản lý cảm xúc
cho con người. Cảm xúc của con người có thể được nhận biết bằng lời nói, hình ảnh
hoặc hình ảnh video, nhưng các hệ thống cho loại hệ thống nhận dạng này có giá thành
rất cao. Nhiệm vụ nhận biết cảm xúc của các tín hiệu não vẫn còn rất khó khăn vì không
có ranh giới tạm thời và trạng thái cảm xúc của con người liên quan đến nhận thức và
hiểu biết của những người tham gia. Giao diện não-máy tính (BCI) cung cấp một cổng
để thu được các tín hiệu EEG liên quan đến các kích thích cảm xúc. Các tín hiệu được
BCI thu thập sẽ giúp hiểu rõ hơn về phản ứng cảm xúc, nhưng vẫn chưa có cách rõ ràng
để giải mã một cách chính xác và sâu rộng về cảm xúc trong.
Với những vấn đề nêu trên tôi đã chọn đề tài: “Xây dựng hệ thống nhận diện
cảm xúc con người thông qua giải mã tín hiệu điện não đồ” làm chủ đề nghiên cứu luận văn thạc sĩ này.
2. Mục tiêu của đề tài
Lĩnh vực nhận dạng cảm xúc dựa trên các đặc điểm của tín hiệu EEG là rất khó
khăn vì tín hiệu EEG là phi tuyến tính, không cố định và chứa một lượng nhiễu đáng kể.
Hơn nữa, các đặc trưng của tín hiệu EEG chủ yếu được trích xuất từ miền thời gian, tần
số hoặc tần số thời gian và gần đây là từ miền không gian. Các nhà nghiên cứu đang xây
dựng các mô hình nhận biết cảm xúc dựa trên các đặc điểm không gian của tín hiệu đã
phần lớn tập trung vào sự bất đối xứng giữa các cặp điện cực. Đó là các phương pháp
đề cập đến sự khác biệt của các tín hiệu được đo bằng điện cực tương ứng trên bán cầu
não trái và phải. Do đó, câu hỏi đặt ra là liệu các đặc điểm không gian của tín hiệu, chứa
thông tin quan trọng liên quan đến việc nhận biết cảm xúc, có thể được trình bày theo
những cách khác hay không?
Mục tiêu chính của đề tài là đề xuất ra mô hình mới, trên cấp độ lý thuyết và thuật
toán để khai thác và phát hiện những cấu trúc ẩn của dữ liệu chuỗi thời gian, áp dụng
trong hoạt động não bộ được ghi lại dưới dạng đa phương thức (tensor) dựa trên những
tiến bộ gần đây của đại số Grassmann và hình học vi phân. Nghiên cứu về tín hiệu điện 2 lOMoARcP SD| 5906 219 0
não đồ, kỹ thuật phân rã Tucker và thật toán phân lớp SVM áp dụng vào bài toán nhận
dạng cảm xúc con người thông qua giải mã tín hiệu điện não đồ.
3. Đối tượng và phạm vi nghiên cứu
Trong khuôn khổ luận văn thuộc loại nghiên cứu và ứng dụng, đề tài chỉ giới hạn
nghiên cứu các vấn đề sau:
 Lý thuyết đại số Grassmann (đại số Tensor), phương pháp phân rã Tucker.
 Các vấn đề liên quan đến học máy, phương pháp Support Vector Machine (SVM).
 Bộ dữ liệu cảm xúc có sẵn công khai: DEAP, SEED, DREAMER và AMIGOS
 Nghiên cứu các vấn đề trên để giải quyết bài toán nhận dạng và phân loại cảm xúc con người.
4. Phương pháp nghiên cứu
4.1. Phương pháp lý thuyết
 Thu thập và nghiên cứu tài liệu có liên quan.
 Nghiên cứu lý thuyết đại số Grassmann, hay còn gọi là đại số Tensor.
 Nghiên cứu kỹ thuật học máy.
 Nghiên cứu lý thuyết về cảm xúc con người.
4.2. Phương pháp thực nghiệm
 Xây dựng kho dữ liệu huấn luyện.
 Tiền xử lí dữ liệu.
 Trích chọn đặc trưng bằng phương pháp phân rã Tucker.
 Xây dựng mô hình phân loại cảm xúc con người.
 Ứng dụng mô hình với kho dữ liệu phân loại cảm xúc con người. 3 lOMoARcP SD| 5906 219 0 5. Ý nghĩa của đề tài 5.1. Ý nghĩa khoa học
Đề tài đang hướng vào ứng dụng công nghệ thông tin trong lĩnh lĩnh vực chăm
sóc sức khỏe, cụ thể là giao diện não-máy tính dựa trên nghiên cứu các EEG. Việc ứng
dụng những xu hướng mới trong việc khai phá dữ liệu cho việc phân tích tính hiệu não
đang nhận được sự quan tâm hàng đầu của các nhà khoa học và các nhà nghiên cứu
nhằm tạo ra những công cụ phân tích linh hoạt. Đóng góp chính của đề tài là đề xuất
cách tiếp cận mới dựa trên đại số Grassmann trong việc trích chọn đặc trưng cho bài
toán nhận diện cảm xúc con người thông qua tín hiệu điện não đồ. 5.2. Ý nghĩa thực tiễn
Hướng đến cuộc cách mạng công nghệ của internet vạn vật, cảm biến y tế có sẵn
trong các thiết bị phục vụ đời sống hằng ngày (điện thoại thông minh, đồng hồ thông
minh), các thiết bị này thu thập và tạo ra rất nhiều dữ liệu. Hệ thống đề xuất có thể trả
lời cho thách thức làm thế nào để phân tích và xử lý những dữ liệu đó. Đề tài nghiên cứu
theo hướng tiếp cận mới, kết quả sẽ được phát hành dưới dạng mã nguồn mở. Vì đề tài
nghiên cứu dựa vào các dữ liệu mở và chia sẻ, mục tiêu là đóng góp kết quả nghiên cứu
như một tác động tiềm năng để thiết kế ra các công cụ mới để phân tích và đánh giá hoạt động của não.
6. Dự kiến bố cục của đề tài Lời cảm ơn Lời cam đoan Mục lục
Danh mục các ký hiệu, các chữ viết tắt Danh mục các bảng Danh mục các hình ảnh Mở đầu
Chương 1: Giới thiệu tổng quan 4 lOMoARcP SD| 5906 219 0
1.1Giới thiệu về điện não đồ (EEG)
1.2Giới thiệu về nhận diện chuyển động cơ của con người
1.3Nhận diện chuyển động cơ con người bằng EEG
Chương 2: Cơ sở lý thuyết
2.1 Đại số Grassmann – Đại số Tensor
2.2 Phương pháp phân rã Tucker cho trích chọn đặc trưng
2.3 Phân lớp với Support Vector Machines
Chương 3: Xây dựng mô hình - Thực nghiệm và đánh giá mô hình
3.1 Mô tả bài toán nhận dạng
3.2 Dữ liệu thực nghiệm 3.3 Đề xuất mô hình
3.4 Thực nghiệm và đánh giá kết quả
Chương 4: Kết luận và hướng phát triển 4.1 Kết luận
4.2 Định hướng phát triển Tài liệu tham khảo
7. Dự kiến kế hoạch thực hiện đề tài Thời gian Thời gian Stt Nội dung công việc Bắt đầu Kết thúc Kết quả cần đạt 5 lOMoARcP SD| 5906 219 0
Chương 1: Giới thiệu tổng Hoàn thành quan nội dung và
1.1 Giới thiệu về điện não đồ viết báo cáo chương 1 (EEG)
1 1.2 Giới thiệu về nhận diện cảm 8/2021 9/2021 xúc con người
1.3 Nhận diện cảm xúc con người bằng EEG
2 Chương 2: Cơ sở lý thuyết 9/2021 15/11/2021 Hoàn thành Thời gian Thời gian Stt Nội dung công việc Bắt đầu Kết thúc Kết quả cần đạt
2.1Đại số Grassmann – Đại số nội dung và Tensor viết báo cáo chương 2
2.2 Phương pháp phân rã Tucker
cho trích chọn đặc trưng 2.3 Phân lớp với Support Vector Machines
Chương 3: Xây dựng mô hình Hoàn thành nội
- Thực nghiệm và đánh giá mô dung và hình viết báo cáo
3.1Mô tả bài toán nhận dạng chương 3 15/11/202 3 01/01/2022
3.2 Dữ liệu thực nghiệm 1 3.3 Đề xuất mô hình
3.4 Thực nghiệm và đánh giá 6 lOMoARcP SD| 5906 219 0
Chương 4: Kết luận và hướng Hoàn thành phát triển chương 4. 01/01/202 4 4.1 Kết luận 01/02/2022 Chỉnh sửa và 2 hoàn thiện
4.2 Định hướng phát triển luận văn 8. Tài liệu tham khảo [1]
N. Tiwari, D. Reddy, E. Shubham, D. Annushree, A. Bablani,
“Braincomputer interface: A comprehensive survey,” Biologically Inspired Cognitive
Architectures, vol. 26, 118126, 2018. [2]
L. F. Nicolas-Alonso and J. Gomez-Gil, “Brain Computer Interfaces:
aReview,” Sensors, 12, 1211-1279, 2012. [3]
H. J. Hwang, S. K. S. Choi and C. H. Im, “EEG-Based Brain-
ComputerInterfaces: A Thorough Literature Survey,” Intl. Journal of Human–Computer
Interaction, 29: 814–826, 2013. [4]
K. W. Ha, J. W. Jeong, “Motor Imagery EEG Classification Using
CapsuleNetworks,” Sensors, Vol. 19, 2854-2874, 2019. [5]
D. Bansal, R. Mahajan, “EEG-Based Brain-Computer Interfaces:
CognitiveAnalysis and Control Applications,” Behavioural Brain Research, 2019. [6]
Z. Tayeb, J. Fedjaev, N. Ghabossi, C. Richter, L. Everding, X. Qu, Y.
Wu,G. Cheng. J. Conradt, “Validating Deep Neural Networks for Online Decoding of
Motor Imagery Movements from EEG Signals,” Sensors, 2019. [7]
F. Lotte, L. Bougrain, C. Cichoki, M. Clerc, M. Congedo,
M.Raotomamonjy, F. Yger, “A review of classification algorithms for EEG-based
braincomputer interfaces: a 10 year update”, Journal of Neural Engineering, 2018. [8]
M. Hamada, B. Zaidan, A. Zaidan, “.A Systematic Review for Human
EEGBrain Signals Based Emotion Classification, Feature Extraction, Brain Condition,
Group Comparison,” Journal of Medical Systems, 2018. 7 lOMoARcP SD| 5906 219 0 [9]
L. Sun, B. Jin, H. Yang, J. Tong, H. Xiong, “Unsupervised EEG
featureextraction based on echo state network,” Information Sciences, Vol. 475, 117, 2019.
[10] P. Boonyakitanont, A. Lek-uthai, K. Chomtho, J. Songsiri, “A review
offeature extraction and performance evaluation in epileptic seizure detection using
EEG,” Biomedical Signal Processing and Control, Vol. 57, 2020. [11] DidarDadebayev, Wei WeiGoh, Ee XionTan, “EEG-based
emotionrecognition: Review of commercial EEG devices and machine learning
techniques”, Journal of King Saud University - Computer and Information Sciences,
Available online 1 April 2021.
[12] Md. Mustafizur Rahman, Ajay Krishno Sarkar, Md. Amzad Hossain,
Md.Selim Hossain, Md. Rabiul Islam, Md. Biplob Hossain, Julian M.W. Quinn,
Mohammad Ali Moni, “Recognition of human emotions using EEG signals: A review”,
Computers in Biology and Medicine, Volume 136, September 2021. [13] Md. RabiulIslam, Md. MilonIslam, Md. Mustafizur
Rahman,ChayanMondal, Suvojit Kumar Singha, Mohiuddin Ahmad, Abdul Awal, Md.
Saiful Islam, Mohammad Ali Moni, “EEG Channel Correlation Based Model for
Emotion Recognition”, Computers in Biology and Medicine, Volume 136, September 2021.
[14] Yi An, Ning Xu, Zhen Qu, “Leveraging spatial-temporal
convolutionalfeatures for EEG-based emotion recognition” Biomedical Signal
Processing and Control, Volume 69, August 2021.
[15] Parthana Sarma, Shovan Barma, “Emotion recognition by
distinguishingappropriate EEG segments based on random matrix theory”, Biomedical
Signal Processing and Control, Volume 70, September 2021
9. Thời gian và địa điểm thực tập tốt nghiệp
9. 1 Thời gian: 12 tuần (từ ngày 04/01/2021 – 11/4/2021.
9.2 Địa điểm: Công Ty TNHH MTV Dịch vụ phần mềm Safehorizons – Đà Nẵng. 8 lOMoARcP SD| 5906 219 0 SINH VIÊN THỰC HIỆN
Ý KIẾN CỦA CÁN BỘ HƯỚNG DẪN
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
Đà Nẵng, ngày tháng năm CÁN BỘ HƯỚNG DÃN
Ý KIẾN CỦA HỘI ĐỒNG CHẤM ĐỀ CƯƠNG
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
..................................................................................................................................... 9 lOMoARcP SD| 5906 219 0
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
.....................................................................................................................................
Đà Nẵng, ngày tháng năm 2021
CÁN BỘ DUYỆT ĐỀ CƯƠNG 10