BTVN và HDSD_Lab03| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội

BTVN và HDSD_Lab03| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội. Tài liệu gồm 12 trang giúp bạn ôn tập và đạt kết quả cao trong kỳ thi sắp tới. Mời bạn đọc đón xem.

51 26 lượt tải Tải xuống
Chia sẻ Báo cáo tài liệu

Môn: Lưu trữ và xử lý dữ liệu lớn

Trường: Đại học Bách Khoa Hà Nội

Thông tin:

12 trang 2 tháng trước

Tác giả:

Profile Trịnh Thảo Anh
ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
BÁO CÁO
Lưu trữ và xử lý dữ liệu lớn
LAB 03
Nhóm HDSD
Sinh viên thực hiện
Mã sinh viên
Nguyễn Trọng Hải
20183730
Võ Việt Dũng
20183723
Lê Hữu Tiến Dũng
20183719
Ngô Đình Sáng
20183819
Giảng viên: TS. Đào Thành Chung
Hà Nội, 11 – 2021
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
2 | P a g e
MỤC LỤC
MỤC LỤC ................................................................................................................ 2
1. Tải và bật dịch vụ ElasticSearch .................................................................... 3
2. Cấu hình file elasticsearch.yml ...................................................................... 3
3. Chạy ElasticSearch và kiểm tra dịch vụ trên các node ............................... 7
4. Tải và cấu hình Kibana ................................................................................... 8
5. Giao diện quản lý các Node của Kibana ..................................................... 10
6. Đẩy dữ liệu mẫu và quan sát sự phân tán của dữ liệu tại 2 DataNode .... 10
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
3 | P a g e
1. Tải và bật dịch vụ ElasticSearch
2. Cấu hình file elasticsearch.yml
• Tại MasterNode (IP: 192.168.56.2/24):
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
4 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
5 | P a g e
• Tại DataNode 1 (IP: 192.168.56.3/24):
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
6 | P a g e
• Tại DataNode 2 (IP: 192.168.56.4/24):
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
7 | P a g e
3. Chạy ElasticSearch và kiểm tra dịch vụ trên các node
• Tại MasterNode:
• Tại DataNode 1:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
8 | P a g e
• Tại DataNode 2:
• Trạng thái của Cluster:
4. Tải và cấu hình Kibana
• Tải Kibana:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
9 | P a g e
• Cấu hình file kibana.yml:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
10 | P a g e
5. Giao diện quản lý các Node của Kibana
6. Đẩy dữ liệu mẫu và quan sát sự phân tán của dữ liệu tại 2 DataNode
• Quan sát giao diện quản lý dữ liệu được đẩy vào:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
11 | P a g e
• Quan sát sự phân tán của dữ liệu tại 2 DataNode:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
12 | P a g e
Có thể quan sát thấy dữ liệu đã được phân tán trên DataNode 1
(192.168.56.3) và DataNode 2 (192.168.56.4)
| 1/12
| | Tải xuống

Có thể bạn quan tâm:

Preview text:

ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO
Lưu trữ và xử lý dữ liệu lớn LAB 03 Nhóm HDSD
Sinh viên thực hiện Mã sinh viên Nguyễn Trọng Hải 20183730 Võ Việt Dũng 20183723 Lê Hữu Tiến Dũng 20183719 Ngô Đình Sáng 20183819
Giảng viên: TS. Đào Thành Chung Hà Nội, 11 – 2021
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD MỤC LỤC
MỤC LỤC ................................................................................................................ 2 1.
Tải và bật dịch vụ ElasticSearch .................................................................... 3 2.
Cấu hình file elasticsearch.yml ...................................................................... 3 3.
Chạy ElasticSearch và kiểm tra dịch vụ trên các node ............................... 7 4.
Tải và cấu hình Kibana ................................................................................... 8 5.
Giao diện quản lý các Node của Kibana ..................................................... 10 6.
Đẩy dữ liệu mẫu và quan sát sự phân tán của dữ liệu tại 2 DataNode .... 10 2 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
1. Tải và bật dịch vụ ElasticSearch
2. Cấu hình file elasticsearch.yml
• Tại MasterNode (IP: 192.168.56.2/24): 3 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD 4 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Tại DataNode 1 (IP: 192.168.56.3/24): 5 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Tại DataNode 2 (IP: 192.168.56.4/24): 6 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
3. Chạy ElasticSearch và kiểm tra dịch vụ trên các node • Tại MasterNode: • Tại DataNode 1: 7 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD • Tại DataNode 2:
• Trạng thái của Cluster:
4. Tải và cấu hình Kibana • Tải Kibana: 8 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Cấu hình file kibana.yml: 9 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
5. Giao diện quản lý các Node của Kibana
6. Đẩy dữ liệu mẫu và quan sát sự phân tán của dữ liệu tại 2 DataNode
• Quan sát giao diện quản lý dữ liệu được đẩy vào: 10 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Quan sát sự phân tán của dữ liệu tại 2 DataNode: 11 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
 Có thể quan sát thấy dữ liệu đã được phân tán trên DataNode 1
(192.168.56.3) và DataNode 2 (192.168.56.4) 12 | P a g e