BTVN và HDSD _Lab02| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội

BTVN và HDSD _Lab02| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội. Tài liệu gồm 9 trang giúp bạn ôn tập và đạt kết quả cao trong kỳ thi sắp tới. Mời bạn đọc đón xem.

43 22 lượt tải Tải xuống
Chia sẻ Báo cáo tài liệu

Môn: Lưu trữ và xử lý dữ liệu lớn

Trường: Đại học Bách Khoa Hà Nội

Thông tin:

9 trang 2 tuần trước

Tác giả:

Profile Trịnh Thảo Anh
ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
BÁO CÁO
Lưu trữ và xử lý dữ liệu lớn
LAB 02
Nhóm HDSD
Sinh viên thực hiện
Mã sinh viên
Nguyễn Trọng Hải
20183730
Võ Việt Dũng
20183723
Lê Hữu Tiến Dũng
20183719
Ngô Đình Sáng
20183819
Giảng viên: TS. Đào Thành Chung
Hà Nội, 11 – 2021
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
2 | P a g e
MỤC LỤC
MỤC LỤC ................................................................................................................ 2
1. Cấu hình các file yarn-site.xml cho các node .................................................... 3
2. Cấu hình các file mapred-site.xml cho masternode ......................................... 4
3. Khởi động các dịch vụ ......................................................................................... 5
4. Đẩy dữ liệu lên HDFS ......................................................................................... 6
5. Chạy ví dụ MapReduce gồm 2 mapper ............................................................. 7
6. Kết quả chạy ........................................................................................................ 9
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
3 | P a g e
1. Cấu hình các file yarn-site.xml cho các node
• Masternode:
• Datanode1:
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
4 | P a g e
• Datanode 2:
2. Cấu hình các file mapred-site.xml cho masternode
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
5 | P a g e
3. Khởi động các dịch vụ
• Yarn gồm 2 node là datanode 1 và datanode 2
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
6 | P a g e
4. Đẩy dữ liệu lên HDFS
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
7 | P a g e
5. Chạy ví dụ MapReduce gồm 2 mapper
• Bắt đầu chạy ứng dụng MapReduce sẽ giao diện như hỉnh trên
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
8 | P a g e
• Xem nội dung trong file part-0-00000
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
9 | P a g e
6. Kết quả chạy
• Job tên “hdsd” đã hiển thị trên web
| 1/9
| | Tải xuống

Có thể bạn quan tâm:

Preview text:

ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO
Lưu trữ và xử lý dữ liệu lớn LAB 02 Nhóm HDSD
Sinh viên thực hiện Mã sinh viên Nguyễn Trọng Hải 20183730 Võ Việt Dũng 20183723 Lê Hữu Tiến Dũng 20183719 Ngô Đình Sáng 20183819
Giảng viên: TS. Đào Thành Chung Hà Nội, 11 – 2021
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD MỤC LỤC
MỤC LỤC ................................................................................................................ 2
1. Cấu hình các file yarn-site.xml cho các node .................................................... 3
2. Cấu hình các file mapred-site.xml cho masternode ......................................... 4
3. Khởi động các dịch vụ ......................................................................................... 5
4. Đẩy dữ liệu lên HDFS ......................................................................................... 6
5. Chạy ví dụ MapReduce gồm 2 mapper ............................................................. 7
6. Kết quả chạy ........................................................................................................ 9 2 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
1. Cấu hình các file yarn-site.xml cho các node • Masternode: • Datanode1: 3 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD • Datanode 2:
2. Cấu hình các file mapred-site.xml cho masternode 4 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
3. Khởi động các dịch vụ
• Yarn gồm 2 node là datanode 1 và datanode 2 5 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
4. Đẩy dữ liệu lên HDFS 6 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
5. Chạy ví dụ MapReduce gồm 2 mapper
• Bắt đầu chạy ứng dụng MapReduce sẽ giao diện như hỉnh trên 7 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Xem nội dung trong file part-0-00000 8 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD 6. Kết quả chạy
• Job tên “hdsd” đã hiển thị trên web 9 | P a g e