BTVN và HDSD _Lab02| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội

ĐẠI HỌC BÁCH KHOA HÀ NỘI
TRƯỜNG CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO
Lưu trữ và xử lý dữ liệu lớn LAB 02 Nhóm HDSD
Sinh viên thực hiện Mã sinh viên Nguyễn Trọng Hải 20183730 Võ Việt Dũng 20183723 Lê Hữu Tiến Dũng 20183719 Ngô Đình Sáng 20183819
Giảng viên: TS. Đào Thành Chung Hà Nội, 11 – 2021
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD MỤC LỤC
MỤC LỤC ................................................................................................................ 2
1. Cấu hình các file yarn-site.xml cho các node .................................................... 3
2. Cấu hình các file mapred-site.xml cho masternode ......................................... 4
3. Khởi động các dịch vụ ......................................................................................... 5
4. Đẩy dữ liệu lên HDFS ......................................................................................... 6
5. Chạy ví dụ MapReduce gồm 2 mapper ............................................................. 7
6. Kết quả chạy ........................................................................................................ 9 2 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
1. Cấu hình các file yarn-site.xml cho các node • Masternode: • Datanode1: 3 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD • Datanode 2:
2. Cấu hình các file mapred-site.xml cho masternode 4 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
3. Khởi động các dịch vụ
• Yarn gồm 2 node là datanode 1 và datanode 2 5 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
4. Đẩy dữ liệu lên HDFS 6 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
5. Chạy ví dụ MapReduce gồm 2 mapper
• Bắt đầu chạy ứng dụng MapReduce sẽ giao diện như hỉnh trên 7 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD
• Xem nội dung trong file part-0-00000 8 | P a g e
Lưu trữ và xử lý dữ liệu lớn Nhóm HDSD 6. Kết quả chạy
• Job tên “hdsd” đã hiển thị trên web 9 | P a g e