Lưu trữ và xử lý dữ liệu lớn
Danh sách Tài liệu
-
Đề trắc nghiệm BigData và đáp án| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
204 102 lượt tải 3 trangCâu 1: Đầu vào dữ liệu cho chương trình Spark có thể là:
A. Local file
B. HDFS, NFS
C. Amazon S3, Elasticsearch
D. Cả 3 phương án trênDanh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
Quiz Big Data storage and processing| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
200 100 lượt tải 50 trangCâu hỏi: AVRO là gì?
A - Avro là một thư viện tuần tự hóa java.
B - Avro là một thư viện nén java.
C - Avro là một thư viện java tạo các tệp bảng chia nhỏ.
D - Không câu trả lời nào đúng.Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
Đề trắc nghiệm BigData và đáp án| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
247 124 lượt tải 9 trangCâu 1: Đâu là kỹ thuật có thể được dùng để thích nghi các giải thuật học máy cho dữ liệu lớn?
A. Sub-sampling, principal component analysis, feature extraction và feature selection
B. Song song hóa trên Mapreduce hay Spark
C. Các kiến trúc mới xử lý luồng liên tục như mini-batch, complex event processing
D. Tất cả các ý (1), (2), (3)
E. Các ý (2) và (3)Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
BT trắc nghiệm BigData và đáp án| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
387 194 lượt tải 11 trangDữ liệu của Big Data là loại nào ?
A. Structured Data
B. Semi-Structured Data
C. Unstructured Data
D. Tất cảDanh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
Đề 128 câu trắc nghiệm BigData và đáp án| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
628 314 lượt tải 29 trangCâu 1: Trong NameNode, lượng bộ nhớ cần thiết là
A. Tương tự như của node chính
B. Phải có ít nhất một nửa node chính
C. Phải gấp đôi node chính
D. Chỉ phụ thuộc vào số lượng node dữ liệu mà nó sẽ xử lýDanh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
Đề trắc nghiệm BigData và đáp án| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
174 87 lượt tải 11 trang-
Bản chất DStream:
a, là một chuỗi liên tục RDD
b, Là một chuỗi liên tục DataFrame
c, Là một chuỗi liên tục DataSet
d, ko có đáp án đúng
Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề thi, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
-
BigData Storage & Processing| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
156 78 lượt tải 11 trangLec2: Hadoop Ecosystem
1. BTVN (HDFS, chạy Ví dụ về Hadoop)
Hadoop hình thành từ 2008 do Yahooh phát triển
Apache Hadoop thân thiện hơn MapReduce (của Google)
MapReduce là mô thức xử lý dữ liệu mặc định trong Hadoop
- Mục tiêu chính
Lưu trữ dự liệu khả mở (scalability), tin cậy (reliability)
Powerfull data processing
(Efficient visualization)
Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề cương, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
Ôn thi BigData| Môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
165 83 lượt tải 40 trang1. How big is big data?
(Hadoop và Spark)
Big Data 5V
Velocity (speed of generating data) – Variety (types and forms of data) – Value(potential for ...) – Veracity (level of quality, accuracy and uncertainty) – Volume (vast amouns of data, how large can scale?)Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Đề cương, Đáp ánTác giả: Trịnh Thảo Anh6 tháng trước -
PowerPoint BTL IT4931 nhóm 31| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
156 78 lượt tải 21 trangHệ thống cho thấy những lợi ích mà một hệ thống Big Data đem lại như:
-
khả năng lưu trữ, tìm kiếm
-
biểu diễn lượng lớn dữ liệu
-
khả năng mở rộng khi lượng tài nguyên hiện tại không đủ,
-
khả năng chịu lỗi trong một mạng phân tán khi có những thành phần trong mạng gặp trục trặc.
Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Bài tậpTác giả: Trịnh Thảo Anh6 tháng trước -
-
Báo cáo BTL IT4931 nhóm 31| BT môn Lưu trữ và xử lý dữ liệu lớn| Trường Đại học Bách Khoa Hà Nội
277 139 lượt tải 24 trangTrước đây, khi mạng Internet còn chưa phát triển, lượng dữ liệu con người sinh ra khá nhỏ giọt và thưa thớt, nhìn chung, lượng dữ liệu này vẫn nằm trong khả năng xử lý của con người dù bằng tay hay bằng máy tính. Tuy nhiên trong kỷ nguyên số, khi mà sự bùng nổ công nghệ truyền thông đã dẫn tới sự bùng nổ dữ liệu người dùng, lượng dữ liệu được tạo ra vô cùng lớn và đa dạng, đòi hỏi một hệ thống đủ mạnh để phân tích và xử lý những dữ liệu đó.
Danh mục: Đại học Bách Khoa Hà NộiMôn: Lưu trữ và xử lý dữ liệu lớnDạng: Báo cáoTác giả: Trịnh Thảo Anh6 tháng trước