Quy trình Phân Tích Dữ Liệu: 6 Bước Cơ Bản và Chiến Lược (EMC) Môn Tin học đại cương | Trường Đại học Tài chính - Marketing

Data: a coolection of facts
Sáu bước của quy trình phân tích dữ liệu mà bạn đã học trong chương trình này là: hỏi, chuẩn
bị, xử lý, phân tích, chia sẻ và hành động
- kích thước của phân tích dữ liệu d a trên lư ng u t đ nh bạn bi t
+ đưa t vài u t đ nh quan trọng tr ng đi u iện không ch c ch n -> liệu th ng kê
+ đưa ra nhi u u t đ nh tr ng đi u iện h ng ch c ch n -> t đ ng h a học á và AI
+ không bi t đưa ra u t đ nh n u n khám phá, n -> phân tích
• Hỏi: thách thức kinh doanh, ục tiêu h ặc câu hỏi
• Chuẩn bị: tạ dữ liệu thu thập lưu trữ và uản lý dữ liệu
• Quy trình: làm ạch dữ liệu v tính toàn vẹn dữ liệu
• Phân tích: khám phá dữ liệu tr c uan h a và phân tích
• Chia sẻ: tru n đạt và giải thích t uả
• Hành động: đưa những hi u bi t u c vào công việc đ giải u t v n đ - QUY
Quy trình phân tích dữ liệu của EMC
Quy trình phân tích dữ liệu của ập đ n EMC là theo chu ỳ với sáu bước 1. Khám phá
2. Dữ liệu xử lý trước 3. Lập h ạch mô hình 4. Xây d ng mô hình 5. ru n đạt t uả
6. Vận hành ➔ https://onlinelibrary.wiley.com/doi/chapter-epub/10.1002/9781119183686.fmatter SAS, ….
- ệ sinh thái dữ iệu là gì ( phân tích dữ liệu ph h p với hệ th ng đ đ u )
1. hệ sinh thái dữ liệu bao gồ các phần tử khác nhau h ạt đ ng c ng nhau. bao gồ
các c ng cụ phần cứng v phần dữ liệu v những ngư i l việc với dữ liệu.
2. Đám mây đ ng t vai trò quan trọng trong hệ sinh thái dữ liệu vì n cho phép lưu trữ
v tru cập dữ liệu tr c tu n.
3. Nhà phân tích dữ liệu đ ng t vai trò quan trọng trong việc ử dụng hệ sinh thái dữ
liệu b ng cách t th ng tin chi ti t t dữ liệu đ đưa ra u t đ nh áng u t hơn.
4. khác biệt giữa nhà khoa học dữ liệu (ngư i tạ ra những cách ới đ lập mô hình v
hi u những đi u chưa bi t) và nhà phân tích dữ liệu (ngư i t c u trả l i ch các c u
hỏi hiện c b ng cách ph n tích dữ liệu .
5. khác biệt giữa phân tích dữ liệu – Data analysis (quá trình thu thập chu n đổi và tổ
chức dữ liệu v phân tích dữ liệu – Data analytics ( t ng nh h a học r ng lớn hơn
ba gồ việc uản l v ử dụng dữ liệu c ng như các c ng cụ v phương pháp đư c ử dụng .
- Dữ liệu v bản năng ru t
1. Các nhà phân tích dữ liệu c th ử dụng t h p dữ liệu i n thức kinh doanh và tr c giác.
2. r c giác c th hữu ích nhưng không nên thay th phân tích dữ liệu.
3. Việc cân b ng dữ liệu và tr c giác phụ thu c vào các ục tiêu và giới hạn th i gian cụ th của d án.
- năng chính phân tích dữ liệu
• Sự tò mò: Mong u n học hỏi những đi u ới.
• Hiểu bối cảnh: hận thức đư c đi u iện và môi trư ng xung quanh thông tin.
• Tư duy kỹ thuật: Chia nhỏ v n đ thành các bước nhỏ hơn dễ uản lý hơn.
• Thiết kế dữ liệu: ổ chức thông tin t cách c c u trúc và c ý nghĩa.
• Chiến lược dữ liệu: Quản lý con ngư i quy trình và công cụ đư c ử dụng trong phân tích dữ liệu. - Tư duy phân tích:
• hả năng hình dung thông tin bi u diễn đồ họa của thông tin, vd: đồ họa bản đồ…
• Lập chiến lược cách ti p cận dữ liệu
ư duy chi n lư c trong phân tích dữ liệu liên quan đ n việc xác đ nh ục tiêu rõ ràng cho
ph n tích của bạn trước hi bạn b t đầu x x t dữ liệu đ đi đ ng hướng
+ Mục tiêu của tôi là gì? Ví dụ i u n xác đ nh ản ph bán chạ nh t tr ng quý trước.
+ Dữ liệu nào tôi cần để đạt được mục tiêu đó? Trong trư ng h p này, bạn cần dữ liệu v d anh của t ng ản ph .
+ Làm cách nào để phân tích dữ liệu này để có được thông tin chi tiết có ý nghĩa?
• Định hướng vấn đề: quá trình xác đ nh rõ ràng và cụ th v n đ cần giải u t b ng cách ử dụng dữ liệu
• hận ra sự tương quan trong dữ liệu mức độ liên hệ giữa hai u t .
ương quan thuận ngh ch không tương quan
Tương quan không đồng nghĩa với nhân quả.
Ví dụ việc cả nh A và nh B đ u tăng vào a hè không có nghĩa là ăn kem hi n ngư i
ta u n đi bơi h ặc ngư c lại. th d th i ti t n ng n c l ngu n nh n d n đ n cả hai
• Nắm bắt bức tranh lớn và chú ý đến chi tiết: hi u đư c toàn b tình hình, v n đ h ặc
ục ti u t cách tổng uát tha v ch tập trung v những chi ti t nhỏ l .
+ hả năng phân tích c t lõi
• Các câu hỏi chính mà nhà phân tích dữ liệu thường đặt:
o Nguyên nhân g c rễ của v n đ là gì? ( ử dụng phương pháp "5 câu hỏi tại sao")
o hững h ảng tr ng trong quy trình của chúng ta là gì? ( ử dụng phân tích h ảng cách
o i u gì chúng ta chưa xem xét trước đ ?
• Phân tích khoảng cách là t công cụ đ xác đ nh v trí hiện tại của bạn v trí bạn
u n đ n v cách thu hẹp h ảng cách đ .
- a qu ết định dựa tr n dữ liệu: ha v d a v tr c giác h ặc phỏng đ án
việc ra u t đ nh d a trên dữ liệu ử dụng phân tích đ đưa ra u t đ nh áng u t hơn.
• Kỹ năng phân tích: Ph ch t và đặc đi liên quan đ n việc ử dụng dữ iện đ giải u t v n đ
• Tư duy phân tích: Quá trình xác đ nh và xác đ nh t v n đ sau đ giải u t n b ng
cách ử dụng dữ liệu t cách c tổ chức t ng bước
• Bối cảnh: i u iện trong đ t cái gì đ tồn tại h ặc xả ra
• Dữ liệu: t tập h p các iện
• Phân tích dữ liệu: Việc thu thập chu n đổi và tổ chức dữ liệu đ đưa ra t luận đưa
ra d đ án v th c đ việc ra u t đ nh áng u t
• Nhà phân tích dữ liệu: t ngư i thu thập chu n đổi và p x p dữ liệu đ đưa ra t
luận đưa ra d đ án v th c đ việc ra u t đ nh áng u t
• Phân tích dữ liệu: Khoa học v dữ liệu
• Thiết kế dữ liệu: Cách tổ chức thông tin
• Ra qu ết định dựa trên dữ liệu: Sử dụng thật đ hướng d n chi n lư c kinh doanh
• Hệ sinh thái dữ liệu: Các u t khác nhau tương tác với nhau đ tạ ra, uản lý, lưu trữ
tổ chức ph n tích v chia dữ liệu
• Khoa học dữ liệu: t lĩnh v c nghiên cứu ử dụng dữ liệu thô đ tạ ra những cách
ới đ mô hình h a và hi u những đi u chưa bi t
• Chiến lược dữ liệu: Quản lý con ngư i quy trình và công cụ đư c ử dụng trong phân tích dữ liệu
• Trực quan hóa dữ liệu: Bi u diễn đồ họa của dữ liệu
• Tập dữ liệu: t tập h p dữ liệu c th đư c thao tác h ặc phân tích dưới dạng t đơn v
• Phân tích khoảng cách: t phương pháp đ i tra và đánh giá tình trạng hiện tại
của t quy trình nh xác đ nh các cơ h i cải ti n tr ng tương lai
• Nguyên nhân gốc rễ: Lý do tại a t v n đ xả ra
• Tư duy kỹ thuật: hả năng chia nhỏ ọi thứ thành các bước h ặc ảnh nhỏ hơn và l
việc với ch ng t cách c trật t v h p l
• Trực quan hóa: (Tham hả tr c quan h a dữ liệu - V D L
• Kế hoạch: Quyết định loại dữ liệu nào là cần thiết, nó sẽ được quản lý như thế
nào và ai sẽ chịu trách nhiệm về nó.
• Thu h : Thu thập hoặc mang dữ liệu từ nhiều nguồn khác nhau.
• Quản lý: Chăm sóc và duy trì dữ liệu. Điều này bao gồm xác định cách thức và
nơi nó được lưu trữ và các công cụ được sử dụng để làm như vậy.
• Phân tích: Sử dụng dữ liệu để giải quyết vấn đề, đưa ra quyết định và hỗ trợ các mục tiêu kinh doanh.
• Lưu rữ: Gi ữ dữ liệu liên quan được lưu trữ để tham khảo lâu dài và trong tương lai.
• Phá hủy: Xóa dữ liệu khỏi bộ nhớ và xóa mọi bản sao được chia sẻ của dữ liệu. - C GIAI N PHÂN CH U
+ Hỏi: gia ti p với các bên liên uan( uản lí, đ i tác đ – đả bả giải u t đ ng v n đ
Quản lí ỳ vọng mọi người được
thông báo về tiến độ của bạn, giải quyết mọi mối lo ngại và quản lý kỳ vọng của họ một cách hiệu quả h c đ h tr xây dựng sự
đồng thuận và hỗ trợ cho các phát hiện và khuyến nghị của mình. 1. Cách đặt câu hỏi
Dữ liệu, Phân tích dữ liệu a u t đ nh dựa tr n dữ liệu a u t đ nh lấ cảm hứng t i
dữ liệu, Thuật toán: t tập h p các quy t c h ặc hướng d n đư c tuân theo đ giải u t t
v n đ h ặc th c hiện t nhiệ vụ cụ th Dữ liệu -> Thông tin Dữ liệu đã đư c xử l v
tr nh b th cách c nghĩa v cung c p th ng tin chi ti t. -> Kiến thức h ng tin đã đư c
hi u áp dụng v c th đư c ử dụng đ đưa ra u t đ nh.
+ Chuẩn bị: Thu thập dữ liệu từ nhiều nguồn khác nhau, làm sạch và sắp xếp dữ liệu để phân tích.
+ Xử lý: Làm sạch dữ liệu để giải quyết mọi vấn đề về chất lượng, chẳng hạn như lỗi,
dữ liệu bị thiếu hoặc không nhất quán. Chuyển đổi dữ liệu thành các định dạng có thể sử dụng được.
+ Phân tích: Khám phá dữ liệu bằng cách sử dụng các kỹ thuật phân tích và thống kê
để xác định các mẫu, xu hướng và thông tin chi tiết.
+ Chia sẻ: Trình bày các phát hiện một cách rõ ràng và súc tích bằng cách sử dụng
hình ảnh hóa dữ liệu và kỹ năng kể chuyện để truyền đạt thông tin chi tiết một cách hiệu quả.
+ Hành động: Đưa ra các khuyến nghị dựa trên thông tin chi tiết được tạo ra từ phân
tích và thực hiện các hành động để giải quyết vấn đề kinh doanh ban đầu.
- Ba công cụ phân tích dữ liệu chính: bảng tính, ngôn ngữ truy vấn và công cụ trực quan hóa
• Bảng tính (như Microsoft Excel và Google Sheets) được sử dụng để lưu trữ,
sắp xếp và sắp xếp dữ liệu. Chúng cũng cung cấp các công thức và hàm để tính
toán và phân tích dữ liệu.
Đào tạo và trợ giúp về google sheet
https://support.google.com/a/users/answer/9282959?visit_id=637361702049227170- 1815413770&rd=1
m o nhanh của google sheet: https://support.google.com/a/users/answer/9300022
Đào ạo Microsoft Excel cho Windows : https://support.microsoft.com/en-us/excel
• Ngôn ngữ ruy vấn (như SQL) được sử dụng để truy xuất và thao tác dữ liệu từ
cơ sở dữ liệu bằng cách sử dụng các truy vấn.
• Trực quan hóa dữ liệu (sử dụng các công cụ như Tableau và Looker) trình bày
thông tin một cách đồ họa, giúp dễ hiểu và chia sẻ thông tin chi tiết từ dữ liệu.
• Công hức: Một tập hợp các hướng dẫn được sử dụng để thực hiện phép tính
bằng cách sử dụng dữ liệu trong bảng tính
• Chức năng: Một lệnh đặt trước tự động thực hiện một quy trình hoặc tác vụ
được chỉ định bằng cách sử dụng dữ liệu trong bảng tính
• Truy vấn: Yêu cầu dữ liệu hoặc thông tin từ cơ sở dữ liệu
• Ngôn ngữ ruy vấn: Ngôn ngữ lập trình máy tính được sử dụng để giao tiếp với cơ sở dữ liệu
• Các bên liên quan: Những người đầu tư thời gian và nguồn lực vào một dự
án và quan tâm đến kết quả của nó
• Ngôn ngữ truy vấn có cấu trúc: Ngôn ngữ lập trình máy tính được sử
dụng để giao tiếp với cơ sở dữ liệu
• Bảng tính: Mộ bảng tính kỹ thuật số
• SQL: (Tham khảo Ngôn ngữ truy vấn có cấu trúc)
- Giải uyế vấn đ v i dữ liệu- 6 loại vấn đề phổ biến:
• Dự đoán: Dự đoán phương pháp quảng cáo tốt nhất để thu hút khách hàng mới
dựa trên dữ liệu về vị trí, loại phương tiện truyền thông và số lượng khách hàng
mới từ các quảng cáo trước đó.
• Phân loại: Cải thiện sự hài lòng của khách hàng bằng cách phân loại các cuộc
gọi dịch vụ khách hàng dựa trên các từ khóa hoặc điểm số nhất định để xác định
đại diện hoạt động tốt nhất hoặc các hành động tương quan với điểm số hài lòng cao hơn.
• Phát hiện bấ hường: Phát triển thuật toán để phát hiện các mẫu bất thường
trong dữ liệu sức khỏe được tổng hợp để thiết kế phần mềm đồng hồ thông minh
có thể cảnh báo người dùng về các vấn đề tiềm ẩn.
• Xác định chủ đ : Phân tích dữ liệu tương tác của người dùng để xác định các
chủ đề và ưu tiên các tính năng sản phẩm để cải thiện, tập trung vào việc khám
phá niềm tin, thực tiễn và nhu cầu của người dùng.
• Khám phá ế nối: Phân tích thời gian chờ đợi tại các trung tâm vận chuyển để
xác định các thay đổi lịch trình thích hợp để tăng số lượng giao hàng đúng hạn
cho một công ty hậu cần bên thứ ba.
• Tìm iế u: Phân tích dữ liệu bảo trì để xác định các mẫu, chẳng hạn như
mối tương quan giữa việc trì hoãn bảo trì thường xuyên và sự cố máy móc, để
giảm thiểu thời gian ngừng hoạt động.
- Câu hỏi hiệu quả cho phân tích dữ liệu
• Đặt câu hỏi là một phần quan trọng của công việc phân tích dữ liệu để hiểu rõ
các vấn đề và mục tiêu, đồng thời phân tích kết quả.
• Các loại câu hỏi không hiệu quả bao gồm câu hỏi dẫn dắt (hướng đến một câu
trả lời cụ thể), câu hỏi đóng (có thể trả lời bằng có hoặc không) và câu hỏi mơ hồ
(thiếu ngữ cảnh hoặc tính cụ thể).
Phương pháp SMART để đặt câu hỏi
• Câu hỏi Cụ hể: đơn giản, tập trung vào một chủ đề hoặc một vài ý tưởng có liên quan chặt chẽ.
• Câu hỏi Đo lường được: có thể định lượng và đánh giá.
• Câu hỏi Hư ng đến hành động: khuyến khích sự thay đổi và cung cấp thông
tin chi tiết có thể hành động.
Tầm quan trọng của sự công bằng trong việc đặt câu hỏi
• Câu hỏi Liên quan: quan trọng và có ý nghĩa đối với vấn đề đang được giải quyết.
• Câu hỏi Gi i hạn hời gian: chỉ định khoảng thời gian cụ thể cần nghiên cứu.
• Câu hỏi Công bằng: tránh thiên vị, rõ ràng, dễ hiểu và không đưa ra giả định.