Big Data Analytics – Lộ trình toàn diện từ nền tảng đến ứng dụng

“Bạn đang sống trong một thế giới nơi mỗi cú click chuột, mỗi bước chân, và mỗi giao dịch đều để lại dấu vết dữ liệu. Những dấu vết này – nếu biết khai thác – có thể thay đổi cả ngành công nghiệp.”

• Lượng dữ liệu khổng lồ:
  • 2.5 quintillion bytes tạo ra mỗi ngày.
  • Dữ liệu đến từ IoT, mạng xã hội, giao dịch tài chính, cảm biến khoa học.
• Big Data khác dữ liệu thường ở chỗ:
  • 5Vs:
    • Volume – khối lượng cực lớn (terabytes → zettabytes).
    • Velocity – tốc độ phát sinh dữ liệu theo thời gian thực.
    • Variety – định dạng đa dạng: text, hình ảnh, video, log files, dữ liệu cảm biến.
    • Veracity – độ tin cậy và tính nhất quán.
    • Value – khả năng tạo giá trị kinh doanh.
• Ứng dụng xuyên ngành:
  • Y tế: dự đoán dịch bệnh.
  • Bán lẻ: cá nhân hóa gợi ý sản phẩm.
  • Tài chính: phát hiện gian lận.
  • Khoa học: phân tích dữ liệu từ LHC (CERN).

---

Công cụ và Nền tảng

Python – Ngôn ngữ lõi

• Tại sao Python thống trị phân tích dữ liệu:
  • Cú pháp rõ ràng, học nhanh.
  • Thư viện phong phú: Pandas, NumPy, Matplotlib, Seaborn, Scikit-learn, TensorFlow.
  • Tích hợp dễ dàng với hệ thống Big Data như Hadoop, Spark, API web.
• Công cụ phát triển:
  • Jupyter/Colab: phân tích tương tác.
  • PyCharm/VSCode: phát triển dự án lớn.

---

Pandas – Bộ xử lý dữ liệu trong RAM

• Data Structures:
  • Series: mảng 1D với index.
  • DataFrame: bảng 2D, mỗi cột là một Series.
• Tính năng lõi:
  • Indexing, filtering, merging, groupby.
  • Tích hợp chặt với NumPy (tính toán số học) và Matplotlib/Seaborn (vẽ biểu đồ).
• Đọc dữ liệu đa dạng: CSV, Excel, JSON, SQL.
• Cơ chế in-memory: dữ liệu phải fit trong RAM → nhanh nhưng giới hạn dung lượng.

---

Data Cleaning – Nâng chất dữ liệu trước phân tích

• Missing Data:
  • Nguyên nhân: lỗi thu thập, nhập sai, dữ liệu chưa cập nhật.
  • Kỹ thuật:
    • Drop: khi tỉ lệ missing nhỏ.
    • Fill: hằng số, mean, median, ffill, bfill.
    • Interpolate: dự đoán nội suy.
• Duplicates: loại bỏ trùng lặp để tránh skew kết quả.
• Type & Format: chuẩn hóa kiểu số, ngày giờ, text.
• Outliers:
  • Xác định qua Boxplot, Z-score, IQR.
  • Quyết định giữ hay loại dựa trên ngữ cảnh nghiệp vụ.

---

EDA – Hiểu dữ liệu trước khi mô hình hóa

• Thống kê mô tả:
  • Trung tâm: mean, median, mode.
  • Phân tán: range, variance, std, IQR.
  • Hình dạng: skewness (độ lệch), kurtosis (độ nhọn).
• Nguyên tắc chọn thống kê:
  • Nominal → mode.
  • Ordinal → median.
  • Quantitative → mean, std.
• EDA đa chiều:
  • Univariate → Histogram, KDE.
  • Bivariate → Scatter, Correlation heatmap.
  • Multivariate → Pairplot, PCA.

---

Visualization – Truyền tải câu chuyện dữ liệu

• Nguyên tắc 4C: Clear, Correct, Concise, Compelling.
• Loại biểu đồ:
  • Phân phối: histogram, KDE.
  • So sánh: bar, line, boxplot.
  • Quan hệ: scatter, heatmap, pairplot.
  • 3D & advanced: interactive Plotly, geospatial maps.

---

Grouping & Aggregating – Khai phá xu hướng

• Grouping:
  • groupby(): nhóm dữ liệu theo 1+ cột.
  • pivot_table(): bảng tổng hợp nhiều chiều.
  • resample(): nhóm dữ liệu thời gian.
• Aggregation:
  • sum, mean, count, min, max.
• Ứng dụng:
  • Tổng kết KPI theo vùng.
  • Phân tích doanh thu theo thời gian.

---

ABC & XYZ Analysis – Chiến lược phân loại

• ABC:
  • A: 20% sản phẩm/khách hàng mang 80% giá trị.
  • B: giá trị trung bình.
  • C: giá trị thấp.
• XYZ:
  • X: nhu cầu ổn định.
  • Z: nhu cầu biến động cao.
• Kết hợp ABC-XYZ: ưu tiên chiến lược tồn kho & marketing.

---

Polars – Tăng tốc phân tích

• Viết bằng Rust → đa luồng, SIMD.
• Lazy execution → tối ưu query trước khi chạy.
• Ưu điểm: nhanh hơn Pandas nhiều lần với dữ liệu GB-level.
• Nhược điểm: chưa hỗ trợ phân tán.

---

Dask – Mở rộng quy mô phân tích

• Kiến trúc:
  • Tasks/Futures → song song hóa code Python.
  • DataFrame, Array, Bag → chia nhỏ dữ liệu và xử lý song song.
• Khả năng:
  • Xử lý dữ liệu vượt RAM (out-of-core).
  • Triển khai trên laptop, HPC, cloud.
• So sánh:
  • Pandas: RAM-bound.
  • Polars: máy đơn, siêu nhanh.
  • Dask: phân tán, mở rộng vô hạn.
• Ứng dụng: mô hình thời tiết, phân tích gen, ETL big data, ML pipeline.

---

Ứng dụng thực chiến

1. ETL pipeline cho dữ liệu bán hàng → Pandas cleaning → Groupby doanh thu → Plotly dashboard.
2. ABC-XYZ analysis cho tồn kho → Phân loại → Đề xuất chính sách nhập hàng.
3. EDA + Visualization cho dữ liệu hành vi khách hàng → Phát hiện phân khúc → Gợi ý chiến dịch marketing.
4. Dask xử lý dataset >100GB → chia thành cluster → training ML model.

---

Tư duy dữ liệu cho thế hệ mới

“Công cụ chỉ là phương tiện. Giá trị thật sự đến từ cách bạn đặt câu hỏi và khả năng biến dữ liệu thành hành động.”

• Bạn đã nắm:
  • Nền tảng lý thuyết Big Data.
  • Thành thạo Python + Pandas + Polars + Dask.
  • Kỹ thuật làm sạch, khám phá, trực quan hóa, phân loại dữ liệu.
  • Hiểu khi nào nên dùng in-memory, khi nào dùng phân tán.
• Bước tiếp theo:
  • Chọn dự án thật → áp dụng toàn bộ quy trình.
  • Viết Data Storytelling report để biến số liệu thành thông điệp.

Vina Aspire Ai