Tutorial Master Data Engineering
SQL Advanced, Python, Data Pipeline, Spark, Airflow, Kafka, Lakehouse, dan Production Data Platform
Setelah menyelesaikan Level 15, kita sudah memahami gambaran besar Enterprise AI.
Sekarang kita mulai masuk ke jalur spesialisasi.
Level 16 fokus pada satu bidang:
DATA ENGINEERING
Tujuan akhirnya:
Mampu membangun sistem data yang dapat mengambil, memproses, menyimpan, memvalidasi, dan menyediakan data secara otomatis dalam skala besar.
1. Apa yang Dilakukan Data Engineer?
Secara sederhana:
SUMBER DATA
↓
INGESTION
↓
PROCESSING
↓
STORAGE
↓
QUALITY
↓
SERVING
↓
ANALYTICS / AIData Engineer memastikan seluruh alur tersebut berjalan dengan baik.
2. Contoh Dunia Nyata
Bayangkan perusahaan memiliki:
10 Marketplace
20 Cabang
5 Gudang
CRM
Website
Aplikasi
POS
ERPSetiap hari menghasilkan jutaan transaksi.
Data Engineer membuat sistem:
Marketplace ──┐
POS ──────────┤
ERP ──────────┤
CRM ──────────┤
Website ──────┤
↓
DATA PIPELINE
↓
DATA LAKE
↓
DATA WAREHOUSE
↓
POWER BI / AI3. Skill Utama Master Data Engineer
Pada Level 16 kita akan memperdalam:
SQL
Python
Database
ETL / ELT
Airflow
Spark
Kafka
Data Lake
Lakehouse
Docker
Git
CI/CD
Data Quality
Monitoring
Cloud4. SQL Advanced
SQL dasar sudah kita pelajari.
Sekarang masuk ke:
CTE
Window Function
Subquery
Recursive Query
Query Optimization
Index
Execution Plan
Partitioning5. Common Table Expression
Contoh:
WITH sales_summary AS (
SELECT
customer_id,
SUM(qty * price) AS total_sales
FROM sales
GROUP BY customer_id
)
SELECT *
FROM sales_summary
WHERE total_sales > 10000000;CTE membuat query kompleks menjadi lebih mudah dibaca.
6. Window Function
Window function sangat penting untuk Data Engineering.
Contoh:
SELECT
customer_id,
tanggal,
amount,
SUM(amount) OVER (
PARTITION BY customer_id
) AS customer_total
FROM sales;Setiap transaksi tetap ditampilkan, tetapi kita juga mendapatkan total customer.
7. Ranking
Misalnya ingin mendapatkan ranking produk.
SELECT
product_id,
SUM(amount) AS revenue,
RANK() OVER (
ORDER BY SUM(amount) DESC
) AS ranking
FROM sales
GROUP BY product_id;Hasil:
Product A 500 juta 1
Product B 420 juta 2
Product C 350 juta 38. Ranking Per Wilayah
SELECT
region,
product_id,
SUM(amount) AS revenue,
RANK() OVER (
PARTITION BY region
ORDER BY SUM(amount) DESC
) AS ranking
FROM sales
GROUP BY
region,
product_id;Sekarang setiap wilayah mempunyai ranking sendiri.
9. LAG
LAG mengambil nilai sebelumnya.
SELECT
tanggal,
sales,
LAG(sales) OVER (
ORDER BY tanggal
) AS previous_sales
FROM daily_sales;Hasil:
Tanggal Sales Previous
1 Jan 100 NULL
2 Jan 120 100
3 Jan 150 120Sangat berguna untuk analisis pertumbuhan.
10. LEAD
LEAD mengambil nilai berikutnya.
SELECT
tanggal,
sales,
LEAD(sales) OVER (
ORDER BY tanggal
) AS next_sales
FROM daily_sales;11. Running Total
SELECT
tanggal,
sales,
SUM(sales) OVER (
ORDER BY tanggal
) AS cumulative_sales
FROM daily_sales;Hasil:
100
220
370
52012. Query Optimization
Query yang benar belum tentu query yang cepat.
Contoh buruk:
SELECT *
FROM sales;Jika tabel berisi:
500 juta rowsmaka query dapat sangat berat.
Lebih baik mengambil kolom yang diperlukan:
SELECT
tanggal,
product_id,
amount
FROM sales;13. Index
Index membantu database mencari data lebih cepat.
Contoh:
CREATE INDEX idx_sales_customer
ON sales(customer_id);Tetapi index juga memiliki biaya.
Terlalu banyak index dapat memperlambat operasi tertentu seperti insert/update.
Jadi index harus dirancang berdasarkan pola penggunaan.
14. Execution Plan
Untuk memahami query lambat, kita perlu melihat bagaimana database menjalankannya.
Konsep:
SQL
↓
Query Planner
↓
Execution Plan
↓
Database EngineKita dapat mencari:
Full Table Scan
Index Scan
Join Cost
Sort
Aggregation15. Database Partitioning
Data sangat besar dapat dibagi menjadi partition.
Contoh:
sales
│
├── 2024
├── 2025
└── 2026Atau:
sales
│
├── January
├── February
├── March
└── ...Ketika hanya membutuhkan data 2026, database tidak harus membaca seluruh histori.
16. Python Advanced
Python Data Engineering tidak berhenti pada Pandas.
Kita mulai memahami:
Functions
Classes
Modules
Packages
Virtual Environment
Type Hints
Logging
Testing
API
Async Processing17. Virtual Environment
Setiap proyek sebaiknya memiliki environment sendiri.
Konsep:
Project A
Python + Library A
Project B
Python + Library BTidak semuanya dicampur.
Contoh:
python -m venv .venvKemudian environment diaktifkan.
18. Requirements
Dependensi proyek dapat dicatat:
pandas
requests
sqlalchemy
pyarrowKemudian disimpan dalam:
requirements.txtTujuannya agar environment dapat direproduksi.
19. Configuration
Jangan menulis konfigurasi database langsung di kode.
Contoh buruk:
password = "password123"Gunakan environment variables atau secret management.
Konsep:
Application
↓
Environment
↓
Configuration
↓
Secret20. Database Connection
Secara konsep:
Python
↓
Database Driver
↓
DatabasePython dapat digunakan untuk:
membaca data
menulis data
menjalankan query
membuat tabel
melakukan ETL
21. API Ingestion
Misalnya perusahaan memiliki API:
GET /ordersPipeline:
API
↓
Python
↓
JSON
↓
Validation
↓
Data LakeContoh konsep Python:
import requests
response = requests.get(
API_URL,
timeout=30
)
data = response.json()22. Pagination
API sering tidak memberikan seluruh data sekaligus.
Contoh:
Page 1
Page 2
Page 3
...
Page 100Pipeline harus mengambil semuanya.
Request page 1
↓
Request page 2
↓
Request page 3
↓
...23. API Rate Limit
API mungkin membatasi:
100 request / minuteJika pipeline terlalu cepat:
HTTP 429
Too Many RequestsMaka perlu:
Retry
Backoff
Rate Limiting24. Idempotency
Ini konsep yang sangat penting.
Misalnya pipeline dijalankan dua kali.
Tanpa idempotency:
Data masuk
Data masuk lagiHasil:
DuplicatePipeline idempotent memastikan hasil akhir tetap benar walaupun proses diulang.
25. Contoh Idempotent Load
Gunakan key:
transaction_idJika transaksi sudah ada:
UPDATEJika belum:
INSERTKonsep ini sering disebut:
UPSERT26. CDC
CDC = Change Data Capture.
Tujuannya menangkap perubahan database.
Misalnya:
INSERT
UPDATE
DELETEDaripada membaca seluruh tabel setiap saat, sistem hanya mengambil perubahan.
27. Contoh CDC
Database:
10.000.000 rowsPerubahan hari ini:
25.000 rowsCDC memungkinkan pipeline mengambil:
25.000 changesbukan:
10.000.000 rows28. Full Load vs Incremental Load
Full Load
Database
↓
Ambil semuanyaIncremental
Database
↓
Ambil perubahan sajaProduction system biasanya memanfaatkan incremental processing jika sesuai dengan kebutuhan.
29. Data Lake Storage
Data Lake dapat disusun:
/company-data
│
├── bronze
│ ├── sales
│ ├── customer
│ └── product
│
├── silver
│
├── gold
│
└── archive30. Parquet
Untuk analytical workloads, format seperti Parquet sangat berguna.
Contoh:
sales.csvdiubah menjadi:
sales.parquetParquet menggunakan format kolumnar sehingga dapat sangat efisien untuk workload analitik tertentu.
31. Partitioned Parquet
Contoh:
sales/
├── year=2025/
│ ├── month=01/
│ └── month=02/
│
└── year=2026/
├── month=01/
└── month=02/Jika hanya membutuhkan:
year=2026engine analitik dapat melakukan partition pruning sesuai dukungan platformnya.
32. Apache Spark
Spark digunakan ketika pemrosesan data membutuhkan distributed computing.
Konsep:
DATA
↓
SPARK
↓
CLUSTER
├── Worker
├── Worker
└── Worker33. Spark DataFrame
Contoh:
df = spark.read.parquet(
"sales/"
)Kemudian:
df.groupBy(
"product_id"
).sum("amount")34. Spark Transformation
Contoh:
df2 = (
df
.filter(df.qty > 0)
.withColumn(
"revenue",
df.qty * df.price
)
)35. Spark Lazy Evaluation
Salah satu konsep penting:
Spark biasanya tidak langsung menjalankan semua transformation.
Contoh:
filter
↓
select
↓
groupBySpark membangun execution plan terlebih dahulu.
Ketika action dilakukan:
show()
write()
count()baru pekerjaan dieksekusi.
36. Shuffle
Beberapa operasi membutuhkan perpindahan data antar-node.
Contoh:
GROUP BY
JOIN
SORTIni disebut shuffle.
Shuffle dapat mahal sehingga perlu diperhatikan saat mengoptimalkan Spark.
37. Spark Optimization
Hal-hal yang perlu diperhatikan:
Partition
Shuffle
Join Strategy
Caching
Data Format
Data SizeJangan melakukan cache pada semua data secara sembarangan.
38. Airflow Advanced
Pada Level 12 kita mengenal DAG.
Sekarang kita membuat workflow yang lebih matang.
START
↓
Extract Sales
↓
Extract Customer
↓
Validate
↓
Transform
↓
Load
↓
Quality Check
↓
Refresh BI
↓
END39. Task Dependency
Contoh:
Extract Sales ───┐
↓
Transform
↓
Validate
↓
LoadCustomer extraction dapat berjalan paralel:
Extract Sales ───┐
├──→ Transform
Extract Customer ┘Ini dapat menghemat waktu jika infrastrukturnya mendukung.
40. Retry Strategy
Contoh:
Task
↓
Failure
↓
Retry 1
↓
Failure
↓
Retry 2
↓
SuccessTetapi retry juga harus digunakan dengan bijak.
Tidak semua error akan selesai hanya dengan retry.
41. Data Quality Gate
Sebelum data masuk Gold:
Silver
↓
QUALITY CHECKJika gagal:
❌ STOPJika berhasil:
✓ CONTINUEContoh pemeriksaan:
Duplicate = 0
NULL customer_id = 0
Invalid date = 0
Negative quantity = 042. Kafka Advanced
Pada Level 12 kita mengenal Producer dan Consumer.
Sekarang:
Producer
↓
Topic
↓
Partition
↓
Consumer Group43. Kafka Topic
Contoh:
sales-eventsSemua event penjualan dapat masuk ke topic tersebut.
POS
↓
Kafka Producer
↓
sales-events44. Kafka Partition
Topic dapat memiliki beberapa partition:
sales-events
Partition 0
Partition 1
Partition 2
Partition 3Partition memungkinkan processing paralel.
45. Consumer Group
Misalnya:
Consumer Group A
├── Consumer 1
├── Consumer 2
└── Consumer 3Mereka bekerja bersama membaca partition.
46. Event-Driven Architecture
Dengan streaming:
Transaction
↓
Event
↓
Kafka
↓
Multiple SystemsSatu event dapat digunakan oleh:
Inventory
Analytics
Fraud Detection
Notification
Recommendation47. Lakehouse Architecture
Sekarang kita satukan:
Kafka
↓
Data Lake
↓
Bronze
↓
Spark
↓
Silver
↓
Gold
↓
Warehouse / SQL
↓
BI + AIIni menjadi platform data yang sangat kuat.
48. Docker untuk Data Engineering
Komponen dapat dikemas:
Airflow
Spark
Kafka
Database
Pythondengan container.
Contoh:
Docker
│
├── Airflow
├── PostgreSQL
├── Spark
├── Kafka
└── Application49. Git Workflow
Production workflow:
Developer
↓
Branch
↓
Code
↓
Test
↓
Pull Request
↓
Review
↓
Merge
↓
Deploy50. CI/CD Data Pipeline
Setiap perubahan pipeline:
Git Push
↓
Automated Test
↓
Lint
↓
Build
↓
DeployJika test gagal:
STOPJika berhasil:
Production51. Data Testing
Data pipeline juga perlu testing.
Contoh:
Expected:
100.000 rows
Actual:
99.850 rowsSistem memberikan:
⚠ WARNING52. Schema Testing
Misalnya kolom wajib:
customer_id
product_id
tanggal
amountJika API tiba-tiba menghapus:
customer_idpipeline harus gagal dengan pesan yang jelas.
53. Data Lineage
Contoh:
POS
↓
Bronze
↓
Silver
↓
Gold
↓
Sales Warehouse
↓
Power BI
↓
Executive DashboardJika dashboard salah, kita dapat menelusuri asal datanya.
54. Data Catalog
Setiap dataset dapat memiliki:
Nama
Owner
Deskripsi
Schema
Update Frequency
Quality Score
Sensitivity
LineageContoh:
SALES_TRANSACTION
Owner:
Sales Department
Update:
Every 15 minutes
Quality:
99.8%
Classification:
Internal55. Production Data Platform
Sekarang seluruh komponen:
SOURCES
↓
INGESTION
↓
KAFKA
↓
DATA LAKE
↓
BRONZE
↓
SPARK / ETL
↓
SILVER
↓
DATA QUALITY
↓
GOLD
↓
DATA WAREHOUSE
↓
SEMANTIC LAYER
↓
┌──────────┼──────────┐
↓ ↓ ↓
POWER BI AI MLOrchestration:
AIRFLOWContainer:
DOCKERVersion control:
GITDeployment:
CI/CD56. Project Master Data Engineering
Sekarang kita buat proyek besar.
Real-Time Intelligent Sales Platform
Target:
Menerima transaksi dari berbagai sumber, memprosesnya secara otomatis, menyimpan data historis, menyediakan dashboard real-time, dan menyiapkan data untuk AI.
57. Arsitektur Proyek
POS
Marketplace
Website
CRM
↓
KAFKA
↓
DATA LAKE
↓
BRONZE
↓
SPARK
↓
SILVER
↓
DATA QUALITY
↓
GOLD
↓
WAREHOUSE
↓
POWER BI
↓
AI / ML58. Workflow
Ketika transaksi terjadi:
09:01:01
Customer membeli Produk A
↓
POS
↓
Kafka
↓
Processing
↓
Data Lake
↓
Warehouse
↓
DashboardData tidak harus menunggu laporan malam.
59. Monitoring
Dashboard teknis:
PIPELINE STATUS
✓ Kafka
✓ Ingestion
✓ Spark
✓ Silver
✓ Gold
✓ Warehouse
DATA QUALITY
99.92%
LATENCY
14 seconds
FAILED JOB
060. Business Dashboard
Dashboard bisnis:
SALES TODAY
Rp 850 Juta
ORDERS
12.840
CUSTOMERS
7.250
GROWTH
+12%
TOP PRODUCT
Produk A
STOCK RISK
3 Produk61. AI Layer
Kemudian AI dapat bertanya ke platform:
"Bagaimana performa penjualan hari ini?"
AI mengambil data aktual.
Kemudian:
"Mengapa Produk A naik 25%?"
AI melakukan analisis.
Kemudian:
"Apakah stok cukup?"
AI menggabungkan:
Sales
+
Forecast
+
Inventory62. Inilah Data Engineering yang Sesungguhnya
Data Engineer bukan sekadar:
"Bisa Python."
Tetapi memahami seluruh alur:
SOURCE
↓
INGESTION
↓
STORAGE
↓
PROCESSING
↓
QUALITY
↓
SERVING
↓
ANALYTICS
↓
AI63. Checklist Master Data Engineer
Sebelum melanjutkan ke Cloud Data Engineering, idealnya sudah memahami:
SQL
✓ CTE
✓ Window Function
✓ LAG / LEAD
✓ Ranking
✓ Query Optimization
✓ Index
✓ PartitionPython
✓ Pandas
✓ API
✓ Logging
✓ Exception Handling
✓ Modular Code
✓ EnvironmentData Engineering
✓ ETL
✓ ELT
✓ Incremental Load
✓ CDC
✓ Idempotency
✓ Data Quality
✓ Data LineageBig Data
✓ Spark
✓ PySpark
✓ Partition
✓ Shuffle
✓ Distributed ProcessingStreaming
✓ Kafka
✓ Producer
✓ Consumer
✓ Topic
✓ Partition
✓ Consumer GroupDevOps
✓ Docker
✓ Git
✓ CI/CDOrchestration
✓ Airflow
✓ DAG
✓ Scheduling
✓ Dependency
✓ Retry64. Level Berikutnya
Setelah Master Data Engineering, kita masuk ke:
LEVEL 17 — CLOUD DATA ENGINEERING
Kita akan membahas:
Cloud Architecture
↓
AWS
Azure
Google Cloud
↓
Cloud Storage
↓
Cloud Database
↓
Cloud Data Warehouse
↓
Cloud Data Lake
↓
Serverless
↓
IAM
↓
Networking
↓
Security
↓
Cost Optimization
↓
Production Cloud Data PlatformPada tahap tersebut, proyek kita tidak lagi hanya berjalan di komputer lokal.
Kita akan memahami bagaimana sistem Data Engineering dipindahkan ke cloud production architecture.
Kesimpulan
Level 16 membawa kita dari sekadar mengetahui teknologi Data Engineering menjadi memahami bagaimana teknologi tersebut digabungkan menjadi platform data yang dapat berjalan secara otomatis dan scalable.
Fondasi yang sekarang harus benar-benar kuat:
SQL + Python + Database + ETL + Spark + Airflow + Kafka + Lakehouse + Docker + Git + Data Quality.
Setelah fondasi ini kuat, kita siap membawa seluruh sistem tersebut ke cloud pada Level 17 — Cloud Data Engineering.
0 Comments:
Posting Komentar