Tutorial Advanced Data Engineering
Python, Airflow, Spark, Docker, Git, Kafka, CI/CD, dan Data Lakehouse
Pada Level 11 kita sudah memahami dasar Data Engineering:
Source → Ingestion → Data Lake → Transformation → Data Warehouse → BI
Sekarang kita masuk ke tahap yang lebih teknis.
Tujuan Level 12 adalah mampu memahami dan membangun data pipeline profesional yang:
otomatis
terjadwal
dapat dipantau
dapat diulang ketika gagal
mampu menangani data besar
memiliki version control
aman
mudah dikembangkan
1. Arsitektur Advanced Data Engineering
Arsitektur yang akan kita pelajari:
DATA SOURCES
│
┌─────────────┼─────────────┐
↓ ↓ ↓
API DATABASE FILE
│ │ │
└─────────────┼─────────────┘
↓
INGESTION
↓
DATA LAKE
↓
SPARK / PYTHON
↓
DATA LAKEHOUSE
↓
DATA WAREHOUSE
↓
SEMANTIC MODEL
↓
┌───────────┼───────────┐
↓ ↓ ↓
POWER BI EXCEL AISedangkan proses otomatisnya dikendalikan oleh:
Git
Docker
Airflow
CI/CD
Monitoring2. Python untuk Data Engineering
Python bukan hanya digunakan untuk analisis.
Python juga digunakan untuk:
mengambil API
membaca file
membersihkan data
menjalankan ETL
berkomunikasi dengan database
membuat pipeline
otomatisasi pekerjaan
Contoh:
import pandas as pd
df = pd.read_csv("sales.csv")
df["tanggal"] = pd.to_datetime(df["tanggal"])
df["omzet"] = df["qty"] * df["harga"]
df.to_csv("sales_clean.csv", index=False)Pipeline sederhana:
CSV
↓
Python
↓
Cleaning
↓
Transformation
↓
Output3. Fungsi Python
Agar kode tidak berantakan, gunakan function.
def clean_sales(df):
df = df.drop_duplicates()
df = df.dropna(subset=["customer_id"])
df["omzet"] = df["qty"] * df["harga"]
return dfKemudian:
df = clean_sales(df)Ini membuat pipeline lebih mudah dirawat.
4. Modular Data Pipeline
Jangan membuat satu file Python yang sangat panjang.
Gunakan struktur:
project/
│
├── extract.py
├── transform.py
├── load.py
├── validation.py
├── config.py
└── main.pyAlurnya:
extract
↓
transform
↓
validation
↓
load5. Extract
Contoh mengambil data:
import pandas as pd
def extract():
return pd.read_csv("sales.csv")6. Transform
def transform(df):
df = df.drop_duplicates()
df["tanggal"] = pd.to_datetime(df["tanggal"])
df["omzet"] = df["qty"] * df["harga"]
return df7. Load
def load(df):
df.to_parquet(
"sales_clean.parquet",
index=False
)8. Main Pipeline
Kemudian:
def main():
df = extract()
df = transform(df)
load(df)
if __name__ == "__main__":
main()Sekarang kita sudah memiliki pipeline sederhana.
9. Logging
Pipeline profesional harus memiliki logging.
Contoh:
import logging
logging.basicConfig(
level=logging.INFO
)
logging.info("Pipeline started")
logging.info("Extract completed")
logging.info("Transform completed")
logging.info("Load completed")Jika terjadi error:
logging.error("Pipeline failed")10. Error Handling
Gunakan:
try:
df = extract()
except Exception as e:
print("Error:", e)Versi lebih baik:
try:
df = extract()
df = transform(df)
load(df)
except Exception as e:
logging.exception(
"Pipeline failed"
)11. Mengapa Scheduler Diperlukan?
Misalnya kita ingin:
Setiap hari
pukul 01:00pipeline berjalan otomatis.
Tidak mungkin kita menjalankan:
python main.pysecara manual setiap hari.
Kita membutuhkan orchestration.
Salah satu teknologi populer untuk workflow orchestration adalah:
Apache Airflow.
12. Apa Itu Apache Airflow?
Airflow digunakan untuk:
membuat workflow
mengatur jadwal
mengatur dependency
retry
monitoring
logging
Contoh:
Extract
↓
Transform
↓
Validate
↓
Load
↓
Refresh BIAirflow mengatur seluruh proses tersebut.
13. DAG
Di Airflow, workflow biasanya direpresentasikan sebagai DAG — Directed Acyclic Graph.
Contoh:
Extract
↓
Transform
↓
Validation
↓
Load
↓
Refresh BISetiap kotak adalah task.
14. Contoh DAG
Konsep sederhananya:
from airflow import DAG
from datetime import datetime
with DAG(
"sales_pipeline",
start_date=datetime(2026, 1, 1),
schedule="@daily",
) as dag:
extract_task = ...
transform_task = ...
load_task = ...
extract_task >> transform_task >> load_taskArtinya:
Extract
harus selesai
↓
Transform
harus selesai
↓
Load15. Retry
Bagaimana jika API gagal?
Jangan langsung menganggap pipeline gagal permanen.
Pipeline bisa melakukan:
Attempt 1
↓
Failed
↓
Retry
↓
Attempt 2
↓
Failed
↓
Retry
↓
Attempt 3
↓
SuccessIni sangat penting dalam sistem produksi.
16. Scheduling
Contoh kebutuhan:
Setiap hariatau:
Setiap jamatau:
Setiap 15 menitScheduler akan menjalankan workflow sesuai jadwal.
17. Data Pipeline Profesional
Sekarang:
AIRFLOW
│
├── Extract API
│
├── Extract Database
│
├── Validate
│
├── Transform
│
├── Load
│
└── Refresh BIIni jauh lebih kuat dibanding macro Excel.
18. Mengapa Excel Tidak Cukup?
Excel sangat bagus untuk:
analisis
reporting
kalkulasi
ad-hoc analysis
Tetapi untuk:
100 juta transaksi
100 sumber data
pipeline 24/7
ribuan pengguna
real-time processingkita membutuhkan platform data.
19. Apache Spark
Ketika data semakin besar, kita membutuhkan distributed processing.
Salah satu teknologi penting:
Apache Spark.
Spark memungkinkan pemrosesan data dalam jumlah besar menggunakan banyak resource secara paralel.
Konsep:
Data Besar
↓
Spark
↓
Cluster
┌───┼───┐
↓ ↓ ↓
Node Node Node20. Spark vs Pandas
Pandas cocok untuk:
Data kecil
Data lokal
Analisis
PrototypeSpark cocok untuk:
Data besar
Distributed processing
Cluster
EnterpriseSederhananya:
Pandas
Laptop
↓
Dataset relatif kecil
Spark
Cluster
↓
Dataset sangat besar21. PySpark
Spark dapat digunakan dengan Python melalui PySpark.
Contoh:
from pyspark.sql import SparkSession
spark = (
SparkSession.builder
.appName("SalesPipeline")
.getOrCreate()
)Membaca data:
df = spark.read.parquet(
"sales.parquet"
)Melihat data:
df.show()22. Transformasi Spark
Contoh:
from pyspark.sql.functions import col
df = df.withColumn(
"omzet",
col("qty") * col("harga")
)Filter:
df = df.filter(
col("qty") > 0
)Group:
df.groupBy(
"product_id"
).sum("omzet")23. Distributed Processing
Misalnya terdapat:
1 TB DATADaripada satu mesin memproses semuanya:
Machine A
1 TBdata dapat dibagi:
Machine A → 250 GB
Machine B → 250 GB
Machine C → 250 GB
Machine D → 250 GBkemudian diproses secara paralel.
Inilah salah satu konsep utama distributed computing.
24. Partition
Data besar biasanya dibagi menjadi partition.
Contoh:
sales/
year=2026/
month=01/
month=02/
month=03/Atau:
sales/
country=ID/
country=SG/
country=MY/Partition membantu proses membaca data menjadi lebih efisien.
25. Data Lakehouse
Sekarang kita masuk ke konsep penting.
Lakehouse menggabungkan:
Data Lake
+
Data WarehouseArsitektur:
DATA LAKEHOUSE
│
┌─────────┼─────────┐
↓ ↓ ↓
BI SQL AI/MLData dapat disimpan dalam storage yang fleksibel tetapi tetap memiliki kemampuan analitik yang kuat.
26. Medallion Architecture
Salah satu pola yang sering digunakan adalah:
BRONZE
↓
SILVER
↓
GOLDBronze
Data mentah.
API
CSV
Database
LogsSilver
Data sudah dibersihkan.
Duplicate removed
Data type fixed
Invalid data removedGold
Data siap digunakan bisnis.
Sales Summary
Customer KPI
Product Performance
Finance Report27. Contoh Medallion
BRONZE
Raw Sales Data
↓
SILVER
Clean Sales Data
↓
GOLD
Business Analytics
↓
POWER BIKonsep ini sangat penting dalam Data Engineering modern.
28. Kafka
Sekarang kita masuk ke streaming.
Untuk event/data yang datang terus-menerus, salah satu teknologi penting adalah Apache Kafka.
Contoh:
Customer melakukan transaksi
↓
Event
↓
Kafka
↓
Data Processing
↓
Database
↓
Dashboard29. Kafka Producer
Producer adalah sistem yang mengirim event.
Contoh:
POS
↓
Kafka Producer
↓
KafkaEvent:
{
"transaction_id": 1001,
"customer_id": 501,
"amount": 250000
}30. Kafka Consumer
Consumer membaca event.
Kafka
↓
Consumer
↓
Processing
↓
DatabaseBisa terdapat banyak consumer:
Kafka
│
├── Analytics
├── Fraud Detection
├── Inventory
└── Notification31. Batch vs Streaming
Batch
Data
↓
Kumpulkan
↓
ProsesContoh:
Setiap malamStreaming
Event
↓
Proses
↓
Event
↓
ProsesContoh:
hampir real-time32. Docker
Sekarang kita masuk ke deployment.
Masalah:
Laptop A
Python 3.12
Server B
Python 3.10
Library berbedaAkibatnya program bisa berjalan di laptop tetapi gagal di server.
Docker membantu membuat lingkungan yang konsisten.
33. Container
Konsep:
APPLICATION
+
DEPENDENCIES
+
CONFIGURATION
=
CONTAINERSehingga:
Laptop
↓
Container
↓
Serverlingkungannya lebih konsisten.
34. Dockerfile
Contoh sederhana:
FROM python:3.12
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "main.py"]Kemudian aplikasi dijalankan di dalam container.
35. Docker Compose
Jika sistem terdiri dari banyak service:
Airflow
Database
Redis
Applicationkita dapat mengatur beberapa container sekaligus menggunakan Docker Compose.
Konsep:
Docker Compose
│
├── Airflow
├── PostgreSQL
├── Redis
└── Application36. Git
Dalam proyek profesional, kode tidak cukup disimpan di komputer.
Gunakan version control.
Salah satu yang paling penting:
Git
Contoh:
git initKemudian:
git add .Commit:
git commit -m "Initial pipeline"37. Branch
Misalnya:
mainadalah versi production.
Developer bekerja pada:
feature/sales-pipelineSetelah selesai:
feature
↓
review
↓
merge
↓
main38. Mengapa Git Penting?
Misalnya hari ini pipeline berjalan.
Besok kode diubah dan tiba-tiba rusak.
Dengan Git kita dapat melihat:
Version 1
Version 2
Version 3dan mengetahui perubahan yang dilakukan.
39. CI/CD
CI/CD adalah otomatisasi proses pengembangan dan deployment.
Konsep:
Developer
↓
Git Push
↓
Test
↓
Build
↓
Validation
↓
DeployJika test gagal:
Deploy
↓
STOPJika test berhasil:
Deploy
↓
Production40. Testing Data Pipeline
Pipeline juga harus dites.
Contoh:
assert df["qty"].min() >= 0Atau:
assert df["customer_id"].notna().all()Tujuannya memastikan data tidak rusak.
41. Data Contract
Dalam sistem besar, producer dan consumer perlu memiliki kesepakatan struktur data.
Misalnya:
customer_id
string
required
amount
decimal
required
transaction_date
datetime
requiredJika producer tiba-tiba mengubah:
amountmenjadi:
stringpipeline dapat mengalami masalah.
Data contract membantu mencegahnya.
42. Schema Evolution
Struktur data dapat berubah.
Contoh awal:
id
name
priceKemudian ditambah:
categoryPipeline harus mampu menangani perubahan tersebut tanpa merusak sistem.
43. Data Lineage
Data lineage menjawab:
Data ini berasal dari mana?
Contoh:
Marketplace API
↓
Bronze Sales
↓
Silver Sales
↓
Gold Sales
↓
Power BI
↓
CEO DashboardJika angka dashboard salah, kita dapat menelusuri sumbernya.
44. Observability
Monitoring bukan hanya:
SUCCESS / FAILEDTetapi juga:
Latency
Volume
Freshness
Quality
Errors
CostContoh:
Pipeline Health
Status : OK
Rows : 2.500.000
Duration : 8m 32s
Freshness : 12 minutes
Quality : 99.98%45. Data Freshness
Dashboard harus mengetahui kapan data terakhir diperbarui.
Contoh:
Last Updated:
05 October 2026
09:02Jika data terakhir diperbarui:
3 hari laludashboard harus memberikan peringatan.
46. Cost Optimization
Cloud tidak gratis.
Arsitektur harus memperhatikan:
Storage
Compute
Network
Queries
Pipeline
LogsJangan menjalankan proses besar jika tidak diperlukan.
Contoh:
❌ Full load setiap jam
✓ Incremental loadIni dapat mengurangi biaya dan waktu.
47. Arsitektur Advanced
Sekarang kita gabungkan semuanya.
SOURCES
│
┌─────────┼─────────┐
↓ ↓ ↓
API Database Files
│ │ │
└─────────┼─────────┘
↓
INGESTION
↓
KAFKA
↓
┌─────────────┐
│ DATA LAKE │
└─────────────┘
↓
BRONZE
↓
SPARK/PYTHON
↓
SILVER
↓
TRANSFORM
↓
GOLD
↓
DATA WAREHOUSE
↓
SEMANTIC MODEL
↓
┌─────────────┼─────────────┐
↓ ↓ ↓
POWER BI EXCEL AIPengendali workflow:
AIRFLOWEnvironment:
DOCKERVersion control:
GITDeployment:
CI/CDMonitoring:
OBSERVABILITY48. Project Level 12
Sekarang kita buat proyek yang lebih serius.
Enterprise Sales Data Pipeline
Sumber:
Marketplace API
POS Database
Excel
CSV
CRMPipeline:
SOURCE
↓
INGESTION
↓
BRONZE
↓
VALIDATION
↓
SILVER
↓
SPARK
↓
GOLD
↓
DATA WAREHOUSE
↓
POWER BIOrchestration:
AIRFLOWEnvironment:
DOCKERVersion control:
GIT49. Struktur Project
sales-data-platform/
│
├── dags/
│ └── sales_pipeline.py
│
├── src/
│ ├── extract/
│ ├── transform/
│ ├── validation/
│ └── load/
│
├── tests/
│
├── config/
│
├── docker/
│
├── requirements.txt
│
├── Dockerfile
│
└── README.mdIni sudah mendekati struktur proyek Data Engineering profesional.
50. Workflow Lengkap
Setiap hari:
01:00
↓
Airflow menjalankan pipeline
↓
Ambil data marketplace
↓
Ambil data POS
↓
Ambil data CRM
↓
Simpan Bronze
↓
Validasi
↓
Transform menggunakan Spark
↓
Simpan Silver
↓
Buat Gold
↓
Load Warehouse
↓
Quality Check
↓
Refresh Power BI
↓
02:30
SELESAIJika error:
ERROR
↓
RETRY
↓
ERROR
↓
ALERT51. Dashboard Monitoring
Selain dashboard bisnis, Data Engineer membutuhkan dashboard teknis.
Contoh:
DATA PLATFORM MONITORING
Pipeline Success 98.7%
Failed Jobs 2
Rows Processed 125 M
Average Runtime 14 min
Data Freshness 8 min
Data Quality 99.4%52. Skill Checklist Level 12
Sebelum naik ke Level 13, idealnya sudah memahami:
Python
function
module
exception
logging
pandas
API
SQL
JOIN
GROUP BY
CTE
window function
optimization
Data Engineering
ETL
ELT
incremental load
data quality
data lineage
Pipeline
DAG
dependency
scheduling
retry
monitoring
Big Data
Spark
PySpark
partition
distributed processing
Streaming
Kafka
producer
consumer
event
DevOps
Docker
Git
CI/CD
Architecture
Data Lake
Lakehouse
Bronze
Silver
Gold
53. Apa yang Kita Kuasai Sekarang?
Perjalanan kita sudah berubah dari:
Excel Usermenjadi:
Data Analystkemudian:
BI Developerkemudian:
BI Solution Architectdan sekarang:
Data EngineerTahap berikutnya akan semakin dekat dengan dunia AI dan Machine Learning.
54. Level Berikutnya
LEVEL 13 — Machine Learning & Advanced Analytics
Di level berikutnya kita akan belajar:
Statistics
↓
Python Data Science
↓
Feature Engineering
↓
Regression
↓
Classification
↓
Clustering
↓
Time Series
↓
Forecasting
↓
Anomaly Detection
↓
Model Evaluation
↓
Machine Learning Pipeline
↓
AI / Business IntelligenceContoh akhirnya:
DATA PENJUALAN
↓
MACHINE LEARNING
↓
PREDIKSI PENJUALAN
↓
FORECAST 30 HARI
↓
DETEKSI ANOMALI
↓
REKOMENDASI BISNIS
↓
POWER BI + AILevel 12 selesai. Level berikutnya adalah Level 13: Machine Learning & Advanced Analytics, di mana kita mulai membuat sistem yang bukan hanya membaca data masa lalu, tetapi memprediksi apa yang kemungkinan terjadi berikutnya.
0 Comments:
Posting Komentar