ADVANCED MACHINE LEARNING & MLOps
Dari Model Machine Learning ke Sistem ML Production
Setelah memahami Machine Learning pada Level 13 dan Cloud Data Engineering pada Level 17, tahap berikutnya adalah memahami bagaimana model Machine Learning benar-benar digunakan di lingkungan production.
Di dunia nyata, membuat model dengan akurasi tinggi saja tidak cukup.
Sebuah sistem ML production harus mampu:
mengambil data secara otomatis,
melakukan preprocessing,
membuat prediksi,
menyimpan versi model,
menyediakan API,
memonitor kualitas model,
mendeteksi data drift,
melakukan retraining,
menjaga keamanan,
dan melakukan deployment ke cloud.
Inilah dunia MLOps.
1. Apa Itu MLOps?
MLOps adalah pendekatan untuk mengelola seluruh siklus hidup Machine Learning.
Secara sederhana:
DATA
↓
DATA PIPELINE
↓
FEATURE ENGINEERING
↓
TRAINING
↓
EVALUATION
↓
MODEL REGISTRY
↓
DEPLOYMENT
↓
PREDICTION
↓
MONITORING
↓
RETRAINING
↓
DEPLOYMENT BARUKalau Machine Learning biasa fokus pada:
"Bagaimana membuat model yang bagus?"
MLOps fokus pada:
"Bagaimana membuat model yang bagus dan membuatnya tetap berjalan dengan baik di production?"
2. Masalah Machine Learning di Dunia Nyata
Misalnya kita membuat model untuk memprediksi penjualan.
Saat training:
Data 2024
Data 2025Model menghasilkan:
RMSE = 12.4
R² = 0.91Terlihat bagus.
Tetapi setelah beberapa bulan:
Pola pelanggan berubah
Harga berubah
Produk baru muncul
Promosi berubah
Kompetitor berubahAkibatnya:
RMSE = 38.7
R² = 0.52Model mengalami penurunan performa.
Karena itu model harus dipantau terus-menerus.
3. Advanced Feature Engineering
Feature engineering adalah proses membuat variabel yang lebih informatif untuk model.
Misalnya data penjualan:
| Date | Product | Sales |
|---|---|---|
| 1 Jan | A | 100 |
| 2 Jan | A | 120 |
| 3 Jan | A | 150 |
Kita dapat membuat:
lag_1
lag_7
rolling_mean_7
rolling_mean_30
sales_growth
day_of_week
month
is_weekendContoh:
df["lag_1"] = df["sales"].shift(1)
df["lag_7"] = df["sales"].shift(7)
df["rolling_7"] = (
df["sales"]
.rolling(7)
.mean()
)Model sekarang tidak hanya melihat penjualan hari ini.
Model dapat memahami:
"Bagaimana kondisi penjualan beberapa hari sebelumnya?"
4. Time Series Feature
Untuk forecasting, waktu sangat penting.
Contoh:
date
day
week
month
quarter
year
day_of_week
is_weekendKita juga bisa membuat:
lag_1
lag_7
lag_14
lag_30Contohnya:
Sales hari ini
Sales 7 hari lalu
Sales 14 hari lalu
Sales 30 hari laluModel dapat belajar pola berulang.
5. Hindari Data Leakage
Ini salah satu masalah paling berbahaya dalam Machine Learning.
Data leakage terjadi ketika informasi yang seharusnya tidak diketahui model pada saat prediksi masuk ke proses training.
Misalnya ingin memprediksi:
Apakah customer akan membeli bulan depan?Tetapi kita memasukkan:
total_purchase_bulan_depanModel akan terlihat sangat pintar.
Padahal model sebenarnya "membocorkan jawaban".
6. Contoh Data Leakage Time Series
Misalnya:
2025-01
2025-02
2025-03
2025-04Jangan melakukan random split seperti:
train_test_split(
X,
y,
test_size=0.2,
random_state=42
)untuk semua kasus time series.
Lebih aman menggunakan pembagian berdasarkan waktu:
TRAIN
Jan ───────── Sep
VALIDATION
Okt ─── Nov
TEST
DesDengan demikian model tidak melihat masa depan.
7. Cross Validation
Untuk model biasa kita dapat menggunakan:
K-Fold Cross ValidationTetapi untuk time series lebih cocok menggunakan:
Time Series Cross ValidationContoh:
Fold 1
TRAIN: Jan-Mar
TEST : Apr
Fold 2
TRAIN: Jan-Apr
TEST : Mei
Fold 3
TRAIN: Jan-Mei
TEST : JunModel diuji pada periode yang benar-benar lebih baru.
8. Model Selection
Jangan langsung menggunakan satu algoritma.
Bandingkan beberapa model.
Contohnya:
Linear Regression
Random Forest
Gradient Boosting
XGBoost
LightGBM
CatBoost
Neural NetworkContoh tabel:
| Model | RMSE | MAE | R² |
|---|---|---|---|
| Linear Regression | 42 | 31 | 0.70 |
| Random Forest | 28 | 19 | 0.84 |
| XGBoost | 22 | 15 | 0.90 |
| Neural Network | 24 | 17 | 0.88 |
Model terbaik belum tentu model yang paling kompleks.
Dalam production kita juga mempertimbangkan:
Accuracy
Latency
Cost
Interpretability
Maintenance
Scalability9. Gradient Boosting
Gradient Boosting merupakan salah satu keluarga algoritma yang sangat kuat untuk data tabular.
Konsep sederhananya:
Model 1
↓
Cari kesalahan
↓
Model 2 memperbaiki kesalahan
0 Comments:
Posting Komentar