Tutorial Machine Learning & Advanced Analytics
Dari Data Engineering Menuju Prediksi dan Sistem Cerdas
Pada Level 12 kita sudah membangun fondasi Data Engineering:
Source
↓
Data Pipeline
↓
Data Lake
↓
Spark
↓
Data Warehouse
↓
Power BISekarang kita tambahkan kemampuan baru:
DATA
↓
ANALYTICS
↓
MACHINE LEARNING
↓
PREDICTION
↓
DECISIONTujuannya bukan lagi sekadar mengetahui:
"Apa yang sudah terjadi?"
Tetapi mulai menjawab:
"Apa yang kemungkinan akan terjadi?"
dan:
"Apa tindakan terbaik yang dapat dilakukan?"
1. Apa Itu Machine Learning?
Machine Learning adalah pendekatan yang memungkinkan komputer mempelajari pola dari data untuk menghasilkan prediksi atau keputusan.
Contoh:
Data Penjualan
↓
Machine Learning
↓
Pola
↓
Model
↓
PrediksiMisalnya terdapat data:
Tanggal Harga Iklan Penjualan
01/01 10.000 500.000 120
02/01 10.000 600.000 145
03/01 11.000 700.000 160
...Model dapat mempelajari hubungan antarvariabel.
2. AI, Machine Learning, dan Data Analytics
Ketiganya sering dianggap sama, padahal berbeda.
Data Analytics
Menjawab:
Apa yang terjadi?
Contoh:
Penjualan turun 15%.Machine Learning
Menjawab:
Apa yang kemungkinan terjadi?
Contoh:
Penjualan minggu depan diprediksi 8.500 unit.AI
Dapat membantu menjawab:
Apa yang sebaiknya dilakukan?
Contoh:
Kurangi stok produk A dan tingkatkan stok produk B.Gambaran:
Analytics
↓
Understanding
↓
Machine Learning
↓
Prediction
↓
AI
↓
Recommendation3. Fondasi Statistik
Sebelum Machine Learning, statistik sangat penting.
Beberapa konsep:
Mean
Median
Mode
Variance
Standard Deviation
Correlation
Distribution
Probability4. Mean
Misalnya penjualan:
100
120
140
160
180Mean:
(100 + 120 + 140 + 160 + 180) / 5
= 140Jadi rata-rata penjualan adalah:
1405. Median
Urutkan data:
100
120
140
160
180Nilai tengah:
140Itulah median.
Median berguna ketika data memiliki nilai ekstrem.
Contoh:
10
12
15
18
1000Mean akan sangat terpengaruh oleh 1000.
Median lebih representatif terhadap nilai tengah data.
6. Standard Deviation
Standard deviation mengukur seberapa menyebar data dari rata-ratanya.
Jika:
100
101
99
100
102penyebarannya kecil.
Jika:
20
200
50
500
10penyebarannya besar.
Konsep ini penting dalam analisis risiko dan anomali.
7. Correlation
Correlation digunakan untuk melihat hubungan antarvariabel.
Contoh:
Biaya Iklan ↑
↓
Penjualan ↑Bisa saja terdapat korelasi positif.
Tetapi penting:
Korelasi tidak otomatis berarti sebab-akibat.
Misalnya:
Penjualan es krim ↑
Penjualan minuman dingin ↑Keduanya mungkin meningkat karena faktor ketiga:
Cuaca panas8. Dataset Machine Learning
Contoh dataset:
Tanggal
Harga
Diskon
Iklan
Stok
Hari
PenjualanDalam Machine Learning biasanya kita membagi:
Features
Variabel yang digunakan untuk membuat prediksi.
Harga
Diskon
Iklan
Stok
HariTarget
Variabel yang ingin diprediksi.
Penjualan9. X dan y
Dalam Python biasanya:
X = Features
y = TargetContoh:
X = df[
[
"harga",
"diskon",
"iklan",
"stok"
]
]
y = df["penjualan"]10. Training dan Testing
Jangan melatih model menggunakan seluruh data.
Data biasanya dibagi menjadi:
DATASET
│
├── TRAINING DATA
│
└── TESTING DATAContoh:
80% Training
20% TestingTraining digunakan untuk mempelajari pola.
Testing digunakan untuk mengukur performa model pada data yang belum digunakan saat pelatihan.
11. Mengapa Ini Penting?
Misalnya:
Training Accuracy = 99%Kelihatannya sangat bagus.
Tetapi:
Testing Accuracy = 65%Berarti model mungkin terlalu menyesuaikan diri dengan data training.
Masalah ini disebut:
Overfitting.
12. Underfitting
Kebalikannya:
Training = 60%
Testing = 58%Model mungkin terlalu sederhana untuk menangkap pola data.
Ini disebut:
Underfitting.
Tujuan kita adalah mendapatkan model yang dapat melakukan generalisasi dengan baik.
13. Regression
Regression digunakan untuk memprediksi nilai numerik.
Contoh:
Prediksi penjualan
Prediksi harga
Prediksi pendapatan
Prediksi permintaan
Prediksi biayaMisalnya:
Iklan
↓
Regression Model
↓
Prediksi Penjualan14. Linear Regression
Model sederhana:
y = a + bxMisalnya:
Penjualan = 100 + 0,5 × IklanJika iklan:
1.000prediksi:
100 + (0,5 × 1.000)
= 600Model nyata tentu menggunakan data dan parameter yang dipelajari secara statistik.
15. Multiple Linear Regression
Tidak hanya satu variabel.
Contoh:
Penjualan =
Harga
+ Diskon
+ Iklan
+ Stok
+ HariSecara konsep:
y =
b0
+ b1x1
+ b2x2
+ b3x3
+ ...Ini lebih realistis untuk masalah bisnis.
16. Classification
Classification digunakan untuk menentukan kategori.
Contoh:
Customer
↓
Model
↓
High Value / Low ValueContoh lainnya:
Transaksi
↓
Fraud / Normalatau:
Customer
↓
Churn / Tidak Churn17. Binary Classification
Hanya memiliki dua kelas.
Contoh:
0 = Tidak Churn
1 = Churnatau:
0 = Normal
1 = Fraud18. Multi-Class Classification
Memiliki lebih dari dua kelas.
Contoh:
Customer
↓
Premium
Regular
BasicModel memilih salah satu kategori.
19. Logistic Regression
Walaupun namanya regression, Logistic Regression sering digunakan untuk classification.
Contoh:
Customer Data
↓
Logistic Regression
↓
Probability
↓
Churn = 82%Sistem dapat mengatakan:
Customer A
Probability Churn = 82%20. Confusion Matrix
Untuk classification, kita perlu mengetahui kesalahan model.
Contoh:
Prediksi
Normal Fraud
Aktual Normal TN FP
Aktual Fraud FN TPArtinya:
TP
Fraud diprediksi fraud.
TN
Normal diprediksi normal.
FP
Normal tetapi diprediksi fraud.
FN
Fraud tetapi diprediksi normal.
21. Accuracy
Rumus sederhana:
Accuracy =
Prediksi benar / Total prediksiNamun accuracy tidak selalu cukup.
Misalnya data fraud:
99.000 normal
1.000 fraudModel mengatakan semuanya normal.
Accuracy:
99%Kelihatannya bagus.
Padahal semua fraud gagal terdeteksi.
22. Precision
Precision menjawab:
Dari semua yang diprediksi positif, berapa yang benar-benar positif?
Contoh:
100 transaksi ditandai fraud
80 ternyata fraudPrecision:
80%23. Recall
Recall menjawab:
Dari semua kasus positif sebenarnya, berapa yang berhasil ditemukan?
Misalnya terdapat:
100 fraud sebenarnyaModel menemukan:
90Recall:
90%24. F1 Score
F1 menggabungkan precision dan recall.
Digunakan ketika kita ingin keseimbangan antara keduanya.
Secara konsep:
F1 = kombinasi Precision dan RecallF1 sangat berguna ketika dataset tidak seimbang.
25. Decision Tree
Decision Tree menggunakan struktur seperti pohon keputusan.
Contoh:
Harga < 100.000?
│
┌───┴───┐
YA TIDAK
│ │
Diskon? Stok?
│ │
↓ ↓
...Mudah dijelaskan kepada pengguna bisnis.
26. Random Forest
Random Forest menggunakan banyak decision tree.
Tree 1
Tree 2
Tree 3
Tree 4
Tree 5
↓
Aggregation
↓
PredictionKelebihannya:
cukup kuat
dapat menangani banyak fitur
cocok untuk berbagai masalah
relatif mudah digunakan
27. Gradient Boosting
Konsepnya:
Model 1
↓
Cari kesalahan
↓
Model 2
↓
Perbaiki kesalahan
↓
Model 3
↓
...Model berikutnya mencoba memperbaiki kesalahan model sebelumnya.
Teknik boosting sangat populer untuk data tabular.
28. Clustering
Clustering digunakan untuk mengelompokkan data tanpa label yang sudah ditentukan.
Contoh:
Customer
↓
Clustering
↓
Cluster 1
Cluster 2
Cluster 3Misalnya:
Cluster 1
Customer dengan pembelian tinggi
Cluster 2
Customer dengan pembelian sedang
Cluster 3
Customer dengan pembelian rendah29. K-Means
Salah satu algoritma clustering populer adalah K-Means.
Contoh:
Customer
↓
K-Means
↓
3 ClusterHasil:
Cluster A
High Value
Cluster B
Medium Value
Cluster C
Low Value30. Customer Segmentation
Kita dapat menggunakan:
Recency
Frequency
Monetaryatau dikenal sebagai RFM Analysis.
Recency
Seberapa baru customer melakukan transaksi.
Frequency
Seberapa sering customer membeli.
Monetary
Berapa nilai pembeliannya.
31. RFM + Machine Learning
Contoh:
Customer
↓
RFM
↓
Feature Engineering
↓
Clustering
↓
SegmentHasil:
VIP
Loyal
Potential
At Risk
Inactive32. Time Series
Time Series adalah data yang memiliki dimensi waktu.
Contoh:
Tanggal Penjualan
01 Jan 100
02 Jan 120
03 Jan 130
04 Jan 125
...Digunakan untuk:
forecasting
demand planning
inventory
revenue prediction
traffic prediction
33. Forecasting
Tujuan:
DATA MASA LALU
↓
MODEL
↓
MASA DEPANContoh:
Penjualan Januari
Penjualan Februari
Penjualan Maret
...
↓
Forecast
↓
Penjualan April34. Trend
Data dapat memiliki trend:
100
120
140
160
180Trend:
↑
↑
↑Artinya terjadi pertumbuhan.
35. Seasonality
Pola yang berulang berdasarkan waktu.
Contoh:
Senin tinggi
Selasa sedang
Rabu sedang
Weekend sangat tinggiAtau:
Ramadan
↓
Penjualan meningkatModel forecasting perlu memperhatikan pola tersebut.
36. Anomaly Detection
Sekarang kita masuk ke kemampuan yang sangat berguna.
Anomaly detection mencari data yang tidak biasa.
Contoh:
Transaksi normal:
Rp100.000
Rp150.000
Rp120.000
Rp180.000
Tiba-tiba:
Rp50.000.000Sistem memberikan:
⚠ ANOMALY DETECTED37. Contoh Anomaly Bisnis
Anomaly dapat berupa:
Lonjakan transaksi
Penurunan penjualan
Harga tidak normal
Stok tiba-tiba hilang
Login tidak biasa
Transaksi besar38. Feature Engineering
Feature engineering adalah proses membuat fitur yang lebih berguna bagi model.
Misalnya:
tanggaldiubah menjadi:
hari
bulan
tahun
hari_dalam_minggu
weekendContoh:
df["bulan"] = df["tanggal"].dt.month
df["hari"] = df["tanggal"].dt.day
df["weekend"] = (
df["tanggal"].dt.dayofweek >= 5
)39. Lag Feature
Untuk forecasting, kita dapat menggunakan data masa lalu.
Contoh:
Penjualan Hari Ini
Penjualan Kemarin
Penjualan 7 Hari LaluKonsep:
df["sales_lag_1"] = df["sales"].shift(1)
df["sales_lag_7"] = df["sales"].shift(7)Ini dapat membantu model memahami pola historis.
40. Rolling Average
Contoh:
df["sales_7d_avg"] = (
df["sales"]
.rolling(7)
.mean()
)Artinya kita menghitung rata-rata penjualan 7 periode terakhir.
41. Model Evaluation
Model tidak cukup hanya dibuat.
Kita harus mengukur performanya.
Regression dapat menggunakan:
MAE
MSE
RMSE
R²Classification dapat menggunakan:
Accuracy
Precision
Recall
F1
ROC-AUCForecasting dapat menggunakan:
MAE
RMSE
MAPE42. MAE
Mean Absolute Error mengukur rata-rata kesalahan absolut.
Misalnya:
Aktual Prediksi
100 110
200 190
300 280Error:
10
10
20MAE:
13,33Semakin kecil biasanya
0 Comments:
Posting Komentar