Tutorial Data Engineering & Cloud Data Platform — Level 11
Dari Excel dan Power BI Menuju Data Engineering Profesional
Setelah memahami Excel, Power Query, Power BI, DAX, SQL, Data Warehouse, dan arsitektur BI pada Level 10, tahap berikutnya adalah memahami bagaimana data dibangun dan dikelola dari sumbernya sampai siap digunakan untuk analitik dan AI.
Inilah bidang Data Engineering.
1. Apa Itu Data Engineering?
Data Engineering adalah proses membangun sistem untuk:
mengambil data
memindahkan data
membersihkan data
mengubah data
menyimpan data
menggabungkan data
memastikan kualitas data
menyediakan data untuk analitik, dashboard, dan AI
Gambaran sederhananya:
SUMBER DATA
↓
DATABASE / API / FILE
↓
DATA INGESTION
↓
DATA PIPELINE
↓
DATA CLEANING
↓
DATA TRANSFORMATION
↓
DATA WAREHOUSE / DATA LAKE
↓
SEMANTIC MODEL
↓
POWER BI / EXCEL / AIKalau Excel adalah tempat kita mengolah data secara langsung, Data Engineering adalah sistem yang menyiapkan data dalam skala besar dan otomatis.
2. Contoh Dunia Nyata
Misalnya sebuah perusahaan memiliki:
Toko Online
Website
Marketplace
Aplikasi Kasir
Bank
Gudang
CRM
Media SosialMasing-masing menghasilkan data berbeda.
Contohnya:
Tokopedia
Shopee
Website
POS
CRM
Excel
CSV
API
DatabaseData Engineering menggabungkan semuanya.
Shopee ───────┐
Tokopedia ────┤
Website ──────┤
POS ──────────┤
CRM ──────────┤
Excel ────────┤
API ──────────┤
↓
DATA PIPELINE
↓
DATA PLATFORM
↓
DATA WAREHOUSE
↓
POWER BI3. Data Engineer vs Data Analyst
Perbedaannya penting.
Data Analyst
Fokus:
menganalisis data
membuat laporan
membuat dashboard
mencari insight
menjawab pertanyaan bisnis
Contoh:
Mengapa penjualan bulan September turun?
Data Engineer
Fokus:
mengambil data
membuat pipeline
mengatur database
membangun data warehouse
memastikan pipeline berjalan
memastikan data tersedia
Contoh:
Bagaimana agar data penjualan otomatis masuk ke warehouse setiap malam?
4. Skill Data Engineer
Skill utama:
SQL
Python
Database
ETL / ELT
Data Warehouse
Data Lake
Data Pipeline
API
Cloud
Docker
Git
Orchestration
Data Quality
MonitoringUntuk tahap awal tidak perlu menguasai semuanya sekaligus.
Urutan yang bagus:
Excel
↓
Power Query
↓
SQL
↓
Database
↓
Python
↓
ETL
↓
Data Warehouse
↓
Cloud
↓
Data Pipeline
↓
Orchestration5. SQL Menjadi Sangat Penting
SQL adalah salah satu kemampuan utama Data Engineer.
Contoh tabel:
sales
--------------------------------
id
tanggal
customer_id
produk_id
qty
harga
salespersonQuery sederhana:
SELECT *
FROM sales;Mengambil data tertentu:
SELECT
tanggal,
produk_id,
qty,
harga
FROM sales;Menghitung omzet:
SELECT
SUM(qty * harga) AS omzet
FROM sales;6. GROUP BY
Misalnya ingin mengetahui omzet per produk.
SELECT
produk_id,
SUM(qty * harga) AS omzet
FROM sales
GROUP BY produk_id;Hasil:
Produk Omzet
---------------------
P001 25.000.000
P002 18.500.000
P003 31.200.0007. JOIN
Data biasanya tidak berada dalam satu tabel.
Contoh:
sales
sale_id
customer_id
product_id
qtycustomer
customer_id
customer_name
cityproduct
product_id
product_name
category
priceKita dapat menggabungkannya:
SELECT
s.sale_id,
c.customer_name,
p.product_name,
s.qty
FROM sales s
JOIN customer c
ON s.customer_id = c.customer_id
JOIN product p
ON s.product_id = p.product_id;Ini adalah konsep yang sangat penting.
8. ETL
ETL:
Extract
Transform
LoadExtract
Mengambil data dari sumber.
Contoh:
Excel
CSV
API
Database
Website
ERP
CRMTransform
Membersihkan dan mengubah data.
Contoh:
hapus duplicate
ubah format tanggal
bersihkan nama
ubah tipe data
gabungkan tabel
hitung kolom baruLoad
Memasukkan data ke tujuan.
Misalnya:
Data Warehouse
Database
Data Lake9. ELT
Selain ETL ada ELT:
Extract
Load
TransformData dimasukkan terlebih dahulu ke sistem penyimpanan, kemudian transformasi dilakukan di dalam platform tersebut.
Contohnya:
Source
↓
Data Warehouse
↓
Transformation
↓
AnalyticsELT banyak digunakan pada platform data modern karena kemampuan komputasinya besar.
10. Data Pipeline
Data pipeline adalah jalur otomatis perpindahan data.
Contoh:
Marketplace
↓
API
↓
Ingestion
↓
Raw Data
↓
Transformation
↓
Data Warehouse
↓
Power BIPipeline dapat dijalankan:
setiap jam
setiap hari
setiap 15 menit
real-time11. Batch Processing
Batch berarti data diproses secara berkala.
Contoh:
00:00
↓
Ambil transaksi hari ini
↓
Cleaning
↓
Transform
↓
Load
↓
Dashboard diperbaruiCocok untuk:
laporan harian
laporan keuangan
laporan penjualan
inventory
payroll
12. Real-Time Processing
Real-time berarti data diproses hampir langsung ketika terjadi.
Contoh:
Transaksi terjadi
↓
Event
↓
Processing
↓
Database
↓
DashboardCocok untuk:
transaksi pembayaran
monitoring server
fraud detection
IoT
monitoring produksi
13. Incremental Load
Jangan selalu mengambil seluruh data.
Misalnya database mempunyai:
10.000.000 transaksiHari ini hanya ada:
5.000 transaksi baruTidak efisien jika mengambil semuanya lagi.
Gunakan incremental load.
Data lama
+
Data baruContoh berdasarkan tanggal:
SELECT *
FROM sales
WHERE updated_at > '2026-10-04 23:59:59';14. Data Lake
Data Lake adalah tempat menyimpan data dalam bentuk yang lebih fleksibel.
Bisa berisi:
CSV
JSON
Excel
Parquet
Logs
Images
Documents
API dataStruktur sederhana:
DATA LAKE
│
├── raw
│ ├── sales
│ ├── customer
│ └── product
│
├── processed
│
└── curated15. Data Warehouse
Data Warehouse digunakan untuk analitik.
Contoh:
DATA WAREHOUSE
│
┌────────────┼────────────┐
↓ ↓ ↓
Sales Customer Product
↓ ↓ ↓
POWER BIData Warehouse biasanya memiliki struktur yang lebih teratur dibanding Data Lake.
16. Data Lake vs Data Warehouse
| Data Lake | Data Warehouse |
|---|---|
| Data mentah | Data terstruktur |
| Fleksibel | Terorganisasi |
| Banyak format | Umumnya tabel |
| Cocok untuk data besar | Cocok untuk BI |
| Data Science | Dashboard |
| Machine Learning | Reporting |
Dalam arsitektur modern, keduanya dapat digunakan bersama.
17. Lakehouse
Konsep berikutnya adalah Data Lakehouse.
Lakehouse mencoba menggabungkan kelebihan:
Data Lake
+
Data WarehouseKonsep:
LAKEHOUSE
│
┌──────────┼──────────┐
↓ ↓ ↓
BI/Report Analytics AIIni menjadi konsep penting dalam arsitektur data modern.
18. Format Parquet
Dalam data engineering, format file sangat penting.
Salah satu format populer:
ParquetDibanding CSV, Parquet lebih cocok untuk analytical workloads karena menyimpan data secara kolumnar dan mendukung kompresi dengan baik.
Contoh:
sales.csvdapat diproses menjadi:
sales.parquet19. Python untuk Data Engineering
Python sangat banyak digunakan.
Contoh membaca CSV:
import pandas as pd
df = pd.read_csv("sales.csv")
print(df.head())Membersihkan data:
df = df.drop_duplicates()Menghapus baris kosong:
df = df.dropna()Mengubah tanggal:
df["tanggal"] = pd.to_datetime(df["tanggal"])Menghitung omzet:
df["omzet"] = df["qty"] * df["harga"]20. Python + SQL
Python dapat mengambil data dari database.
Konsepnya:
Python
↓
Database Connection
↓
SQL Query
↓
DataFrame
↓
ProcessingContoh konsep:
query = """
SELECT *
FROM sales
WHERE tanggal >= '2026-01-01'
"""Kemudian hasil query diproses menggunakan Python.
21. API
API memungkinkan sistem mengambil data dari aplikasi lain.
Contoh:
Aplikasi A
↓
API
↓
Data Engineering
↓
WarehouseData API biasanya berbentuk JSON.
Contoh:
{
"id": 1001,
"customer": "Budi",
"total": 250000
}Python dapat membaca data JSON tersebut kemudian memasukkannya ke database.
22. Orchestration
Pipeline yang kompleks membutuhkan pengaturan jadwal.
Misalnya:
01:00 Download data
02:00 Cleaning
03:00 Transformation
04:00 Load warehouse
05:00 Refresh BIOrchestration bertugas mengatur proses tersebut.
Konsepnya:
Task A
↓
Task B
↓
Task C
↓
Task DJika Task B gagal:
Task B ❌
↓
Retry
↓
Success
↓
Task C23. Dependency
Misalnya:
Download Data
↓
Clean Data
↓
Load Database
↓
Refresh DashboardDashboard tidak boleh diperbarui sebelum database selesai.
Inilah dependency.
24. Data Quality
Pipeline yang berjalan otomatis belum tentu menghasilkan data yang benar.
Harus ada validasi.
Contoh:
Qty tidak boleh negatif
Harga tidak boleh kosong
Tanggal harus valid
Customer ID harus tersedia
Produk ID harus validContoh validasi:
IF qty < 0
THEN ERROR25. Data Validation
Contoh pemeriksaan:
Total rows
Duplicate rows
NULL values
Invalid dates
Invalid IDs
Negative values
Missing relationshipsContoh hasil:
Data Quality Report
Rows : 1.250.000
Duplicate : 120
Missing Customer : 35
Invalid Date : 4
Negative Qty : 0
Status : WARNING26. Monitoring
Pipeline harus dimonitor.
Contoh:
Pipeline Status
Sales Import ✓
Customer Import ✓
Product Import ✓
Transformation ✓
Warehouse Load ✓
Power BI Refresh ✓Jika gagal:
Warehouse Load ✕Sistem harus memberikan alert.
27. Logging
Simpan informasi setiap proses.
Contoh:
2026-10-05 01:00
START sales_import
2026-10-05 01:03
1.250.000 rows loaded
2026-10-05 01:04
Transformation completed
2026-10-05 01:05
SUCCESSLogging sangat penting untuk mencari penyebab error.
28. Cloud Data Platform
Setelah memahami konsep data engineering, kita masuk ke cloud.
Arsitektur:
SOURCE
↓
CLOUD INGESTION
↓
DATA LAKE
↓
PROCESSING
↓
DATA WAREHOUSE
↓
SEMANTIC MODEL
↓
POWER BI
↓
BUSINESSCloud memungkinkan sistem menangani data dalam skala besar tanpa harus membangun seluruh infrastrukturnya sendiri.
29. Konsep Cloud yang Harus Dipahami
Tidak perlu langsung menghafal semua layanan cloud.
Pahami kategorinya:
Storage
Database
Compute
Networking
Security
Data Processing
Analytics
AI
MonitoringContoh platform cloud yang populer:
Microsoft Azure
Amazon Web Services
Google Cloud30. Storage
Tempat menyimpan data.
Contohnya:
Raw Data
Processed Data
Backup
Logs
Documents
ImagesStruktur:
/company-data
/raw
/processed
/curated
/archive31. Compute
Compute adalah sumber daya untuk menjalankan proses.
Contoh:
Python processing
SQL query
Data transformation
Machine Learning
ETLSemakin besar data, semakin besar kebutuhan compute.
32. Security
Data perusahaan harus dilindungi.
Konsep:
Authentication
Authorization
Encryption
Access Control
Audit Log
Row-Level SecurityContoh:
Direktur
↓
Semua data
Manager
↓
Data cabangnya
Sales
↓
Data miliknya33. Data Governance
Data Governance mengatur:
siapa yang boleh mengakses data
siapa pemilik data
definisi data
kualitas data
keamanan data
aturan penggunaan data
Contoh:
RevenueHarus memiliki definisi yang jelas.
Apakah:
Revenue = Qty × Hargaatau:
Revenue = Qty × Harga - DiscountTanpa definisi yang sama, setiap departemen bisa menghasilkan angka berbeda.
34. Metadata
Metadata adalah informasi tentang data.
Contoh:
Nama tabel:
sales
Kolom:
sale_id
customer_id
product_id
qty
price
Owner:
Finance
Update:
Daily
Classification:
InternalMetadata membantu organisasi memahami datanya.
35. Data Catalog
Data Catalog adalah katalog data perusahaan.
Misalnya:
CUSTOMER_MASTER
SALES_TRANSACTION
PRODUCT_MASTER
INVENTORY
FINANCEUser dapat mengetahui:
Apa isi tabel?
Siapa pemiliknya?
Kapan diperbarui?
Bagaimana definisinya?36. Arsitektur Data Modern
Sekarang kita gabungkan semuanya.
DATA SOURCES
│
┌─────────────┼─────────────┐
↓ ↓ ↓
API Database Files
│ │ │
└─────────────┼─────────────┘
↓
INGESTION
↓
DATA LAKE
↓
TRANSFORMATION
↓
DATA WAREHOUSE
↓
SEMANTIC MODEL
↓
┌─────────────┼─────────────┐
↓ ↓ ↓
POWER BI EXCEL AIIni adalah fondasi platform data perusahaan.
37. Project Level 11
Sekarang kita buat proyek nyata.
Sistem Data Penjualan Otomatis
Sumber:
Excel
CSV
Database
Marketplace APITarget:
Data Lake
↓
Data Warehouse
↓
Power BI38. Struktur Folder
Buat struktur:
DATA_PLATFORM
│
├── raw
│ ├── sales
│ ├── customer
│ └── product
│
├── processed
│
├── curated
│
├── archive
│
└── logs39. Pipeline
Pipeline:
STEP 1
Ambil data
↓
STEP 2
Validasi
↓
STEP 3
Cleaning
↓
STEP 4
Transform
↓
STEP 5
Load
↓
STEP 6
Quality Check
↓
STEP 7
Refresh BI40. Hasil Akhir
Dashboard:
TOTAL SALES
Rp 2.450.000.000
CUSTOMER
8.520
TRANSACTIONS
52.840
GROWTH
+14,5%
PROFIT
Rp 480.000.000Kemudian dashboard dapat digunakan oleh:
Direktur
Manager
Finance
Marketing
Sales
Warehousedengan hak akses berbeda.
41. Roadmap Setelah Level 11
Setelah menguasai Level 11, kita dapat masuk ke:
Level 12
Advanced Data Engineering
Materi:
Advanced SQL
Python
Data Pipeline
Apache Airflow
Spark
Distributed Processing
Data Lakehouse
Streaming
Kafka
Docker
Git
CI/CDLevel 13
Machine Learning & Advanced Analytics
Materi:
Statistics
Machine Learning
Regression
Classification
Clustering
Forecasting
Anomaly Detection
Feature Engineering
Model EvaluationLevel 14
AI Data Analyst & Generative AI
Materi:
LLM
RAG
AI Analyst
Natural Language BI
AI Agents
Text-to-SQL
AI Dashboard
Automated InsightLevel 15
Enterprise Data Architect
Materi:
Enterprise Architecture
Data Governance
Security
Data Mesh
Data Fabric
Master Data Management
Enterprise AI
Cloud Architecture42. Urutan Skill Lengkap
Perjalanan kita sekarang menjadi:
LEVEL 1
Excel Pemula
↓
LEVEL 2
Excel Menengah
↓
LEVEL 3
Excel Advanced
↓
LEVEL 4
Excel Expert
↓
LEVEL 5
Excel Automation & VBA
↓
LEVEL 6
Data Analytics
↓
LEVEL 7
Power BI
↓
LEVEL 8
Advanced DAX
↓
LEVEL 9
Excel + AI
↓
LEVEL 10
BI Solution Architect
↓
LEVEL 11
Data Engineering
↓
LEVEL 12
Advanced Data Engineering
↓
LEVEL 13
Machine Learning
↓
LEVEL 14
AI Data Analyst
↓
LEVEL 15
Enterprise Data ArchitectKesimpulan
Pada Level 11, fokus kita berubah dari:
“Bagaimana menganalisis data?”
menjadi:
“Bagaimana membangun sistem yang menyediakan data berkualitas secara otomatis untuk analitik, dashboard, dan AI?”
Inilah perbedaan antara pengguna Excel/BI dengan seseorang yang mulai masuk ke dunia Data Engineering.
Skill yang perlu mulai dikuasai sekarang adalah:
SQL → Python → Database → ETL/ELT → Data Pipeline → Data Warehouse → Cloud → Monitoring → Data Governance.
Setelah ini, kita bisa naik ke Level 12: Advanced Data Engineering, yang mulai membahas Python untuk Data Engineering, Apache Airflow, Apache Spark, Docker, Git, CI/CD, Data Lakehouse, Kafka, dan pipeline skala besar.
0 Comments:
Posting Komentar