Seluruh Artikel Bermanfaat
  • Home
  • Microsoft office
    • Microsoft Word
    • Microsoft Excel
    • Microsoft Power Point
  • About
  • Contact

Tutorial Data Engineering & Cloud Data Platform — Level 11

 Willong     Oktober 14, 2026     Microsoft Excel     No comments   

 Tutorial Data Engineering & Cloud Data Platform — Level 11

Dari Excel dan Power BI Menuju Data Engineering Profesional

Setelah memahami Excel, Power Query, Power BI, DAX, SQL, Data Warehouse, dan arsitektur BI pada Level 10, tahap berikutnya adalah memahami bagaimana data dibangun dan dikelola dari sumbernya sampai siap digunakan untuk analitik dan AI.

Inilah bidang Data Engineering.


1. Apa Itu Data Engineering?

Data Engineering adalah proses membangun sistem untuk:

  • mengambil data

  • memindahkan data

  • membersihkan data

  • mengubah data

  • menyimpan data

  • menggabungkan data

  • memastikan kualitas data

  • menyediakan data untuk analitik, dashboard, dan AI

Gambaran sederhananya:

SUMBER DATA
    ↓
DATABASE / API / FILE
    ↓
DATA INGESTION
    ↓
DATA PIPELINE
    ↓
DATA CLEANING
    ↓
DATA TRANSFORMATION
    ↓
DATA WAREHOUSE / DATA LAKE
    ↓
SEMANTIC MODEL
    ↓
POWER BI / EXCEL / AI

Kalau Excel adalah tempat kita mengolah data secara langsung, Data Engineering adalah sistem yang menyiapkan data dalam skala besar dan otomatis.


2. Contoh Dunia Nyata

Misalnya sebuah perusahaan memiliki:

Toko Online
Website
Marketplace
Aplikasi Kasir
Bank
Gudang
CRM
Media Sosial

Masing-masing menghasilkan data berbeda.

Contohnya:

Tokopedia
Shopee
Website
POS
CRM
Excel
CSV
API
Database

Data Engineering menggabungkan semuanya.

Shopee ───────┐
Tokopedia ────┤
Website ──────┤
POS ──────────┤
CRM ──────────┤
Excel ────────┤
API ──────────┤
              ↓
       DATA PIPELINE
              ↓
        DATA PLATFORM
              ↓
       DATA WAREHOUSE
              ↓
          POWER BI

3. Data Engineer vs Data Analyst

Perbedaannya penting.

Data Analyst

Fokus:

  • menganalisis data

  • membuat laporan

  • membuat dashboard

  • mencari insight

  • menjawab pertanyaan bisnis

Contoh:

Mengapa penjualan bulan September turun?

Data Engineer

Fokus:

  • mengambil data

  • membuat pipeline

  • mengatur database

  • membangun data warehouse

  • memastikan pipeline berjalan

  • memastikan data tersedia

Contoh:

Bagaimana agar data penjualan otomatis masuk ke warehouse setiap malam?


4. Skill Data Engineer

Skill utama:

SQL
Python
Database
ETL / ELT
Data Warehouse
Data Lake
Data Pipeline
API
Cloud
Docker
Git
Orchestration
Data Quality
Monitoring

Untuk tahap awal tidak perlu menguasai semuanya sekaligus.

Urutan yang bagus:

Excel
 ↓
Power Query
 ↓
SQL
 ↓
Database
 ↓
Python
 ↓
ETL
 ↓
Data Warehouse
 ↓
Cloud
 ↓
Data Pipeline
 ↓
Orchestration

5. SQL Menjadi Sangat Penting

SQL adalah salah satu kemampuan utama Data Engineer.

Contoh tabel:

sales
--------------------------------
id
tanggal
customer_id
produk_id
qty
harga
salesperson

Query sederhana:

SELECT *
FROM sales;

Mengambil data tertentu:

SELECT
    tanggal,
    produk_id,
    qty,
    harga
FROM sales;

Menghitung omzet:

SELECT
    SUM(qty * harga) AS omzet
FROM sales;

6. GROUP BY

Misalnya ingin mengetahui omzet per produk.

SELECT
    produk_id,
    SUM(qty * harga) AS omzet
FROM sales
GROUP BY produk_id;

Hasil:

Produk       Omzet
---------------------
P001         25.000.000
P002         18.500.000
P003         31.200.000

7. JOIN

Data biasanya tidak berada dalam satu tabel.

Contoh:

sales

sale_id
customer_id
product_id
qty

customer

customer_id
customer_name
city

product

product_id
product_name
category
price

Kita dapat menggabungkannya:

SELECT
    s.sale_id,
    c.customer_name,
    p.product_name,
    s.qty
FROM sales s
JOIN customer c
    ON s.customer_id = c.customer_id
JOIN product p
    ON s.product_id = p.product_id;

Ini adalah konsep yang sangat penting.


8. ETL

ETL:

Extract
Transform
Load

Extract

Mengambil data dari sumber.

Contoh:

Excel
CSV
API
Database
Website
ERP
CRM

Transform

Membersihkan dan mengubah data.

Contoh:

hapus duplicate
ubah format tanggal
bersihkan nama
ubah tipe data
gabungkan tabel
hitung kolom baru

Load

Memasukkan data ke tujuan.

Misalnya:

Data Warehouse
Database
Data Lake

9. ELT

Selain ETL ada ELT:

Extract
Load
Transform

Data dimasukkan terlebih dahulu ke sistem penyimpanan, kemudian transformasi dilakukan di dalam platform tersebut.

Contohnya:

Source
 ↓
Data Warehouse
 ↓
Transformation
 ↓
Analytics

ELT banyak digunakan pada platform data modern karena kemampuan komputasinya besar.


10. Data Pipeline

Data pipeline adalah jalur otomatis perpindahan data.

Contoh:

Marketplace
     ↓
API
     ↓
Ingestion
     ↓
Raw Data
     ↓
Transformation
     ↓
Data Warehouse
     ↓
Power BI

Pipeline dapat dijalankan:

setiap jam
setiap hari
setiap 15 menit
real-time

11. Batch Processing

Batch berarti data diproses secara berkala.

Contoh:

00:00
   ↓
Ambil transaksi hari ini
   ↓
Cleaning
   ↓
Transform
   ↓
Load
   ↓
Dashboard diperbarui

Cocok untuk:

  • laporan harian

  • laporan keuangan

  • laporan penjualan

  • inventory

  • payroll


12. Real-Time Processing

Real-time berarti data diproses hampir langsung ketika terjadi.

Contoh:

Transaksi terjadi
      ↓
Event
      ↓
Processing
      ↓
Database
      ↓
Dashboard

Cocok untuk:

  • transaksi pembayaran

  • monitoring server

  • fraud detection

  • IoT

  • monitoring produksi


13. Incremental Load

Jangan selalu mengambil seluruh data.

Misalnya database mempunyai:

10.000.000 transaksi

Hari ini hanya ada:

5.000 transaksi baru

Tidak efisien jika mengambil semuanya lagi.

Gunakan incremental load.

Data lama
+
Data baru

Contoh berdasarkan tanggal:

SELECT *
FROM sales
WHERE updated_at > '2026-10-04 23:59:59';

14. Data Lake

Data Lake adalah tempat menyimpan data dalam bentuk yang lebih fleksibel.

Bisa berisi:

CSV
JSON
Excel
Parquet
Logs
Images
Documents
API data

Struktur sederhana:

DATA LAKE
│
├── raw
│   ├── sales
│   ├── customer
│   └── product
│
├── processed
│
└── curated

15. Data Warehouse

Data Warehouse digunakan untuk analitik.

Contoh:

                 DATA WAREHOUSE
                       │
          ┌────────────┼────────────┐
          ↓            ↓            ↓
       Sales       Customer      Product
          ↓            ↓            ↓
              POWER BI

Data Warehouse biasanya memiliki struktur yang lebih teratur dibanding Data Lake.


16. Data Lake vs Data Warehouse

Data LakeData Warehouse
Data mentahData terstruktur
FleksibelTerorganisasi
Banyak formatUmumnya tabel
Cocok untuk data besarCocok untuk BI
Data ScienceDashboard
Machine LearningReporting

Dalam arsitektur modern, keduanya dapat digunakan bersama.


17. Lakehouse

Konsep berikutnya adalah Data Lakehouse.

Lakehouse mencoba menggabungkan kelebihan:

Data Lake
+
Data Warehouse

Konsep:

              LAKEHOUSE
                  │
       ┌──────────┼──────────┐
       ↓          ↓          ↓
   BI/Report   Analytics     AI

Ini menjadi konsep penting dalam arsitektur data modern.


18. Format Parquet

Dalam data engineering, format file sangat penting.

Salah satu format populer:

Parquet

Dibanding CSV, Parquet lebih cocok untuk analytical workloads karena menyimpan data secara kolumnar dan mendukung kompresi dengan baik.

Contoh:

sales.csv

dapat diproses menjadi:

sales.parquet

19. Python untuk Data Engineering

Python sangat banyak digunakan.

Contoh membaca CSV:

import pandas as pd

df = pd.read_csv("sales.csv")

print(df.head())

Membersihkan data:

df = df.drop_duplicates()

Menghapus baris kosong:

df = df.dropna()

Mengubah tanggal:

df["tanggal"] = pd.to_datetime(df["tanggal"])

Menghitung omzet:

df["omzet"] = df["qty"] * df["harga"]

20. Python + SQL

Python dapat mengambil data dari database.

Konsepnya:

Python
   ↓
Database Connection
   ↓
SQL Query
   ↓
DataFrame
   ↓
Processing

Contoh konsep:

query = """
SELECT *
FROM sales
WHERE tanggal >= '2026-01-01'
"""

Kemudian hasil query diproses menggunakan Python.


21. API

API memungkinkan sistem mengambil data dari aplikasi lain.

Contoh:

Aplikasi A
    ↓
   API
    ↓
Data Engineering
    ↓
Warehouse

Data API biasanya berbentuk JSON.

Contoh:

{
    "id": 1001,
    "customer": "Budi",
    "total": 250000
}

Python dapat membaca data JSON tersebut kemudian memasukkannya ke database.


22. Orchestration

Pipeline yang kompleks membutuhkan pengaturan jadwal.

Misalnya:

01:00 Download data
02:00 Cleaning
03:00 Transformation
04:00 Load warehouse
05:00 Refresh BI

Orchestration bertugas mengatur proses tersebut.

Konsepnya:

Task A
  ↓
Task B
  ↓
Task C
  ↓
Task D

Jika Task B gagal:

Task B ❌
   ↓
Retry
   ↓
Success
   ↓
Task C

23. Dependency

Misalnya:

Download Data
      ↓
Clean Data
      ↓
Load Database
      ↓
Refresh Dashboard

Dashboard tidak boleh diperbarui sebelum database selesai.

Inilah dependency.


24. Data Quality

Pipeline yang berjalan otomatis belum tentu menghasilkan data yang benar.

Harus ada validasi.

Contoh:

Qty tidak boleh negatif
Harga tidak boleh kosong
Tanggal harus valid
Customer ID harus tersedia
Produk ID harus valid

Contoh validasi:

IF qty < 0
THEN ERROR

25. Data Validation

Contoh pemeriksaan:

Total rows
Duplicate rows
NULL values
Invalid dates
Invalid IDs
Negative values
Missing relationships

Contoh hasil:

Data Quality Report

Rows              : 1.250.000
Duplicate         : 120
Missing Customer  : 35
Invalid Date      : 4
Negative Qty      : 0
Status            : WARNING

26. Monitoring

Pipeline harus dimonitor.

Contoh:

Pipeline Status

Sales Import       ✓
Customer Import    ✓
Product Import     ✓
Transformation     ✓
Warehouse Load     ✓
Power BI Refresh   ✓

Jika gagal:

Warehouse Load     ✕

Sistem harus memberikan alert.


27. Logging

Simpan informasi setiap proses.

Contoh:

2026-10-05 01:00
START sales_import

2026-10-05 01:03
1.250.000 rows loaded

2026-10-05 01:04
Transformation completed

2026-10-05 01:05
SUCCESS

Logging sangat penting untuk mencari penyebab error.


28. Cloud Data Platform

Setelah memahami konsep data engineering, kita masuk ke cloud.

Arsitektur:

SOURCE
  ↓
CLOUD INGESTION
  ↓
DATA LAKE
  ↓
PROCESSING
  ↓
DATA WAREHOUSE
  ↓
SEMANTIC MODEL
  ↓
POWER BI
  ↓
BUSINESS

Cloud memungkinkan sistem menangani data dalam skala besar tanpa harus membangun seluruh infrastrukturnya sendiri.


29. Konsep Cloud yang Harus Dipahami

Tidak perlu langsung menghafal semua layanan cloud.

Pahami kategorinya:

Storage
Database
Compute
Networking
Security
Data Processing
Analytics
AI
Monitoring

Contoh platform cloud yang populer:

Microsoft Azure
Amazon Web Services
Google Cloud

30. Storage

Tempat menyimpan data.

Contohnya:

Raw Data
Processed Data
Backup
Logs
Documents
Images

Struktur:

/company-data
    /raw
    /processed
    /curated
    /archive

31. Compute

Compute adalah sumber daya untuk menjalankan proses.

Contoh:

Python processing
SQL query
Data transformation
Machine Learning
ETL

Semakin besar data, semakin besar kebutuhan compute.


32. Security

Data perusahaan harus dilindungi.

Konsep:

Authentication
Authorization
Encryption
Access Control
Audit Log
Row-Level Security

Contoh:

Direktur
   ↓
Semua data

Manager
   ↓
Data cabangnya

Sales
   ↓
Data miliknya

33. Data Governance

Data Governance mengatur:

  • siapa yang boleh mengakses data

  • siapa pemilik data

  • definisi data

  • kualitas data

  • keamanan data

  • aturan penggunaan data

Contoh:

Revenue

Harus memiliki definisi yang jelas.

Apakah:

Revenue = Qty × Harga

atau:

Revenue = Qty × Harga - Discount

Tanpa definisi yang sama, setiap departemen bisa menghasilkan angka berbeda.


34. Metadata

Metadata adalah informasi tentang data.

Contoh:

Nama tabel:
sales

Kolom:
sale_id
customer_id
product_id
qty
price

Owner:
Finance

Update:
Daily

Classification:
Internal

Metadata membantu organisasi memahami datanya.


35. Data Catalog

Data Catalog adalah katalog data perusahaan.

Misalnya:

CUSTOMER_MASTER
SALES_TRANSACTION
PRODUCT_MASTER
INVENTORY
FINANCE

User dapat mengetahui:

Apa isi tabel?
Siapa pemiliknya?
Kapan diperbarui?
Bagaimana definisinya?

36. Arsitektur Data Modern

Sekarang kita gabungkan semuanya.

                 DATA SOURCES
                      │
        ┌─────────────┼─────────────┐
        ↓             ↓             ↓
      API          Database       Files
        │             │             │
        └─────────────┼─────────────┘
                      ↓
                 INGESTION
                      ↓
                 DATA LAKE
                      ↓
               TRANSFORMATION
                      ↓
                DATA WAREHOUSE
                      ↓
                SEMANTIC MODEL
                      ↓
        ┌─────────────┼─────────────┐
        ↓             ↓             ↓
     POWER BI       EXCEL          AI

Ini adalah fondasi platform data perusahaan.


37. Project Level 11

Sekarang kita buat proyek nyata.

Sistem Data Penjualan Otomatis

Sumber:

Excel
CSV
Database
Marketplace API

Target:

Data Lake
    ↓
Data Warehouse
    ↓
Power BI

38. Struktur Folder

Buat struktur:

DATA_PLATFORM
│
├── raw
│   ├── sales
│   ├── customer
│   └── product
│
├── processed
│
├── curated
│
├── archive
│
└── logs

39. Pipeline

Pipeline:

STEP 1
Ambil data

↓

STEP 2
Validasi

↓

STEP 3
Cleaning

↓

STEP 4
Transform

↓

STEP 5
Load

↓

STEP 6
Quality Check

↓

STEP 7
Refresh BI

40. Hasil Akhir

Dashboard:

TOTAL SALES
Rp 2.450.000.000

CUSTOMER
8.520

TRANSACTIONS
52.840

GROWTH
+14,5%

PROFIT
Rp 480.000.000

Kemudian dashboard dapat digunakan oleh:

Direktur
Manager
Finance
Marketing
Sales
Warehouse

dengan hak akses berbeda.


41. Roadmap Setelah Level 11

Setelah menguasai Level 11, kita dapat masuk ke:

Level 12

Advanced Data Engineering

Materi:

Advanced SQL
Python
Data Pipeline
Apache Airflow
Spark
Distributed Processing
Data Lakehouse
Streaming
Kafka
Docker
Git
CI/CD

Level 13

Machine Learning & Advanced Analytics

Materi:

Statistics
Machine Learning
Regression
Classification
Clustering
Forecasting
Anomaly Detection
Feature Engineering
Model Evaluation

Level 14

AI Data Analyst & Generative AI

Materi:

LLM
RAG
AI Analyst
Natural Language BI
AI Agents
Text-to-SQL
AI Dashboard
Automated Insight

Level 15

Enterprise Data Architect

Materi:

Enterprise Architecture
Data Governance
Security
Data Mesh
Data Fabric
Master Data Management
Enterprise AI
Cloud Architecture

42. Urutan Skill Lengkap

Perjalanan kita sekarang menjadi:

LEVEL 1
Excel Pemula
        ↓
LEVEL 2
Excel Menengah
        ↓
LEVEL 3
Excel Advanced
        ↓
LEVEL 4
Excel Expert
        ↓
LEVEL 5
Excel Automation & VBA
        ↓
LEVEL 6
Data Analytics
        ↓
LEVEL 7
Power BI
        ↓
LEVEL 8
Advanced DAX
        ↓
LEVEL 9
Excel + AI
        ↓
LEVEL 10
BI Solution Architect
        ↓
LEVEL 11
Data Engineering
        ↓
LEVEL 12
Advanced Data Engineering
        ↓
LEVEL 13
Machine Learning
        ↓
LEVEL 14
AI Data Analyst
        ↓
LEVEL 15
Enterprise Data Architect

Kesimpulan

Pada Level 11, fokus kita berubah dari:

“Bagaimana menganalisis data?”

menjadi:

“Bagaimana membangun sistem yang menyediakan data berkualitas secara otomatis untuk analitik, dashboard, dan AI?”

Inilah perbedaan antara pengguna Excel/BI dengan seseorang yang mulai masuk ke dunia Data Engineering.

Skill yang perlu mulai dikuasai sekarang adalah:

SQL → Python → Database → ETL/ELT → Data Pipeline → Data Warehouse → Cloud → Monitoring → Data Governance.

Setelah ini, kita bisa naik ke Level 12: Advanced Data Engineering, yang mulai membahas Python untuk Data Engineering, Apache Airflow, Apache Spark, Docker, Git, CI/CD, Data Lakehouse, Kafka, dan pipeline skala besar.

  • Share This:  
  •  Facebook
  •  Twitter
  •  Google+
  •  Stumble
  •  Digg
Kirimkan Ini lewat EmailBlogThis!Bagikan ke XBerbagi ke Facebook
Posting Lebih Baru Posting Lama Beranda

0 Comments:

Posting Komentar

Label

  • Microsoft Excel (35)
  • Microsoft Power Point (27)
  • MICROSOFT WORD (47)

Popular Posts

  • Tutorial Microsoft Excel untuk Pemula
    Tutorial Microsoft Excel untuk Pemula: Panduan Lengkap dari Nol Microsoft Excel adalah salah satu aplikasi yang banyak digunakan untuk mengo...
  • Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis
      Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis Setelah menguasai Excel tingkat pemula dan menengah, tahap berikutn...
  • Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional
     Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional Setelah menguasai Excel tingkat lanjutan, kini saatnya masuk ke...
  • TUTORIAL MICROSOFT WORD - LEVEL 1
      TUTORIAL MICROSOFT WORD MENGENAL MICROSOFT WORD UNTUK PEMULA Tujuan Pembelajaran Setelah menyelesaikan Level 1, pembaca diharapkan mampu: ...
  • Tutorial Cara Membuat Surat Undangan Profesional di Microsoft Word - Level 17
      T utorial Cara Membuat Surat Undangan Profesional di Microsoft Word Tujuan Pembelajaran Setelah mengikuti tutorial ini, pembaca diharapkan...
  • Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional - Level 19
     Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional Tujuan Pembelajaran Setelah menyelesaikan tutorial ini, pembaca diharapkan...
  • Tutorial Enterprise AI & Data Architect - Level 15
    Enterprise AI & Data Architect Membangun Platform Data, BI, Machine Learning, dan AI Terintegrasi Level 15 adalah tahap ketika kita berh...
  • DEEP LEARNING & NEURAL NETWORKS - LEVEL 19
       DEEP LEARNING & NEURAL NETWORKS Dari Neural Network Dasar sampai Transformer Deep Learning adalah cabang Machine Learning yang menggu...
  • TUTORIAL MICROSOFT WORD - LEVEL 12
     TUTORIAL MICROSOFT WORD  MEMBUAT FOOTNOTE DAN ENDNOTE DI MICROSOFT WORD Tujuan Pembelajaran Setelah menyelesaikan Level 12, pembaca diharap...
  • Tutorial Machine Learning & Advanced Analytics - Level 13
      Tutorial Machine Learning & Advanced Analytics Dari Data Engineering Menuju Prediksi dan Sistem Cerdas Pada Level 12 kita sudah memban...

Pages

  • Beranda
  • Tentang Saya

Blog Archive

  • November 2026 (51)
  • Oktober 2026 (58)

Laporkan Penyalahgunaan

Seluruh Artikel Bermanfaat

Willong
Indonesia
Lihat profil lengkapku

Popular Posts

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

November 16, 2026
Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word -  Level 42

Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word - Level 42

November 16, 2026
Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

November 18, 2026

Copyright © Seluruh Artikel Bermanfaat | Powered by Blogger