Seluruh Artikel Bermanfaat
  • Home
  • Microsoft office
    • Microsoft Word
    • Microsoft Excel
    • Microsoft Power Point
  • About
  • Contact

Tutorial Advanced Data Engineering - Level 12

 Willong     Oktober 15, 2026     Microsoft Excel     No comments   

 Tutorial Advanced Data Engineering

Python, Airflow, Spark, Docker, Git, Kafka, CI/CD, dan Data Lakehouse

Pada Level 11 kita sudah memahami dasar Data Engineering:

Source → Ingestion → Data Lake → Transformation → Data Warehouse → BI

Sekarang kita masuk ke tahap yang lebih teknis.

Tujuan Level 12 adalah mampu memahami dan membangun data pipeline profesional yang:

  • otomatis

  • terjadwal

  • dapat dipantau

  • dapat diulang ketika gagal

  • mampu menangani data besar

  • memiliki version control

  • aman

  • mudah dikembangkan


1. Arsitektur Advanced Data Engineering

Arsitektur yang akan kita pelajari:

                 DATA SOURCES
                      │
        ┌─────────────┼─────────────┐
        ↓             ↓             ↓
      API          DATABASE       FILE
        │             │             │
        └─────────────┼─────────────┘
                      ↓
                  INGESTION
                      ↓
                 DATA LAKE
                      ↓
               SPARK / PYTHON
                      ↓
                DATA LAKEHOUSE
                      ↓
               DATA WAREHOUSE
                      ↓
                SEMANTIC MODEL
                      ↓
          ┌───────────┼───────────┐
          ↓           ↓           ↓
       POWER BI     EXCEL         AI

Sedangkan proses otomatisnya dikendalikan oleh:

Git
Docker
Airflow
CI/CD
Monitoring

2. Python untuk Data Engineering

Python bukan hanya digunakan untuk analisis.

Python juga digunakan untuk:

  • mengambil API

  • membaca file

  • membersihkan data

  • menjalankan ETL

  • berkomunikasi dengan database

  • membuat pipeline

  • otomatisasi pekerjaan

Contoh:

import pandas as pd

df = pd.read_csv("sales.csv")

df["tanggal"] = pd.to_datetime(df["tanggal"])

df["omzet"] = df["qty"] * df["harga"]

df.to_csv("sales_clean.csv", index=False)

Pipeline sederhana:

CSV
 ↓
Python
 ↓
Cleaning
 ↓
Transformation
 ↓
Output

3. Fungsi Python

Agar kode tidak berantakan, gunakan function.

def clean_sales(df):
    df = df.drop_duplicates()
    df = df.dropna(subset=["customer_id"])
    df["omzet"] = df["qty"] * df["harga"]
    return df

Kemudian:

df = clean_sales(df)

Ini membuat pipeline lebih mudah dirawat.


4. Modular Data Pipeline

Jangan membuat satu file Python yang sangat panjang.

Gunakan struktur:

project/
│
├── extract.py
├── transform.py
├── load.py
├── validation.py
├── config.py
└── main.py

Alurnya:

extract
   ↓
transform
   ↓
validation
   ↓
load

5. Extract

Contoh mengambil data:

import pandas as pd

def extract():
    return pd.read_csv("sales.csv")

6. Transform

def transform(df):

    df = df.drop_duplicates()

    df["tanggal"] = pd.to_datetime(df["tanggal"])

    df["omzet"] = df["qty"] * df["harga"]

    return df

7. Load

def load(df):

    df.to_parquet(
        "sales_clean.parquet",
        index=False
    )

8. Main Pipeline

Kemudian:

def main():

    df = extract()

    df = transform(df)

    load(df)


if __name__ == "__main__":
    main()

Sekarang kita sudah memiliki pipeline sederhana.


9. Logging

Pipeline profesional harus memiliki logging.

Contoh:

import logging

logging.basicConfig(
    level=logging.INFO
)

logging.info("Pipeline started")
logging.info("Extract completed")
logging.info("Transform completed")
logging.info("Load completed")

Jika terjadi error:

logging.error("Pipeline failed")

10. Error Handling

Gunakan:

try:
    df = extract()

except Exception as e:
    print("Error:", e)

Versi lebih baik:

try:

    df = extract()
    df = transform(df)
    load(df)

except Exception as e:

    logging.exception(
        "Pipeline failed"
    )

11. Mengapa Scheduler Diperlukan?

Misalnya kita ingin:

Setiap hari
pukul 01:00

pipeline berjalan otomatis.

Tidak mungkin kita menjalankan:

python main.py

secara manual setiap hari.

Kita membutuhkan orchestration.

Salah satu teknologi populer untuk workflow orchestration adalah:

Apache Airflow.


12. Apa Itu Apache Airflow?

Airflow digunakan untuk:

  • membuat workflow

  • mengatur jadwal

  • mengatur dependency

  • retry

  • monitoring

  • logging

Contoh:

Extract
   ↓
Transform
   ↓
Validate
   ↓
Load
   ↓
Refresh BI

Airflow mengatur seluruh proses tersebut.


13. DAG

Di Airflow, workflow biasanya direpresentasikan sebagai DAG — Directed Acyclic Graph.

Contoh:

        Extract
           ↓
       Transform
           ↓
       Validation
           ↓
          Load
           ↓
      Refresh BI

Setiap kotak adalah task.


14. Contoh DAG

Konsep sederhananya:

from airflow import DAG

from datetime import datetime

with DAG(
    "sales_pipeline",
    start_date=datetime(2026, 1, 1),
    schedule="@daily",
) as dag:

    extract_task = ...

    transform_task = ...

    load_task = ...

    extract_task >> transform_task >> load_task

Artinya:

Extract
 harus selesai
      ↓
Transform
 harus selesai
      ↓
Load

15. Retry

Bagaimana jika API gagal?

Jangan langsung menganggap pipeline gagal permanen.

Pipeline bisa melakukan:

Attempt 1
   ↓
Failed
   ↓
Retry
   ↓
Attempt 2
   ↓
Failed
   ↓
Retry
   ↓
Attempt 3
   ↓
Success

Ini sangat penting dalam sistem produksi.


16. Scheduling

Contoh kebutuhan:

Setiap hari

atau:

Setiap jam

atau:

Setiap 15 menit

Scheduler akan menjalankan workflow sesuai jadwal.


17. Data Pipeline Profesional

Sekarang:

AIRFLOW
   │
   ├── Extract API
   │
   ├── Extract Database
   │
   ├── Validate
   │
   ├── Transform
   │
   ├── Load
   │
   └── Refresh BI

Ini jauh lebih kuat dibanding macro Excel.


18. Mengapa Excel Tidak Cukup?

Excel sangat bagus untuk:

  • analisis

  • reporting

  • kalkulasi

  • ad-hoc analysis

Tetapi untuk:

100 juta transaksi
100 sumber data
pipeline 24/7
ribuan pengguna
real-time processing

kita membutuhkan platform data.


19. Apache Spark

Ketika data semakin besar, kita membutuhkan distributed processing.

Salah satu teknologi penting:

Apache Spark.

Spark memungkinkan pemrosesan data dalam jumlah besar menggunakan banyak resource secara paralel.

Konsep:

Data Besar
    ↓
Spark
    ↓
Cluster
 ┌───┼───┐
 ↓   ↓   ↓
Node Node Node

20. Spark vs Pandas

Pandas cocok untuk:

Data kecil
Data lokal
Analisis
Prototype

Spark cocok untuk:

Data besar
Distributed processing
Cluster
Enterprise

Sederhananya:

Pandas
Laptop
 ↓
Dataset relatif kecil

Spark
Cluster
 ↓
Dataset sangat besar

21. PySpark

Spark dapat digunakan dengan Python melalui PySpark.

Contoh:

from pyspark.sql import SparkSession

spark = (
    SparkSession.builder
    .appName("SalesPipeline")
    .getOrCreate()
)

Membaca data:

df = spark.read.parquet(
    "sales.parquet"
)

Melihat data:

df.show()

22. Transformasi Spark

Contoh:

from pyspark.sql.functions import col

df = df.withColumn(
    "omzet",
    col("qty") * col("harga")
)

Filter:

df = df.filter(
    col("qty") > 0
)

Group:

df.groupBy(
    "product_id"
).sum("omzet")

23. Distributed Processing

Misalnya terdapat:

1 TB DATA

Daripada satu mesin memproses semuanya:

Machine A
1 TB

data dapat dibagi:

Machine A → 250 GB
Machine B → 250 GB
Machine C → 250 GB
Machine D → 250 GB

kemudian diproses secara paralel.

Inilah salah satu konsep utama distributed computing.


24. Partition

Data besar biasanya dibagi menjadi partition.

Contoh:

sales/
    year=2026/
        month=01/
        month=02/
        month=03/

Atau:

sales/
    country=ID/
    country=SG/
    country=MY/

Partition membantu proses membaca data menjadi lebih efisien.


25. Data Lakehouse

Sekarang kita masuk ke konsep penting.

Lakehouse menggabungkan:

Data Lake
+
Data Warehouse

Arsitektur:

              DATA LAKEHOUSE
                    │
          ┌─────────┼─────────┐
          ↓         ↓         ↓
         BI        SQL       AI/ML

Data dapat disimpan dalam storage yang fleksibel tetapi tetap memiliki kemampuan analitik yang kuat.


26. Medallion Architecture

Salah satu pola yang sering digunakan adalah:

BRONZE
   ↓
SILVER
   ↓
GOLD

Bronze

Data mentah.

API
CSV
Database
Logs

Silver

Data sudah dibersihkan.

Duplicate removed
Data type fixed
Invalid data removed

Gold

Data siap digunakan bisnis.

Sales Summary
Customer KPI
Product Performance
Finance Report

27. Contoh Medallion

                BRONZE
             Raw Sales Data
                    ↓
                 SILVER
             Clean Sales Data
                    ↓
                  GOLD
            Business Analytics
                    ↓
                POWER BI

Konsep ini sangat penting dalam Data Engineering modern.


28. Kafka

Sekarang kita masuk ke streaming.

Untuk event/data yang datang terus-menerus, salah satu teknologi penting adalah Apache Kafka.

Contoh:

Customer melakukan transaksi
          ↓
        Event
          ↓
        Kafka
          ↓
    Data Processing
          ↓
       Database
          ↓
       Dashboard

29. Kafka Producer

Producer adalah sistem yang mengirim event.

Contoh:

POS
 ↓
Kafka Producer
 ↓
Kafka

Event:

{
    "transaction_id": 1001,
    "customer_id": 501,
    "amount": 250000
}

30. Kafka Consumer

Consumer membaca event.

Kafka
 ↓
Consumer
 ↓
Processing
 ↓
Database

Bisa terdapat banyak consumer:

Kafka
 │
 ├── Analytics
 ├── Fraud Detection
 ├── Inventory
 └── Notification

31. Batch vs Streaming

Batch

Data
 ↓
Kumpulkan
 ↓
Proses

Contoh:

Setiap malam

Streaming

Event
 ↓
Proses
 ↓
Event
 ↓
Proses

Contoh:

hampir real-time

32. Docker

Sekarang kita masuk ke deployment.

Masalah:

Laptop A
Python 3.12

Server B
Python 3.10

Library berbeda

Akibatnya program bisa berjalan di laptop tetapi gagal di server.

Docker membantu membuat lingkungan yang konsisten.


33. Container

Konsep:

APPLICATION
+
DEPENDENCIES
+
CONFIGURATION
=
CONTAINER

Sehingga:

Laptop
 ↓
Container
 ↓
Server

lingkungannya lebih konsisten.


34. Dockerfile

Contoh sederhana:

FROM python:3.12

WORKDIR /app

COPY requirements.txt .

RUN pip install -r requirements.txt

COPY . .

CMD ["python", "main.py"]

Kemudian aplikasi dijalankan di dalam container.


35. Docker Compose

Jika sistem terdiri dari banyak service:

Airflow
Database
Redis
Application

kita dapat mengatur beberapa container sekaligus menggunakan Docker Compose.

Konsep:

Docker Compose
│
├── Airflow
├── PostgreSQL
├── Redis
└── Application

36. Git

Dalam proyek profesional, kode tidak cukup disimpan di komputer.

Gunakan version control.

Salah satu yang paling penting:

Git

Contoh:

git init

Kemudian:

git add .

Commit:

git commit -m "Initial pipeline"

37. Branch

Misalnya:

main

adalah versi production.

Developer bekerja pada:

feature/sales-pipeline

Setelah selesai:

feature
   ↓
review
   ↓
merge
   ↓
main

38. Mengapa Git Penting?

Misalnya hari ini pipeline berjalan.

Besok kode diubah dan tiba-tiba rusak.

Dengan Git kita dapat melihat:

Version 1
Version 2
Version 3

dan mengetahui perubahan yang dilakukan.


39. CI/CD

CI/CD adalah otomatisasi proses pengembangan dan deployment.

Konsep:

Developer
   ↓
Git Push
   ↓
Test
   ↓
Build
   ↓
Validation
   ↓
Deploy

Jika test gagal:

Deploy
   ↓
STOP

Jika test berhasil:

Deploy
   ↓
Production

40. Testing Data Pipeline

Pipeline juga harus dites.

Contoh:

assert df["qty"].min() >= 0

Atau:

assert df["customer_id"].notna().all()

Tujuannya memastikan data tidak rusak.


41. Data Contract

Dalam sistem besar, producer dan consumer perlu memiliki kesepakatan struktur data.

Misalnya:

customer_id
string
required

amount
decimal
required

transaction_date
datetime
required

Jika producer tiba-tiba mengubah:

amount

menjadi:

string

pipeline dapat mengalami masalah.

Data contract membantu mencegahnya.


42. Schema Evolution

Struktur data dapat berubah.

Contoh awal:

id
name
price

Kemudian ditambah:

category

Pipeline harus mampu menangani perubahan tersebut tanpa merusak sistem.


43. Data Lineage

Data lineage menjawab:

Data ini berasal dari mana?

Contoh:

Marketplace API
       ↓
Bronze Sales
       ↓
Silver Sales
       ↓
Gold Sales
       ↓
Power BI
       ↓
CEO Dashboard

Jika angka dashboard salah, kita dapat menelusuri sumbernya.


44. Observability

Monitoring bukan hanya:

SUCCESS / FAILED

Tetapi juga:

Latency
Volume
Freshness
Quality
Errors
Cost

Contoh:

Pipeline Health

Status       : OK
Rows         : 2.500.000
Duration     : 8m 32s
Freshness    : 12 minutes
Quality      : 99.98%

45. Data Freshness

Dashboard harus mengetahui kapan data terakhir diperbarui.

Contoh:

Last Updated:
05 October 2026
09:02

Jika data terakhir diperbarui:

3 hari lalu

dashboard harus memberikan peringatan.


46. Cost Optimization

Cloud tidak gratis.

Arsitektur harus memperhatikan:

Storage
Compute
Network
Queries
Pipeline
Logs

Jangan menjalankan proses besar jika tidak diperlukan.

Contoh:

❌ Full load setiap jam

✓ Incremental load

Ini dapat mengurangi biaya dan waktu.


47. Arsitektur Advanced

Sekarang kita gabungkan semuanya.

                     SOURCES
                        │
              ┌─────────┼─────────┐
              ↓         ↓         ↓
             API      Database    Files
              │         │         │
              └─────────┼─────────┘
                        ↓
                    INGESTION
                        ↓
                     KAFKA
                        ↓
                 ┌─────────────┐
                 │ DATA LAKE   │
                 └─────────────┘
                        ↓
                     BRONZE
                        ↓
                   SPARK/PYTHON
                        ↓
                     SILVER
                        ↓
                   TRANSFORM
                        ↓
                      GOLD
                        ↓
                 DATA WAREHOUSE
                        ↓
                 SEMANTIC MODEL
                        ↓
          ┌─────────────┼─────────────┐
          ↓             ↓             ↓
       POWER BI       EXCEL          AI

Pengendali workflow:

AIRFLOW

Environment:

DOCKER

Version control:

GIT

Deployment:

CI/CD

Monitoring:

OBSERVABILITY

48. Project Level 12

Sekarang kita buat proyek yang lebih serius.

Enterprise Sales Data Pipeline

Sumber:

Marketplace API
POS Database
Excel
CSV
CRM

Pipeline:

SOURCE
 ↓
INGESTION
 ↓
BRONZE
 ↓
VALIDATION
 ↓
SILVER
 ↓
SPARK
 ↓
GOLD
 ↓
DATA WAREHOUSE
 ↓
POWER BI

Orchestration:

AIRFLOW

Environment:

DOCKER

Version control:

GIT

49. Struktur Project

sales-data-platform/
│
├── dags/
│   └── sales_pipeline.py
│
├── src/
│   ├── extract/
│   ├── transform/
│   ├── validation/
│   └── load/
│
├── tests/
│
├── config/
│
├── docker/
│
├── requirements.txt
│
├── Dockerfile
│
└── README.md

Ini sudah mendekati struktur proyek Data Engineering profesional.


50. Workflow Lengkap

Setiap hari:

01:00
   ↓
Airflow menjalankan pipeline
   ↓
Ambil data marketplace
   ↓
Ambil data POS
   ↓
Ambil data CRM
   ↓
Simpan Bronze
   ↓
Validasi
   ↓
Transform menggunakan Spark
   ↓
Simpan Silver
   ↓
Buat Gold
   ↓
Load Warehouse
   ↓
Quality Check
   ↓
Refresh Power BI
   ↓
02:30
SELESAI

Jika error:

ERROR
 ↓
RETRY
 ↓
ERROR
 ↓
ALERT

51. Dashboard Monitoring

Selain dashboard bisnis, Data Engineer membutuhkan dashboard teknis.

Contoh:

DATA PLATFORM MONITORING

Pipeline Success       98.7%

Failed Jobs             2

Rows Processed       125 M

Average Runtime      14 min

Data Freshness        8 min

Data Quality         99.4%

52. Skill Checklist Level 12

Sebelum naik ke Level 13, idealnya sudah memahami:

Python

  • function

  • module

  • exception

  • logging

  • pandas

  • API

SQL

  • JOIN

  • GROUP BY

  • CTE

  • window function

  • optimization

Data Engineering

  • ETL

  • ELT

  • incremental load

  • data quality

  • data lineage

Pipeline

  • DAG

  • dependency

  • scheduling

  • retry

  • monitoring

Big Data

  • Spark

  • PySpark

  • partition

  • distributed processing

Streaming

  • Kafka

  • producer

  • consumer

  • event

DevOps

  • Docker

  • Git

  • CI/CD

Architecture

  • Data Lake

  • Lakehouse

  • Bronze

  • Silver

  • Gold


53. Apa yang Kita Kuasai Sekarang?

Perjalanan kita sudah berubah dari:

Excel User

menjadi:

Data Analyst

kemudian:

BI Developer

kemudian:

BI Solution Architect

dan sekarang:

Data Engineer

Tahap berikutnya akan semakin dekat dengan dunia AI dan Machine Learning.


54. Level Berikutnya

LEVEL 13 — Machine Learning & Advanced Analytics

Di level berikutnya kita akan belajar:

Statistics
       ↓
Python Data Science
       ↓
Feature Engineering
       ↓
Regression
       ↓
Classification
       ↓
Clustering
       ↓
Time Series
       ↓
Forecasting
       ↓
Anomaly Detection
       ↓
Model Evaluation
       ↓
Machine Learning Pipeline
       ↓
AI / Business Intelligence

Contoh akhirnya:

DATA PENJUALAN
      ↓
MACHINE LEARNING
      ↓
PREDIKSI PENJUALAN
      ↓
FORECAST 30 HARI
      ↓
DETEKSI ANOMALI
      ↓
REKOMENDASI BISNIS
      ↓
POWER BI + AI

Level 12 selesai. Level berikutnya adalah Level 13: Machine Learning & Advanced Analytics, di mana kita mulai membuat sistem yang bukan hanya membaca data masa lalu, tetapi memprediksi apa yang kemungkinan terjadi berikutnya.

  • Share This:  
  •  Facebook
  •  Twitter
  •  Google+
  •  Stumble
  •  Digg
Kirimkan Ini lewat EmailBlogThis!Bagikan ke XBerbagi ke Facebook
Posting Lebih Baru Posting Lama Beranda

0 Comments:

Posting Komentar

Label

  • Microsoft Excel (35)
  • Microsoft Power Point (27)
  • MICROSOFT WORD (47)

Popular Posts

  • Tutorial Microsoft Excel untuk Pemula
    Tutorial Microsoft Excel untuk Pemula: Panduan Lengkap dari Nol Microsoft Excel adalah salah satu aplikasi yang banyak digunakan untuk mengo...
  • Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis
      Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis Setelah menguasai Excel tingkat pemula dan menengah, tahap berikutn...
  • Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional
     Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional Setelah menguasai Excel tingkat lanjutan, kini saatnya masuk ke...
  • TUTORIAL MICROSOFT WORD - LEVEL 1
      TUTORIAL MICROSOFT WORD MENGENAL MICROSOFT WORD UNTUK PEMULA Tujuan Pembelajaran Setelah menyelesaikan Level 1, pembaca diharapkan mampu: ...
  • Tutorial Cara Membuat Surat Undangan Profesional di Microsoft Word - Level 17
      T utorial Cara Membuat Surat Undangan Profesional di Microsoft Word Tujuan Pembelajaran Setelah mengikuti tutorial ini, pembaca diharapkan...
  • Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional - Level 19
     Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional Tujuan Pembelajaran Setelah menyelesaikan tutorial ini, pembaca diharapkan...
  • Tutorial Enterprise AI & Data Architect - Level 15
    Enterprise AI & Data Architect Membangun Platform Data, BI, Machine Learning, dan AI Terintegrasi Level 15 adalah tahap ketika kita berh...
  • DEEP LEARNING & NEURAL NETWORKS - LEVEL 19
       DEEP LEARNING & NEURAL NETWORKS Dari Neural Network Dasar sampai Transformer Deep Learning adalah cabang Machine Learning yang menggu...
  • TUTORIAL MICROSOFT WORD - LEVEL 12
     TUTORIAL MICROSOFT WORD  MEMBUAT FOOTNOTE DAN ENDNOTE DI MICROSOFT WORD Tujuan Pembelajaran Setelah menyelesaikan Level 12, pembaca diharap...
  • Tutorial Machine Learning & Advanced Analytics - Level 13
      Tutorial Machine Learning & Advanced Analytics Dari Data Engineering Menuju Prediksi dan Sistem Cerdas Pada Level 12 kita sudah memban...

Pages

  • Beranda
  • Tentang Saya

Blog Archive

  • November 2026 (51)
  • Oktober 2026 (58)

Laporkan Penyalahgunaan

Seluruh Artikel Bermanfaat

Willong
Indonesia
Lihat profil lengkapku

Popular Posts

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

November 16, 2026
Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word -  Level 42

Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word - Level 42

November 16, 2026
Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

November 18, 2026

Copyright © Seluruh Artikel Bermanfaat | Powered by Blogger