Tutorial AI Data Analyst & Generative AI
Text-to-SQL, RAG, AI Agent, Natural Language BI, dan Intelligent Data Analysis
Pada Level 13 kita sudah belajar Machine Learning.
Kita sudah bisa:
Data
↓
Machine Learning
↓
Prediction
↓
Forecast
↓
Anomaly Detection
↓
RecommendationSekarang kita menambahkan Generative AI.
Target akhirnya:
USER
↓
AI DATA ANALYST
↓
DATA WAREHOUSE
↓
ANALYSIS
↓
INSIGHT
↓
RECOMMENDATIONUser cukup bertanya menggunakan bahasa biasa.
Contoh:
"Berapa omzet bulan ini?"
atau:
"Produk apa yang penjualannya paling turun?"
atau:
"Mengapa profit bulan ini turun?"
AI kemudian membantu mengambil dan menganalisis data.
1. Apa Itu Generative AI?
Generative AI adalah AI yang dapat menghasilkan output baru berdasarkan input dan konteks.
Output dapat berupa:
Text
SQL
Code
Summary
Analysis
RecommendationDalam dunia data, kemampuan ini sangat menarik karena AI dapat menjadi interface bahasa natural untuk data.
2. AI Data Analyst
AI Data Analyst adalah sistem yang membantu pekerjaan analis data.
Contohnya:
User:
"Bandingkan penjualan Januari dan Februari."AI:
1. Memahami pertanyaan
2. Menentukan data yang diperlukan
3. Membuat query
4. Mengambil data
5. Menghitung perbandingan
6. Menjelaskan hasil3. Arsitektur AI Data Analyst
Arsitektur sederhana:
USER
│
↓
NATURAL LANGUAGE
│
↓
LLM
│
┌──────┴──────┐
↓ ↓
SQL TOOLS
↓ ↓
DATA WAREHOUSE APIs
│ │
└──────┬──────┘
↓
RESULT
↓
ANALYSIS
↓
USER-FRIENDLY ANSWER4. Natural Language Query
User tidak perlu mengetahui SQL.
User:
"Tampilkan 10 produk dengan omzet terbesar tahun ini."
AI dapat menerjemahkan kebutuhan tersebut menjadi query.
Konsep SQL:
SELECT
product_id,
SUM(qty * price) AS revenue
FROM sales
WHERE YEAR(tanggal) = 2026
GROUP BY product_id
ORDER BY revenue DESC
LIMIT 10;AI kemudian membaca hasilnya dan memberikan penjelasan.
5. Text-to-SQL
Proses:
Bahasa Manusia
↓
LLM
↓
SQL
↓
Database
↓
Result
↓
LLM
↓
Bahasa ManusiaContoh:
User:
"Berapa total penjualan bulan September?"AI menghasilkan query.
Kemudian database memberikan:
Rp 1.250.000.000AI menjawab:
Total penjualan bulan September adalah Rp1,25 miliar.
6. Masalah Text-to-SQL
AI tidak boleh langsung diberikan akses tanpa kontrol.
Risikonya:
SQL salah
Data salah
Tabel salah
Akses berlebihan
Query terlalu berat
Data sensitif terbukaKarena itu harus ada SQL validation layer.
7. SQL Validation
Arsitektur yang lebih aman:
User
↓
LLM
↓
Generate SQL
↓
SQL Validator
↓
Permission Check
↓
Database
↓
ResultValidator dapat memeriksa:
SELECT saja
Tidak boleh DELETE
Tidak boleh DROP
Tidak boleh UPDATE
Tabel yang boleh diakses
Kolom yang boleh diakses8. Semantic Layer
AI perlu memahami arti bisnis.
Misalnya perusahaan mempunyai:
revenue
sales
net_sales
gross_salesAI harus tahu mana yang dimaksud dengan:
"Omzet"
Karena itu dibutuhkan semantic layer.
Contoh definisi:
Revenue =
SUM(qty × selling_price)
- discount
- returnDengan definisi tersebut AI menggunakan perhitungan yang konsisten.
9. AI Tanpa Semantic Layer
User:
"Berapa omzet?"
AI bisa saja memilih:
SUM(price)Padahal definisi perusahaan:
SUM(qty × price - discount - return)Hasilnya berbeda.
Karena itu:
AI + Semantic Model > AI + Raw Database
10. RAG
Sekarang kita masuk ke konsep penting:
Retrieval-Augmented Generation (RAG).
RAG memungkinkan AI mengambil informasi dari sumber eksternal sebelum menghasilkan jawaban.
Konsep:
USER
↓
QUESTION
↓
RETRIEVAL
↓
RELEVANT INFORMATION
↓
LLM
↓
ANSWER11. Mengapa RAG Diperlukan?
Model AI memiliki pengetahuan umum.
Tetapi perusahaan memiliki informasi internal:
SOP
Dokumen
Harga
Kebijakan
Manual
Laporan
Database
Knowledge BaseAI perlu mengambil informasi tersebut saat menjawab.
12. Contoh RAG Bisnis
User:
"Apa prosedur retur barang elektronik?"
Sistem:
Question
↓
Search Knowledge Base
↓
Temukan SOP Retur
↓
Ambil bagian relevan
↓
LLM
↓
JawabanAI tidak perlu mengarang prosedur.
13. RAG dan Database Berbeda
RAG cocok untuk:
Dokumen
PDF
SOP
Manual
FAQ
Text
Knowledge BaseDatabase cocok untuk:
Transaksi
Penjualan
Customer
Produk
Inventory
FinanceSistem modern dapat menggunakan keduanya.
14. Hybrid AI Analyst
Contoh:
User:
"Kenapa penjualan produk A turun dan apa kebijakan perusahaan untuk meningkatkan penjualannya?"
AI membutuhkan:
Database
+
Knowledge BaseArsitektur:
USER
↓
AI
┌─────┴─────┐
↓ ↓
DATA QUERY RAG
↓ ↓
DATABASE DOCUMENTS
↓ ↓
└─────┬─────┘
↓
LLM
↓
ANSWER15. Embedding
Dalam RAG, dokumen biasanya diubah menjadi representasi numerik yang disebut embedding.
Konsep:
Dokumen
↓
Embedding Model
↓
VectorContoh:
"Prosedur retur barang"
↓
[0.21, 0.83, 0.17, ...]Bukan untuk dibaca manusia, tetapi digunakan untuk mencari kemiripan semantik.
16. Vector Database
Embedding biasanya disimpan dalam vector database atau sistem penyimpanan yang mendukung vector search.
Konsep:
DOCUMENT
↓
CHUNK
↓
EMBEDDING
↓
VECTOR STORESaat user bertanya:
Question
↓
Embedding
↓
Similarity Search
↓
Relevant Chunks17. Chunking
Dokumen panjang jangan selalu dimasukkan sebagai satu blok.
Misalnya:
SOP.pdfdipecah menjadi:
Chunk 1
Chunk 2
Chunk 3
Chunk 4
...Kemudian setiap chunk dibuat embedding.
Tujuannya agar pencarian lebih tepat.
18. RAG Pipeline
Pipeline lengkap:
Documents
↓
Extract Text
↓
Clean
↓
Chunk
↓
Embedding
↓
Vector StoreSaat pertanyaan:
User Question
↓
Embedding
↓
Search
↓
Relevant Documents
↓
LLM
↓
Answer19. AI Agent
Sekarang kita naik satu tingkat.
AI Analyst biasa:
Question
↓
Analysis
↓
AnswerAI Agent:
Goal
↓
Reasoning
↓
Tool
↓
Observe Result
↓
Reasoning
↓
Another Tool
↓
Final ResultAgent dapat menjalankan beberapa langkah.
20. Contoh AI Agent
User:
"Cari penyebab penjualan minggu ini turun dan buatkan laporan."
Agent dapat melakukan:
1. Query sales database
2. Bandingkan minggu sebelumnya
3. Analisis kategori
4. Analisis wilayah
5. Analisis salesperson
6. Cari anomaly
7. Buat ringkasan
8. Buat laporanUser hanya memberikan satu instruksi.
21. Tools
Agent membutuhkan tools.
Contoh:
SQL Tool
Search Tool
Python Tool
Calculator
Power BI Tool
Email Tool
CRM Tool
API ToolKonsep:
AI AGENT
│
┌────────────┼────────────┐
↓ ↓ ↓
SQL Python Search
│ │ │
↓ ↓ ↓
Database Analysis Docs22. Tool Calling
LLM tidak harus melakukan semuanya sendiri.
AI dapat memutuskan:
"Saya membutuhkan data penjualan."
Kemudian memanggil SQL tool.
LLM
↓
Tool Call
↓
SQL
↓
Database
↓
Result
↓
LLMIni adalah konsep penting dalam AI Agent.
23. AI Agent Bukan Sekadar Chatbot
Chatbot:
User
↓
AI
↓
TextAgent:
User
↓
AI
↓
Planning
↓
Tools
↓
Data
↓
Actions
↓
ResultAgent dapat menjadi sistem yang melakukan pekerjaan.
24. Natural Language BI
Bayangkan dashboard Power BI tradisional.
User harus:
Klik filter
Pilih tanggal
Pilih produk
Pilih wilayah
Pilih chartNatural Language BI memungkinkan:
"Tampilkan penjualan Jawa Tengah untuk produk elektronik selama tiga bulan terakhir."
AI menerjemahkan kebutuhan tersebut menjadi filter/query.
25. Conversational Dashboard
Contoh percakapan:
User:
Penjualan bulan ini berapa?
AI:
Rp1,8 miliar.
User:
Bandingkan dengan bulan lalu.
AI:
Turun 7,4%.
User:
Penyebab utamanya?
AI:
Penurunan terbesar berasal dari kategori elektronik di Jawa Tengah.
User:
Produk mana yang paling berpengaruh?
AI:
Produk X menyumbang 38% dari penurunan kategori tersebut.
Inilah konsep Conversational BI.
26. AI Root Cause Analysis
AI dapat melakukan analisis bertingkat.
Misalnya:
Sales turun
↓
Kategori mana?
↓
Wilayah mana?
↓
Produk mana?
↓
Customer mana?
↓
Faktor apa?Secara otomatis.
Contoh:
Sales
-12%
↓
Electronics
-24%
↓
Jawa Tengah
-31%
↓
Product A
-42%
↓
StockoutKesimpulan:
Penurunan penjualan terutama disebabkan oleh stockout Produk A di Jawa Tengah.
27. AI Anomaly Explanation
Machine Learning dapat mendeteksi:
Anomaly:
Rp 75.000.000AI kemudian menjelaskan:
Transaksi ini tidak biasa karena:
- nilai transaksi 12× rata-rata customer
- terjadi di luar jam transaksi normal
- menggunakan metode pembayaran berbedaJadi:
ML
↓
Detect
↓
AI
↓
Explain28. AI Forecast Explanation
Model forecasting:
Forecast:
Rp 1,4 MAI dapat menjelaskan:
Forecast meningkat karena tren penjualan empat minggu terakhir positif dan terdapat pola musiman pada periode yang sama tahun sebelumnya.
Ini membuat hasil ML lebih mudah dipahami pengguna bisnis.
29. AI + Excel
AI juga dapat membantu pengguna Excel.
Contoh:
"Buat formula untuk mengambil harga produk berdasarkan kode."
AI dapat menghasilkan:
=XLOOKUP(A2,Product[Code],Product[Price],"Tidak ditemukan")Atau:
"Mengapa formula saya menghasilkan #N/A?"
AI dapat membantu menganalisis penyebabnya.
30. AI + Power Query
AI dapat membantu membuat transformasi.
Contoh kebutuhan:
Gabungkan semua file CSV dari folder dan ambil kolom tanggal, produk, qty, dan harga.
AI dapat membantu menghasilkan logika Power Query/M.
Konsep:
Folder
↓
Power Query
↓
Combine Files
↓
Clean
↓
Transform
↓
Output31. AI + SQL
User:
"Buat query penjualan per bulan."
AI:
SELECT
YEAR(tanggal) AS tahun,
MONTH(tanggal) AS bulan,
SUM(qty * harga) AS omzet
FROM sales
GROUP BY
YEAR(tanggal),
MONTH(tanggal);Tetapi tetap harus divalidasi.
AI dapat membantu menulis SQL, tetapi data governance dan security tetap wajib.
32. AI + Python
AI dapat membantu membuat:
Python Script
Data Cleaning
Data Analysis
Machine Learning
API Integration
AutomationContoh permintaan:
"Buat Python untuk mencari transaksi yang lebih dari 3 standard deviation."
AI dapat membantu menghasilkan algoritmanya.
33. AI + DAX
Contoh kebutuhan:
"Buat measure pertumbuhan penjualan dibanding tahun sebelumnya."
AI dapat membantu menghasilkan konsep DAX:
Sales LY =
CALCULATE(
[Total Sales],
SAMEPERIODLASTYEAR('Date'[Date])
)Kemudian:
YoY Growth =
DIVIDE(
[Total Sales] - [Sales LY],
[Sales LY]
)34. AI Governance
AI yang terhubung dengan data perusahaan harus memiliki aturan.
Minimal:
Authentication
Authorization
Data Classification
Audit Log
Access Control
Prompt Security
Output Validation35. Jangan Berikan Semua Data ke AI
Misalnya database memiliki:
Customer Name
Address
Phone
Email
Transaction
SalaryAI mungkin hanya membutuhkan:
Product
Sales
Date
RegionGunakan prinsip:
Least Privilege
AI hanya mendapatkan data yang benar-benar diperlukan.
36. Prompt Injection
Sistem RAG/Agent juga memiliki risiko manipulasi instruksi.
Contoh dokumen berisi instruksi yang sebenarnya bukan bagian dari tugas.
Karena itu sistem harus memisahkan:
SYSTEM INSTRUCTION
USER INPUT
RETRIEVED CONTENT
TOOL OUTPUTdan tidak memperlakukan semua teks sebagai instruksi terpercaya.
37. Hallucination
AI dapat menghasilkan informasi yang terdengar meyakinkan tetapi tidak benar.
Untuk data bisnis, hal ini berbahaya.
Solusi:
AI
↓
Database
↓
Actual Data
↓
AnswerJangan meminta AI menebak angka jika angka dapat diperoleh dari database.
38. Grounded Answer
Jawaban sebaiknya berdasarkan sumber.
Contoh:
Penjualan bulan ini:
Rp1.250.000.000
Sumber:
Sales Warehouse
periode:
1–30 September 2026AI menjadi grounded pada data aktual.
39. AI Evaluation
Sistem AI harus diuji.
Contoh:
Question
Expected Answer
Actual AnswerKita dapat mengukur:
Accuracy
Relevance
Groundedness
Latency
Cost
Safety40. AI Cost
Penggunaan AI juga memiliki biaya.
Harus diperhatikan:
Jumlah request
Panjang prompt
Ukuran context
Model
Tool calls
Embedding
StorageOptimasi dapat dilakukan dengan:
Caching
Smaller Context
Prompt Optimization
Model Routing
Retrieval Optimization41. Model Routing
Tidak semua pertanyaan membutuhkan model paling besar.
Contoh:
Pertanyaan sederhana
↓
Model kecil
Analisis kompleks
↓
Model lebih kuatKonsep:
Question
↓
Router
├── Simple → Model A
├── SQL → Model B
└── Complex → Model CIni dapat membantu efisiensi.
42. AI Data Platform
Sekarang kita gabungkan semuanya.
USER
↓
AI INTERFACE
↓
AI ORCHESTRATOR
↓
┌────────────┼────────────┐
↓ ↓ ↓
SQL RAG TOOLS
↓ ↓ ↓
Warehouse Documents APIs
│ │ │
└────────────┼────────────┘
↓
LLM
↓
ANALYSIS
↓
RECOMMENDATION
↓
USER43. Enterprise AI Analyst
Dalam perusahaan besar:
ERP
CRM
POS
Marketplace
Warehouse
Documents
Emailsdapat menjadi sumber.
Kemudian:
DATA PLATFORM
↓
SEMANTIC LAYER
↓
AI LAYER
↓
USER44. Contoh Pertanyaan Bisnis
User:
"Produk mana yang kemungkinan stockout dalam 14 hari?"
AI:
1. Ambil inventory
2. Ambil sales history
3. Ambil forecast
4. Hitung projected stock
5. Identifikasi risiko
6. Buat daftarOutput:
Produk A
Stockout risk: HIGH
Produk B
Stockout risk: MEDIUM
Produk C
Stockout risk: LOW45. AI Recommendation Engine
Kita dapat membuat:
Prediction
↓
Business Rule
↓
RecommendationContoh:
Predicted Demand
↓
Stock Level
↓
Risk
↓
RecommendationHasil:
Tambahkan 500 unit Produk A sebelum tanggal 12 Oktober.
46. Human in the Loop
AI tidak selalu boleh mengambil keputusan sendiri.
Untuk keputusan penting:
AI Recommendation
↓
Human Review
↓
Approve / Reject
↓
ActionContoh:
AI:
"Restock 5.000 unit."
Manager:
[Approve]Ini lebih aman untuk proses bisnis kritis.
47. AI Agent Enterprise
Arsitektur:
USER
↓
AI AGENT
↓
PLANNING
↓
┌─────────────┼─────────────┐
↓ ↓ ↓
SQL RAG API
↓ ↓ ↓
DATABASE DOCUMENTS SYSTEM
│ │ │
└─────────────┼─────────────┘
↓
ANALYSIS
↓
HUMAN REVIEW
↓
ACTION48. Project Level 14
AI Business Analyst
Kita akan membuat sistem yang mampu:
1. Menjawab pertanyaan bisnis
2. Membuat SQL
3. Membaca database
4. Membaca dokumen
5. Menganalisis KPI
6. Mencari root cause
7. Menjelaskan anomaly
8. Membaca forecast
9. Membuat recommendation
10. Membuat laporan49. Contoh Penggunaan
User:
"Bagaimana kondisi bisnis minggu ini?"
AI:
SALES
Rp 520 juta
↓ 4,2%
PROFIT
Rp 108 juta
↓ 2,1%
CUSTOMER
12.540
↑ 3,4%
ANOMALY
5 transaksi
FORECAST
Akhir bulan diperkirakan
Rp 2,1 miliarKemudian AI melanjutkan:
Penurunan terutama berasal dari kategori elektronik. Wilayah Jawa Tengah mengalami penurunan paling besar, sedangkan kategori fashion masih tumbuh positif.
50. Level Berikutnya
Setelah Level 14, kita masuk ke level tertinggi dalam roadmap ini:
LEVEL 15
Enterprise AI & Data Architect
Materinya akan menggabungkan seluruh kemampuan:
Excel
Power Query
SQL
Python
Data Engineering
Cloud
Data Warehouse
Power BI
DAX
Machine Learning
Generative AI
RAG
AI Agent
Data Governance
Security
Enterprise ArchitectureTarget akhirnya:
BUSINESS
↓
DATA
↓
DATA PLATFORM
↓
ANALYTICS
↓
MACHINE LEARNING
↓
GENERATIVE AI
↓
AI AGENT
↓
AUTOMATED DECISION SUPPORT51. Roadmap Lengkap
LEVEL 1
Excel Beginner
↓
LEVEL 2
Excel Intermediate
↓
LEVEL 3
Excel Advanced
↓
LEVEL 4
Excel Expert
↓
LEVEL 5
Excel Automation
↓
LEVEL 6
Data Analytics
↓
LEVEL 7
Power BI
↓
LEVEL 8
Advanced DAX
↓
LEVEL 9
Excel + AI
↓
LEVEL 10
BI Solution Architect
↓
LEVEL 11
Data Engineering
↓
LEVEL 12
Advanced Data Engineering
↓
LEVEL 13
Machine Learning
↓
LEVEL 14
AI Data Analyst
↓
LEVEL 15
Enterprise AI & Data ArchitectKesimpulan
Level 14 mengubah cara kita berinteraksi dengan data.
Sebelumnya:
Manusia harus memahami Excel, SQL, Power BI, Python, dan sistem data.
Sekarang:
Manusia dapat menggunakan bahasa alami untuk meminta sistem menganalisis data.
Tetapi fondasinya tetap sama:
AI tidak menggantikan data yang berkualitas.
Arsitektur yang kuat tetap membutuhkan:
Data Engineering + Data Warehouse + Semantic Layer + Security + AI.
Pada Level 15, seluruh materi dari Level 1 sampai Level 14 akan kita satukan menjadi sebuah Enterprise AI & Data Platform lengkap, mulai dari sumber data sampai AI Agent dan otomatisasi keputusan bisnis.
0 Comments:
Posting Komentar