GENERATIVE AI & LARGE LANGUAGE MODEL ENGINEERING
Dari LLM, RAG, Fine-Tuning sampai AI Agent Production
Pada Level 19 kita sudah mempelajari:
Neural Network
CNN
RNN
LSTM
Attention
Transformer
Embedding
Deep Learning
Sekarang kita masuk ke teknologi yang menjadi fondasi banyak aplikasi AI modern:
GENERATIVE AI
Generative AI adalah sistem AI yang dapat menghasilkan konten baru berdasarkan pola yang dipelajari.
Contohnya:
Text
Code
Image
Audio
Video
DataDan salah satu teknologi terpenting di dalamnya adalah:
LLM — LARGE LANGUAGE MODEL
1. Apa Itu LLM?
LLM adalah model AI yang dilatih menggunakan data teks dalam jumlah sangat besar untuk memahami dan menghasilkan bahasa.
Secara sederhana:
USER
↓
PROMPT
↓
LLM
↓
REASONING / PROCESSING
↓
RESPONSEContoh:
User:
"Berapa total penjualan bulan ini?"
LLM:
"Total penjualan bulan ini adalah
Rp125.000.000."Namun LLM biasa tidak otomatis mengetahui database perusahaan.
Karena itu kita membutuhkan arsitektur tambahan.
2. LLM Bukan Database
Ini konsep yang sangat penting.
LLM bukan database perusahaan.
Misalnya database memiliki:
Sales Januari = 100 juta
Sales Februari = 120 juta
Sales Maret = 135 jutaLLM tidak seharusnya menebak angka tersebut.
Sistem harus mengambil data dari sumber terpercaya:
User
↓
LLM
↓
Database
↓
Result
↓
LLM
↓
AnswerIni menjadi dasar:
AI + Data Integration
3. Transformer sebagai Fondasi LLM
Kita sudah mempelajari Transformer di Level 19.
LLM menggunakan arsitektur Transformer untuk memproses token dan konteks.
Secara sederhana:
TEXT
↓
TOKENIZATION
↓
EMBEDDING
↓
TRANSFORMER
↓
CONTEXT PROCESSING
↓
NEXT TOKEN
↓
NEXT TOKEN
↓
OUTPUTModel menghasilkan teks secara bertahap.
4. Token
LLM tidak langsung membaca kalimat seperti manusia.
Teks dipecah menjadi token.
Contoh sederhana:
"Saya sedang belajar AI"menjadi representasi token tertentu.
Kemudian:
Token
↓
Token ID
↓
Embedding
↓
TransformerJumlah token penting karena model memiliki batas context window.
5. Context Window
Context window adalah jumlah informasi yang dapat diproses model dalam satu konteks.
Contohnya:
Prompt
+
Dokumen
+
Conversation
+
Tool Resultsemuanya menggunakan context.
Arsitektur:
USER QUESTION
+
DOCUMENT
+
DATABASE RESULT
+
CONVERSATION
↓
LLM
↓
ANSWERSemakin banyak informasi yang diberikan, semakin penting pengelolaan context.
6. Prompt Engineering
Prompt engineering adalah teknik memberikan instruksi yang jelas kepada model.
Prompt sederhana:
"Analisis data ini."Prompt lebih baik:
Anda adalah Data Analyst.
Analisis data penjualan berikut.
Tugas:
1. Cari tren.
2. Cari produk dengan penurunan terbesar.
3. Cari anomali.
4. Berikan kemungkinan penyebab.
5. Berikan rekomendasi.
Jangan membuat angka yang tidak terdapat
dalam data.Instruksi menjadi jauh lebih terkontrol.
7. System Prompt
Dalam aplikasi AI terdapat instruksi tingkat sistem.
Contoh:
ROLE:
Anda adalah AI Business Analyst.
RULES:
- Gunakan data perusahaan.
- Jangan mengarang angka.
- Jika data tidak tersedia, katakan tidak tersedia.
- Gunakan Rupiah.
- Berikan sumber data.Kemudian user bertanya:
"Kenapa sales turun?"AI mengikuti aturan tersebut.
8. Structured Output
Jangan selalu meminta LLM menghasilkan teks bebas.
Untuk aplikasi, lebih baik meminta struktur.
Contoh:
{
"status": "warning",
"sales_change": -12.5,
"main_cause": "penurunan transaksi",
"recommendation": [
"tingkatkan promosi",
"evaluasi produk"
]
}Dengan struktur ini hasil lebih mudah digunakan aplikasi.
LLM
↓
JSON
↓
Backend
↓
Database / Application9. Hallucination
Salah satu risiko utama LLM adalah hallucination.
Artinya model menghasilkan informasi yang terdengar benar tetapi sebenarnya tidak didukung sumber.
Contoh:
User:
"Berapa penjualan tanggal 12?"
Jika data tidak tersedia:
❌ "Penjualan tanggal 12 adalah Rp25 juta."
Jawaban yang benar:
✅ "Data penjualan tanggal 12 tidak tersedia."Karena itu sistem enterprise membutuhkan grounding.
10. Grounding
Grounding berarti jawaban AI didasarkan pada sumber data yang dapat dipercaya.
Contoh:
User
↓
Question
↓
Retrieve Data
↓
LLM
↓
Grounded AnswerSumber dapat berupa:
Database
Documents
API
Data Warehouse
Data Lake
Knowledge Base11. Embedding
Embedding mengubah teks menjadi vector.
Contoh:
"cara mengajukan cuti"menjadi:
[0.21, -0.32, 0.77, ...]Kemudian kalimat lain:
"prosedur izin tidak masuk kerja"dapat memiliki representasi yang secara semantik lebih dekat.
Inilah yang memungkinkan semantic search.
12. Vector Database
Vector database menyimpan embedding.
Arsitektur:
DOCUMENT
↓
CHUNKING
↓
EMBEDDING
↓
VECTOR
↓
VECTOR DATABASEContoh teknologi:
pgvector
Pinecone
Milvus
Weaviate
FAISSPemilihan teknologi tergantung kebutuhan sistem.
13. Semantic Search
Search biasa:
KeywordSemantic search:
MeaningContoh user bertanya:
"Bagaimana prosedur izin tidak masuk kantor?"Dokumen mungkin menggunakan kata:
"ketidakhadiran pegawai"Keyword search mungkin kesulitan.
Semantic search dapat memahami bahwa keduanya berhubungan.
14. RAG
RAG = Retrieval-Augmented Generation.
Ini salah satu arsitektur terpenting dalam Generative AI.
Arsitekturnya:
USER
↓
QUESTION
↓
EMBEDDING
↓
VECTOR SEARCH
↓
RETRIEVE DOCUMENT
↓
CONTEXT
↓
LLM
↓
ANSWERDengan RAG, LLM tidak hanya mengandalkan pengetahuan yang tersimpan dalam parameter model.
15. Contoh RAG Perusahaan
Perusahaan memiliki:
SOP.pdf
HR Policy.pdf
Finance Policy.pdf
Product Manual.pdf
Sales Guide.pdfSemua dokumen dimasukkan ke sistem.
Documents
↓
Extract Text
↓
Chunk
↓
Embedding
↓
Vector DatabaseUser bertanya:
"Berapa maksimal cuti tahunan?"
Sistem:
Question
↓
Vector Search
↓
HR Policy
↓
Relevant Section
↓
LLM
↓
Answer16. Chunking
Dokumen besar tidak selalu dimasukkan sekaligus.
Dokumen:
100 halamandipecah:
Chunk 1
Chunk 2
Chunk 3
...
Chunk 500Contoh:
Chunk Size = 500 tokens
Overlap = 50 tokensOverlap membantu mempertahankan konteks antar bagian.
17. RAG Pipeline
Pipeline lengkap:
DOCUMENTS
│
▼
TEXT EXTRACTION
│
▼
CHUNK
│
▼
EMBEDDING
│
▼
VECTOR DATABASE
│
│
USER ──► QUESTION ──► SEARCH
│
▼
TOP-K CHUNKS
│
▼
PROMPT
│
▼
LLM
│
▼
ANSWER18. Top-K Retrieval
Misalnya user bertanya:
"Bagaimana aturan refund?"Vector search mencari:
Top 5 relevant chunksKemudian:
Chunk 1 → 0.91 similarity
Chunk 2 → 0.88
Chunk 3 → 0.82
Chunk 4 → 0.79
Chunk 5 → 0.76Dokumen tersebut diberikan kepada LLM sebagai context.
19. Hybrid Search
Semantic search bukan satu-satunya metode.
Kita dapat menggabungkan:
Keyword Search
+
Vector Searchmenjadi:
Hybrid Search
Ini sering lebih kuat untuk enterprise search karena dapat menangani:
istilah khusus,
nomor dokumen,
kode produk,
nama orang,
makna semantik.
20. Reranking
Setelah mendapatkan hasil:
Top 20 documentssistem dapat melakukan reranking.
Vector Search
↓
20 Results
↓
Reranker
↓
Top 5
↓
LLMTujuannya meningkatkan relevansi context.
21. RAG Evaluation
RAG harus diuji.
Pertanyaan penting:
Apakah dokumen yang diambil benar?
Apakah jawaban sesuai dokumen?
Apakah AI mengarang?
Apakah citation benar?Kita dapat mengukur:
Retrieval Precision
Retrieval Recall
Answer Relevance
Faithfulness
Groundedness22. Fine-Tuning
RAG bukan satu-satunya cara menyesuaikan AI.
Metode lain:
Fine-Tuning
Model dasar:
BASE MODELkemudian dilatih menggunakan dataset khusus.
Base Model
+
Company Examples
↓
Fine-Tuned ModelFine-tuning cocok untuk mempelajari pola atau perilaku tertentu.
23. RAG vs Fine-Tuning
Ini harus dipahami.
RAG
Digunakan ketika:
Knowledge sering berubah
Dokumen perusahaan banyak
Informasi harus berasal dari sumberContoh:
SOP
Harga
Kebijakan
Produk
Dokumen legalFine-Tuning
Lebih cocok untuk:
Behavior
Style
Format
Task Pattern
Domain-specific response behaviorJangan menggunakan fine-tuning sebagai pengganti database yang selalu berubah.
24. LoRA
Fine-tuning model besar dapat mahal.
Salah satu teknik efisien:
LoRA
LoRA menambahkan parameter kecil untuk mengadaptasi model.
Secara sederhana:
BASE MODEL
│
├── Frozen Parameters
│
└── LoRA Parameters
↓
Fine-Tuned BehaviorKeuntungannya:
lebih hemat memory,
lebih murah,
training lebih ringan,
mudah menyimpan adapter.
25. PEFT
PEFT = Parameter-Efficient Fine-Tuning.
Tujuannya:
melakukan adaptasi model tanpa mengubah seluruh parameter model.
Contoh pendekatan:
LoRA
Adapters
Prefix Tuning
Prompt Tuning26. AI Agent
Sekarang kita naik satu tingkat.
Chatbot biasa:
User
↓
LLM
↓
AnswerAI Agent:
User
↓
LLM
↓
PLAN
↓
TOOL
↓
OBSERVE
↓
REASON
↓
TOOL
↓
RESULT
↓
ANSWERAgent dapat menggunakan tools.
27. Tool Calling
Contoh user:
"Berapa total penjualan hari ini?"
Agent:
LLM
↓
Decide Tool
↓
SQL Query
↓
Database
↓
Result
↓
LLM
↓
AnswerAI tidak menebak angka.
AI memanggil database.
28. Contoh Tools AI Agent
Agent perusahaan dapat memiliki:
SQL Tool
CRM Tool
ERP Tool
Email Tool
Calendar Tool
Search Tool
Inventory Tool
Power BI Tool
API ToolContoh:
User:
"Produk A stoknya tinggal berapa?"
Agent
↓
Inventory Tool
↓
Database
↓
Stock = 42
↓
Answer29. Agent Planning
Agent dapat memecah pekerjaan.
User:
"Analisis kenapa penjualan bulan ini turun."
Agent dapat membuat rencana:
1. Ambil sales bulan ini
2. Bandingkan bulan lalu
3. Analisis produk
4. Analisis wilayah
5. Analisis customer
6. Analisis promo
7. Cari penyebab
8. Buat rekomendasiKemudian menjalankan tools.
30. Human-in-the-Loop
Tidak semua tindakan boleh dilakukan AI secara otomatis.
Contoh:
AI membaca data
↓
AI membuat rekomendasi
↓
MANAGER APPROVAL
↓
AI menjalankan tindakanUntuk tindakan berisiko tinggi:
Transfer uang
Delete data
Ubah harga
Kirim email massal
Approve transaksisebaiknya membutuhkan approval.
31. Agent Permission
Agent harus memiliki permission.
Contoh:
Sales Agent
├── READ sales
├── READ customer
└── NO DELETE
Finance Agent
├── READ finance
├── CREATE report
└── APPROVAL required
Admin Agent
├── READ
├── WRITE
└── DELETEIni menerapkan prinsip:
Least Privilege
32. AI Agent Architecture
Arsitektur enterprise:
USER
│
▼
AI APPLICATION
│
▼
AGENT ORCHESTRATOR
│
┌─────────────┼─────────────┐
▼ ▼ ▼
LLM CORE MEMORY PLANNER
│
▼
TOOL CALLING
│
┌──────┼──────┬──────┬──────┐
▼ ▼ ▼ ▼ ▼
SQL CRM ERP SEARCH API
│ │ │ │ │
└──────┴──────┴──────┴──────┘
│
▼
RESULT
│
▼
LLM
│
▼
ANSWER33. AI Memory
Agent dapat menggunakan beberapa jenis memory.
Short-Term Memory
Percakapan saat ini.
User
↓
Question 1
↓
Question 2
↓
Question 3Long-Term Memory
Informasi yang memang perlu disimpan untuk penggunaan berikutnya.
External Memory
Informasi dari:
Database
Vector DB
Documents
CRM34. Multimodal AI
AI modern tidak hanya memahami text.
Input dapat berupa:
Text
Image
Audio
Video
Documents
TablesContoh:
User upload foto invoice
↓
AI membaca invoice
↓
Extract:
Vendor
Date
Invoice Number
Total
↓
Database35. Vision + LLM
Contoh sistem:
Image
↓
Vision Model
↓
Visual Understanding
↓
LLM
↓
AnswerAplikasi:
membaca dokumen,
menganalisis gambar,
inspeksi produk,
OCR,
membaca chart,
memahami screenshot.
36. Speech AI
Pipeline:
VOICE
↓
Speech-to-Text
↓
LLM
↓
Text-to-Speech
↓
VOICEHasilnya:
USER SPEAKS
↓
AI UNDERSTANDS
↓
AI THINKS
↓
AI RESPONDS37. Generative AI untuk Business Intelligence
Sekarang kita gabungkan dengan Power BI.
User:
"Kenapa penjualan wilayah Jawa Barat turun?"
AI:
SQL / BI Query
↓
Sales Data
↓
Analysis
↓
LLM
↓
ExplanationJawaban dapat berupa:
Penjualan Jawa Barat turun 11%.
Penyebab utama:
1. Produk A turun 18%.
2. Bandung turun 14%.
3. Promo bulan ini lebih rendah.
4. Customer aktif turun 7%.
Rekomendasi:
- Evaluasi promo Produk A.
- Fokus customer high-value.
- Periksa stok Bandung.Ini menjadi:
Conversational BI
38. Text-to-SQL
User tidak perlu menulis SQL.
User:
"Tampilkan 10 produk dengan penjualan tertinggi bulan ini."
AI menghasilkan SQL secara internal:
SELECT
product_name,
SUM(sales) AS total_sales
FROM sales
WHERE sales_date >= ...
GROUP BY product_name
ORDER BY total_sales DESC
LIMIT 10;Kemudian:
SQL
↓
Database
↓
Result
↓
LLM
↓
Natural Language Answer39. Text-to-SQL Security
Ini sangat penting.
Jangan membiarkan LLM bebas menjalankan semua SQL.
Gunakan:
Read-only database user
SQL validation
Allowlist
Query timeout
Row limits
Table permissions
Audit loggingUntuk pertanyaan analytics:
SELECTbiasanya jauh lebih aman daripada memberikan akses bebas ke:
DELETE
UPDATE
DROP
ALTER40. AI Governance
Enterprise AI membutuhkan governance.
Perhatikan:
Data Privacy
Access Control
Audit
Security
Model Evaluation
Human Approval
Data Retention
CompliancePertanyaan penting:
Data apa yang boleh diberikan ke model?
41. Prompt Injection
Sistem RAG dan agent juga menghadapi prompt injection.
Misalnya sebuah dokumen berisi instruksi berbahaya:
"Ignore all previous instructions..."Agent tidak boleh menganggap semua teks yang diambil dari dokumen sebagai instruksi sistem.
Pisahkan:
INSTRUCTIONSdari:
UNTRUSTED DATA42. AI Evaluation
AI production harus diuji.
Kita dapat membuat dataset:
Question
Expected Answer
Source
Actual AnswerKemudian mengevaluasi:
Correctness
Relevance
Groundedness
Safety
Latency
Cost43. LLM Cost Optimization
Penggunaan LLM dapat mahal.
Optimasi dapat dilakukan dengan:
Caching
Prompt Optimization
Model Routing
Context Reduction
Batch Processing
Smaller Models
RAG OptimizationContoh:
Simple Question
↓
Small Model
Complex Question
↓
Large ModelIni disebut:
Model Routing
44. Enterprise Generative AI Architecture
Sekarang kita gabungkan hampir seluruh roadmap.
USERS
│
▼
AI APPLICATION
│
▼
API / GATEWAY
│
▼
AI ORCHESTRATOR
│
┌───────────────┼────────────────┐
▼ ▼ ▼
LLM RAG AGENT
│ │ │
│ ▼ ▼
│ VECTOR DB TOOLS
│ │ ┌───────
0 Comments:
Posting Komentar