Seluruh Artikel Bermanfaat
  • Home
  • Microsoft office
    • Microsoft Word
    • Microsoft Excel
    • Microsoft Power Point
  • About
  • Contact

GENERATIVE AI & LARGE LANGUAGE MODEL ENGINEERING - LEVEL 20

 Willong     Oktober 23, 2026     Microsoft Excel     No comments   

 GENERATIVE AI & LARGE LANGUAGE MODEL ENGINEERING

Dari LLM, RAG, Fine-Tuning sampai AI Agent Production

Pada Level 19 kita sudah mempelajari:

  • Neural Network

  • CNN

  • RNN

  • LSTM

  • Attention

  • Transformer

  • Embedding

  • Deep Learning

Sekarang kita masuk ke teknologi yang menjadi fondasi banyak aplikasi AI modern:

GENERATIVE AI

Generative AI adalah sistem AI yang dapat menghasilkan konten baru berdasarkan pola yang dipelajari.

Contohnya:

Text
Code
Image
Audio
Video
Data

Dan salah satu teknologi terpenting di dalamnya adalah:

LLM — LARGE LANGUAGE MODEL


1. Apa Itu LLM?

LLM adalah model AI yang dilatih menggunakan data teks dalam jumlah sangat besar untuk memahami dan menghasilkan bahasa.

Secara sederhana:

USER
  ↓
PROMPT
  ↓
LLM
  ↓
REASONING / PROCESSING
  ↓
RESPONSE

Contoh:

User:
"Berapa total penjualan bulan ini?"

LLM:
"Total penjualan bulan ini adalah
Rp125.000.000."

Namun LLM biasa tidak otomatis mengetahui database perusahaan.

Karena itu kita membutuhkan arsitektur tambahan.


2. LLM Bukan Database

Ini konsep yang sangat penting.

LLM bukan database perusahaan.

Misalnya database memiliki:

Sales Januari  = 100 juta
Sales Februari = 120 juta
Sales Maret    = 135 juta

LLM tidak seharusnya menebak angka tersebut.

Sistem harus mengambil data dari sumber terpercaya:

User
 ↓
LLM
 ↓
Database
 ↓
Result
 ↓
LLM
 ↓
Answer

Ini menjadi dasar:

AI + Data Integration


3. Transformer sebagai Fondasi LLM

Kita sudah mempelajari Transformer di Level 19.

LLM menggunakan arsitektur Transformer untuk memproses token dan konteks.

Secara sederhana:

TEXT
 ↓
TOKENIZATION
 ↓
EMBEDDING
 ↓
TRANSFORMER
 ↓
CONTEXT PROCESSING
 ↓
NEXT TOKEN
 ↓
NEXT TOKEN
 ↓
OUTPUT

Model menghasilkan teks secara bertahap.


4. Token

LLM tidak langsung membaca kalimat seperti manusia.

Teks dipecah menjadi token.

Contoh sederhana:

"Saya sedang belajar AI"

menjadi representasi token tertentu.

Kemudian:

Token
 ↓
Token ID
 ↓
Embedding
 ↓
Transformer

Jumlah token penting karena model memiliki batas context window.


5. Context Window

Context window adalah jumlah informasi yang dapat diproses model dalam satu konteks.

Contohnya:

Prompt
+
Dokumen
+
Conversation
+
Tool Result

semuanya menggunakan context.

Arsitektur:

USER QUESTION
     +
DOCUMENT
     +
DATABASE RESULT
     +
CONVERSATION
          ↓
       LLM
          ↓
      ANSWER

Semakin banyak informasi yang diberikan, semakin penting pengelolaan context.


6. Prompt Engineering

Prompt engineering adalah teknik memberikan instruksi yang jelas kepada model.

Prompt sederhana:

"Analisis data ini."

Prompt lebih baik:

Anda adalah Data Analyst.

Analisis data penjualan berikut.

Tugas:
1. Cari tren.
2. Cari produk dengan penurunan terbesar.
3. Cari anomali.
4. Berikan kemungkinan penyebab.
5. Berikan rekomendasi.

Jangan membuat angka yang tidak terdapat
dalam data.

Instruksi menjadi jauh lebih terkontrol.


7. System Prompt

Dalam aplikasi AI terdapat instruksi tingkat sistem.

Contoh:

ROLE:
Anda adalah AI Business Analyst.

RULES:
- Gunakan data perusahaan.
- Jangan mengarang angka.
- Jika data tidak tersedia, katakan tidak tersedia.
- Gunakan Rupiah.
- Berikan sumber data.

Kemudian user bertanya:

"Kenapa sales turun?"

AI mengikuti aturan tersebut.


8. Structured Output

Jangan selalu meminta LLM menghasilkan teks bebas.

Untuk aplikasi, lebih baik meminta struktur.

Contoh:

{
  "status": "warning",
  "sales_change": -12.5,
  "main_cause": "penurunan transaksi",
  "recommendation": [
    "tingkatkan promosi",
    "evaluasi produk"
  ]
}

Dengan struktur ini hasil lebih mudah digunakan aplikasi.

LLM
 ↓
JSON
 ↓
Backend
 ↓
Database / Application

9. Hallucination

Salah satu risiko utama LLM adalah hallucination.

Artinya model menghasilkan informasi yang terdengar benar tetapi sebenarnya tidak didukung sumber.

Contoh:

User:
"Berapa penjualan tanggal 12?"

Jika data tidak tersedia:

❌ "Penjualan tanggal 12 adalah Rp25 juta."

Jawaban yang benar:

✅ "Data penjualan tanggal 12 tidak tersedia."

Karena itu sistem enterprise membutuhkan grounding.


10. Grounding

Grounding berarti jawaban AI didasarkan pada sumber data yang dapat dipercaya.

Contoh:

User
 ↓
Question
 ↓
Retrieve Data
 ↓
LLM
 ↓
Grounded Answer

Sumber dapat berupa:

Database
Documents
API
Data Warehouse
Data Lake
Knowledge Base

11. Embedding

Embedding mengubah teks menjadi vector.

Contoh:

"cara mengajukan cuti"

menjadi:

[0.21, -0.32, 0.77, ...]

Kemudian kalimat lain:

"prosedur izin tidak masuk kerja"

dapat memiliki representasi yang secara semantik lebih dekat.

Inilah yang memungkinkan semantic search.


12. Vector Database

Vector database menyimpan embedding.

Arsitektur:

DOCUMENT
 ↓
CHUNKING
 ↓
EMBEDDING
 ↓
VECTOR
 ↓
VECTOR DATABASE

Contoh teknologi:

pgvector
Pinecone
Milvus
Weaviate
FAISS

Pemilihan teknologi tergantung kebutuhan sistem.


13. Semantic Search

Search biasa:

Keyword

Semantic search:

Meaning

Contoh user bertanya:

"Bagaimana prosedur izin tidak masuk kantor?"

Dokumen mungkin menggunakan kata:

"ketidakhadiran pegawai"

Keyword search mungkin kesulitan.

Semantic search dapat memahami bahwa keduanya berhubungan.


14. RAG

RAG = Retrieval-Augmented Generation.

Ini salah satu arsitektur terpenting dalam Generative AI.

Arsitekturnya:

USER
 ↓
QUESTION
 ↓
EMBEDDING
 ↓
VECTOR SEARCH
 ↓
RETRIEVE DOCUMENT
 ↓
CONTEXT
 ↓
LLM
 ↓
ANSWER

Dengan RAG, LLM tidak hanya mengandalkan pengetahuan yang tersimpan dalam parameter model.


15. Contoh RAG Perusahaan

Perusahaan memiliki:

SOP.pdf
HR Policy.pdf
Finance Policy.pdf
Product Manual.pdf
Sales Guide.pdf

Semua dokumen dimasukkan ke sistem.

Documents
 ↓
Extract Text
 ↓
Chunk
 ↓
Embedding
 ↓
Vector Database

User bertanya:

"Berapa maksimal cuti tahunan?"

Sistem:

Question
 ↓
Vector Search
 ↓
HR Policy
 ↓
Relevant Section
 ↓
LLM
 ↓
Answer

16. Chunking

Dokumen besar tidak selalu dimasukkan sekaligus.

Dokumen:

100 halaman

dipecah:

Chunk 1
Chunk 2
Chunk 3
...
Chunk 500

Contoh:

Chunk Size = 500 tokens
Overlap = 50 tokens

Overlap membantu mempertahankan konteks antar bagian.


17. RAG Pipeline

Pipeline lengkap:

                 DOCUMENTS
                     │
                     ▼
                TEXT EXTRACTION
                     │
                     ▼
                   CHUNK
                     │
                     ▼
                 EMBEDDING
                     │
                     ▼
              VECTOR DATABASE
                     │
                     │
USER ──► QUESTION ──► SEARCH
                     │
                     ▼
                TOP-K CHUNKS
                     │
                     ▼
                  PROMPT
                     │
                     ▼
                    LLM
                     │
                     ▼
                  ANSWER

18. Top-K Retrieval

Misalnya user bertanya:

"Bagaimana aturan refund?"

Vector search mencari:

Top 5 relevant chunks

Kemudian:

Chunk 1 → 0.91 similarity
Chunk 2 → 0.88
Chunk 3 → 0.82
Chunk 4 → 0.79
Chunk 5 → 0.76

Dokumen tersebut diberikan kepada LLM sebagai context.


19. Hybrid Search

Semantic search bukan satu-satunya metode.

Kita dapat menggabungkan:

Keyword Search
+
Vector Search

menjadi:

Hybrid Search

Ini sering lebih kuat untuk enterprise search karena dapat menangani:

  • istilah khusus,

  • nomor dokumen,

  • kode produk,

  • nama orang,

  • makna semantik.


20. Reranking

Setelah mendapatkan hasil:

Top 20 documents

sistem dapat melakukan reranking.

Vector Search
 ↓
20 Results
 ↓
Reranker
 ↓
Top 5
 ↓
LLM

Tujuannya meningkatkan relevansi context.


21. RAG Evaluation

RAG harus diuji.

Pertanyaan penting:

Apakah dokumen yang diambil benar?
Apakah jawaban sesuai dokumen?
Apakah AI mengarang?
Apakah citation benar?

Kita dapat mengukur:

Retrieval Precision
Retrieval Recall
Answer Relevance
Faithfulness
Groundedness

22. Fine-Tuning

RAG bukan satu-satunya cara menyesuaikan AI.

Metode lain:

Fine-Tuning

Model dasar:

BASE MODEL

kemudian dilatih menggunakan dataset khusus.

Base Model
    +
Company Examples
    ↓
Fine-Tuned Model

Fine-tuning cocok untuk mempelajari pola atau perilaku tertentu.


23. RAG vs Fine-Tuning

Ini harus dipahami.

RAG

Digunakan ketika:

Knowledge sering berubah
Dokumen perusahaan banyak
Informasi harus berasal dari sumber

Contoh:

SOP
Harga
Kebijakan
Produk
Dokumen legal

Fine-Tuning

Lebih cocok untuk:

Behavior
Style
Format
Task Pattern
Domain-specific response behavior

Jangan menggunakan fine-tuning sebagai pengganti database yang selalu berubah.


24. LoRA

Fine-tuning model besar dapat mahal.

Salah satu teknik efisien:

LoRA

LoRA menambahkan parameter kecil untuk mengadaptasi model.

Secara sederhana:

BASE MODEL
   │
   ├── Frozen Parameters
   │
   └── LoRA Parameters
             ↓
       Fine-Tuned Behavior

Keuntungannya:

  • lebih hemat memory,

  • lebih murah,

  • training lebih ringan,

  • mudah menyimpan adapter.


25. PEFT

PEFT = Parameter-Efficient Fine-Tuning.

Tujuannya:

melakukan adaptasi model tanpa mengubah seluruh parameter model.

Contoh pendekatan:

LoRA
Adapters
Prefix Tuning
Prompt Tuning

26. AI Agent

Sekarang kita naik satu tingkat.

Chatbot biasa:

User
 ↓
LLM
 ↓
Answer

AI Agent:

User
 ↓
LLM
 ↓
PLAN
 ↓
TOOL
 ↓
OBSERVE
 ↓
REASON
 ↓
TOOL
 ↓
RESULT
 ↓
ANSWER

Agent dapat menggunakan tools.


27. Tool Calling

Contoh user:

"Berapa total penjualan hari ini?"

Agent:

LLM
 ↓
Decide Tool
 ↓
SQL Query
 ↓
Database
 ↓
Result
 ↓
LLM
 ↓
Answer

AI tidak menebak angka.

AI memanggil database.


28. Contoh Tools AI Agent

Agent perusahaan dapat memiliki:

SQL Tool
CRM Tool
ERP Tool
Email Tool
Calendar Tool
Search Tool
Inventory Tool
Power BI Tool
API Tool

Contoh:

User:
"Produk A stoknya tinggal berapa?"

Agent
 ↓
Inventory Tool
 ↓
Database
 ↓
Stock = 42
 ↓
Answer

29. Agent Planning

Agent dapat memecah pekerjaan.

User:

"Analisis kenapa penjualan bulan ini turun."

Agent dapat membuat rencana:

1. Ambil sales bulan ini
2. Bandingkan bulan lalu
3. Analisis produk
4. Analisis wilayah
5. Analisis customer
6. Analisis promo
7. Cari penyebab
8. Buat rekomendasi

Kemudian menjalankan tools.


30. Human-in-the-Loop

Tidak semua tindakan boleh dilakukan AI secara otomatis.

Contoh:

AI membaca data
      ↓
AI membuat rekomendasi
      ↓
MANAGER APPROVAL
      ↓
AI menjalankan tindakan

Untuk tindakan berisiko tinggi:

Transfer uang
Delete data
Ubah harga
Kirim email massal
Approve transaksi

sebaiknya membutuhkan approval.


31. Agent Permission

Agent harus memiliki permission.

Contoh:

Sales Agent
├── READ sales
├── READ customer
└── NO DELETE

Finance Agent
├── READ finance
├── CREATE report
└── APPROVAL required

Admin Agent
├── READ
├── WRITE
└── DELETE

Ini menerapkan prinsip:

Least Privilege


32. AI Agent Architecture

Arsitektur enterprise:

                         USER
                           │
                           ▼
                    AI APPLICATION
                           │
                           ▼
                    AGENT ORCHESTRATOR
                           │
             ┌─────────────┼─────────────┐
             ▼             ▼             ▼
          LLM CORE      MEMORY         PLANNER
             │
             ▼
        TOOL CALLING
             │
      ┌──────┼──────┬──────┬──────┐
      ▼      ▼      ▼      ▼      ▼
     SQL    CRM    ERP   SEARCH   API
      │      │      │      │      │
      └──────┴──────┴──────┴──────┘
                     │
                     ▼
                  RESULT
                     │
                     ▼
                  LLM
                     │
                     ▼
                  ANSWER

33. AI Memory

Agent dapat menggunakan beberapa jenis memory.

Short-Term Memory

Percakapan saat ini.

User
 ↓
Question 1
 ↓
Question 2
 ↓
Question 3

Long-Term Memory

Informasi yang memang perlu disimpan untuk penggunaan berikutnya.

External Memory

Informasi dari:

Database
Vector DB
Documents
CRM

34. Multimodal AI

AI modern tidak hanya memahami text.

Input dapat berupa:

Text
Image
Audio
Video
Documents
Tables

Contoh:

User upload foto invoice
        ↓
AI membaca invoice
        ↓
Extract:
Vendor
Date
Invoice Number
Total
        ↓
Database

35. Vision + LLM

Contoh sistem:

Image
 ↓
Vision Model
 ↓
Visual Understanding
 ↓
LLM
 ↓
Answer

Aplikasi:

  • membaca dokumen,

  • menganalisis gambar,

  • inspeksi produk,

  • OCR,

  • membaca chart,

  • memahami screenshot.


36. Speech AI

Pipeline:

VOICE
 ↓
Speech-to-Text
 ↓
LLM
 ↓
Text-to-Speech
 ↓
VOICE

Hasilnya:

USER SPEAKS
     ↓
AI UNDERSTANDS
     ↓
AI THINKS
     ↓
AI RESPONDS

37. Generative AI untuk Business Intelligence

Sekarang kita gabungkan dengan Power BI.

User:

"Kenapa penjualan wilayah Jawa Barat turun?"

AI:

SQL / BI Query
      ↓
Sales Data
      ↓
Analysis
      ↓
LLM
      ↓
Explanation

Jawaban dapat berupa:

Penjualan Jawa Barat turun 11%.

Penyebab utama:
1. Produk A turun 18%.
2. Bandung turun 14%.
3. Promo bulan ini lebih rendah.
4. Customer aktif turun 7%.

Rekomendasi:
- Evaluasi promo Produk A.
- Fokus customer high-value.
- Periksa stok Bandung.

Ini menjadi:

Conversational BI


38. Text-to-SQL

User tidak perlu menulis SQL.

User:

"Tampilkan 10 produk dengan penjualan tertinggi bulan ini."

AI menghasilkan SQL secara internal:

SELECT
    product_name,
    SUM(sales) AS total_sales
FROM sales
WHERE sales_date >= ...
GROUP BY product_name
ORDER BY total_sales DESC
LIMIT 10;

Kemudian:

SQL
 ↓
Database
 ↓
Result
 ↓
LLM
 ↓
Natural Language Answer

39. Text-to-SQL Security

Ini sangat penting.

Jangan membiarkan LLM bebas menjalankan semua SQL.

Gunakan:

Read-only database user
SQL validation
Allowlist
Query timeout
Row limits
Table permissions
Audit logging

Untuk pertanyaan analytics:

SELECT

biasanya jauh lebih aman daripada memberikan akses bebas ke:

DELETE
UPDATE
DROP
ALTER

40. AI Governance

Enterprise AI membutuhkan governance.

Perhatikan:

Data Privacy
Access Control
Audit
Security
Model Evaluation
Human Approval
Data Retention
Compliance

Pertanyaan penting:

Data apa yang boleh diberikan ke model?


41. Prompt Injection

Sistem RAG dan agent juga menghadapi prompt injection.

Misalnya sebuah dokumen berisi instruksi berbahaya:

"Ignore all previous instructions..."

Agent tidak boleh menganggap semua teks yang diambil dari dokumen sebagai instruksi sistem.

Pisahkan:

INSTRUCTIONS

dari:

UNTRUSTED DATA

42. AI Evaluation

AI production harus diuji.

Kita dapat membuat dataset:

Question
Expected Answer
Source
Actual Answer

Kemudian mengevaluasi:

Correctness
Relevance
Groundedness
Safety
Latency
Cost

43. LLM Cost Optimization

Penggunaan LLM dapat mahal.

Optimasi dapat dilakukan dengan:

Caching
Prompt Optimization
Model Routing
Context Reduction
Batch Processing
Smaller Models
RAG Optimization

Contoh:

Simple Question
      ↓
Small Model

Complex Question
      ↓
Large Model

Ini disebut:

Model Routing


44. Enterprise Generative AI Architecture

Sekarang kita gabungkan hampir seluruh roadmap.

                           USERS
                             │
                             ▼
                    AI APPLICATION
                             │
                             ▼
                    API / GATEWAY
                             │
                             ▼
                    AI ORCHESTRATOR
                             │
             ┌───────────────┼────────────────┐
             ▼               ▼                ▼
            LLM             RAG             AGENT
             │               │                │
             │               ▼                ▼
             │          VECTOR DB           TOOLS
             │               │        ┌───────
  • Share This:  
  •  Facebook
  •  Twitter
  •  Google+
  •  Stumble
  •  Digg
Kirimkan Ini lewat EmailBlogThis!Bagikan ke XBerbagi ke Facebook
Posting Lebih Baru Posting Lama Beranda

0 Comments:

Posting Komentar

Label

  • Microsoft Excel (35)
  • Microsoft Power Point (27)
  • MICROSOFT WORD (47)

Popular Posts

  • Tutorial Microsoft Excel untuk Pemula
    Tutorial Microsoft Excel untuk Pemula: Panduan Lengkap dari Nol Microsoft Excel adalah salah satu aplikasi yang banyak digunakan untuk mengo...
  • Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis
      Tutorial Microsoft Excel Tingkat Lanjutan: Panduan Lengkap dan Praktis Setelah menguasai Excel tingkat pemula dan menengah, tahap berikutn...
  • Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional
     Tutorial Microsoft Excel Tingkat Selanjutnya: Excel Expert dan Professional Setelah menguasai Excel tingkat lanjutan, kini saatnya masuk ke...
  • TUTORIAL MICROSOFT WORD - LEVEL 1
      TUTORIAL MICROSOFT WORD MENGENAL MICROSOFT WORD UNTUK PEMULA Tujuan Pembelajaran Setelah menyelesaikan Level 1, pembaca diharapkan mampu: ...
  • Tutorial Cara Membuat Surat Undangan Profesional di Microsoft Word - Level 17
      T utorial Cara Membuat Surat Undangan Profesional di Microsoft Word Tujuan Pembelajaran Setelah mengikuti tutorial ini, pembaca diharapkan...
  • Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional - Level 19
     Tutorial Cara Membuat Laporan Kegiatan yang Rapi dan Profesional Tujuan Pembelajaran Setelah menyelesaikan tutorial ini, pembaca diharapkan...
  • Tutorial Enterprise AI & Data Architect - Level 15
    Enterprise AI & Data Architect Membangun Platform Data, BI, Machine Learning, dan AI Terintegrasi Level 15 adalah tahap ketika kita berh...
  • DEEP LEARNING & NEURAL NETWORKS - LEVEL 19
       DEEP LEARNING & NEURAL NETWORKS Dari Neural Network Dasar sampai Transformer Deep Learning adalah cabang Machine Learning yang menggu...
  • TUTORIAL MICROSOFT WORD - LEVEL 12
     TUTORIAL MICROSOFT WORD  MEMBUAT FOOTNOTE DAN ENDNOTE DI MICROSOFT WORD Tujuan Pembelajaran Setelah menyelesaikan Level 12, pembaca diharap...
  • Tutorial Machine Learning & Advanced Analytics - Level 13
      Tutorial Machine Learning & Advanced Analytics Dari Data Engineering Menuju Prediksi dan Sistem Cerdas Pada Level 12 kita sudah memban...

Pages

  • Beranda
  • Tentang Saya

Blog Archive

  • November 2026 (51)
  • Oktober 2026 (58)

Laporkan Penyalahgunaan

Seluruh Artikel Bermanfaat

Willong
Indonesia
Lihat profil lengkapku

Popular Posts

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

Cara Membuat Presentasi Interaktif Menggunakan Action Button - Level 23

November 16, 2026
Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word -  Level 42

Cara Menambahkan Hyperlink dan Bookmark di Microsoft Word - Level 42

November 16, 2026
Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

Cara Membuat Dokumen dengan Banyak Section di Microsoft Word - Level 44

November 18, 2026

Copyright © Seluruh Artikel Bermanfaat | Powered by Blogger