AI ROBOTICS, EMBODIED AI & PHYSICAL INTELLIGENCE
1. Gambaran Umum
Pada Level 29 kita belajar bagaimana membuat AI yang:
aligned,
aman,
dapat diawasi,
memiliki permission,
memiliki monitoring,
memiliki governance,
dan dapat dihentikan jika terjadi masalah.
Sekarang kita masuk ke dunia yang lebih kompleks:
Bagaimana membuat AI yang mampu memahami dan berinteraksi dengan dunia fisik?
Inilah bidang:
Embodied AI.
Contohnya:
robot humanoid,
robot warehouse,
autonomous vehicle,
drone,
robot pertanian,
robot rumah tangga,
robot industri,
robotic arm,
autonomous machine.
2. Tujuan Pembelajaran
Setelah menyelesaikan Level 30, Anda diharapkan memahami:
Robotics fundamentals.
Embodied AI.
Sensor dan perception.
Computer vision.
Object detection.
Object tracking.
Depth perception.
LiDAR.
Camera dan stereo vision.
Sensor fusion.
Robot localization.
Mapping.
SLAM.
Path planning.
Motion planning.
Robot control.
Reinforcement learning untuk robot.
Imitation learning.
Sim-to-real.
Robot manipulation.
Humanoid robotics.
Autonomous navigation.
Human-robot interaction.
Safety architecture.
Physical AI architecture.
3. Apa Itu Embodied AI?
AI biasa:
Input
↓
AI
↓
OutputContoh:
Pertanyaan
↓
LLM
↓
JawabanEmbodied AI:
Environment
↓
Sensors
↓
Perception
↓
AI
↓
Planning
↓
Action
↓
EnvironmentAda feedback loop.
Observe
↓
Understand
↓
Plan
↓
Act
↓
Observe again4. Physical Intelligence
Physical intelligence adalah kemampuan sistem untuk:
memahami lingkungan,
memperkirakan keadaan dunia,
melakukan tindakan fisik,
belajar dari hasil tindakan,
beradaptasi terhadap perubahan.
Contoh:
Robot melihat meja.
Camera
↓
Object Detection
↓
"Ini adalah gelas."
↓
Planning
↓
Robot arm bergerak
↓
Grip gelas
↓
Angkat5. Perbedaan AI Software dan Embodied AI
| Software AI | Embodied AI |
|---|---|
| Text | Physical environment |
| Database | Sensors |
| API | Motors |
| Screen | Robot body |
| Digital action | Physical action |
| Error dapat diulang | Error bisa merusak benda |
| Latency penting | Real-time sangat penting |
| Safety digital | Physical safety |
Kesalahan robot bisa menyebabkan:
benda jatuh,
robot rusak,
manusia terluka,
tabrakan.
Karena itu safety menjadi jauh lebih penting.
6. Robot Architecture
Arsitektur dasar:
ENVIRONMENT
│
▼
SENSORS
│
▼
PERCEPTION
│
▼
WORLD REPRESENTATION
│
▼
PLANNING
│
▼
CONTROL
│
▼
ACTUATORS
│
▼
ENVIRONMENTIni adalah loop utama robotics.
7. Sensors
Robot membutuhkan sensor untuk mengetahui kondisi dunia.
Contoh:
Camera
Untuk melihat.
Depth Camera
Untuk mendapatkan informasi jarak.
LiDAR
Untuk mengukur jarak menggunakan laser.
IMU
Mengukur:
acceleration,
angular velocity,
orientation.
GPS
Untuk mengetahui posisi global.
Force/Torque Sensor
Untuk mengetahui gaya dan tekanan.
Encoder
Untuk mengetahui posisi atau kecepatan motor.
8. Sensor Fusion
Satu sensor tidak selalu cukup.
Misalnya:
Camera
+
LiDAR
+
IMU
+
GPSdigabungkan.
Hasilnya:
Better World StateSecara konseptual:
Camera ──────┐
LiDAR ───────┤
IMU ─────────┼──→ Sensor Fusion → Robot State
GPS ─────────┘9. Computer Vision
Robot perlu memahami gambar.
Pipeline:
Camera
↓
Image
↓
Preprocessing
↓
Vision Model
↓
Objects
↓
Scene UnderstandingContoh:
Camera melihat:
┌────────────────────┐
│ PERSON │
│ │
│ TABLE CUP │
│ │
│ ROBOT │
└────────────────────┘AI harus memahami:
siapa,
apa,
di mana,
jaraknya,
bagaimana bergerak.
10. Object Detection
Object detection menjawab:
Apa objek yang ada dan di mana lokasinya?
Output:
Person
x = 120
y = 80
width = 200
height = 500Konsep bounding box:
┌──────────────────────┐
│ PERSON │
│ ┌──────────┐ │
│ │ │ │
│ │ │ │
│ └──────────┘ │
└──────────────────────┘11. Object Tracking
Detection:
Ada mobil.
Tracking:
Mobil yang sama bergerak dari posisi A ke B.
Contoh:
Frame 1
Car → X=100
Frame 2
Car → X=120
Frame 3
Car → X=145
Frame 4
Car → X=170Robot dapat memperkirakan:
Direction
Velocity
Trajectory12. Depth Perception
Robot tidak cukup mengetahui:
"Ada gelas."
Robot harus mengetahui:
"Gelas berada 75 cm di depan saya."
Maka dibutuhkan depth.
RGB Camera
+
Depth
=
3D Understanding13. 3D World Model
Robot dapat membuat representasi dunia:
WALL
┌────────────────┐
│ │
│ TABLE │
│ ┌─────┐ │
│ │ CUP │ │
│ └─────┘ │
│ │
│ ROBOT → │
└────────────────┘Robot memiliki pemahaman:
Robot position
Table position
Cup position
Obstacle position
Free space14. Localization
Localization berarti:
Robot mengetahui dirinya berada di mana.
Misalnya:
Map:
┌────────────────────┐
│ │
│ TABLE │
│ │
│ R → │
│ │
└────────────────────┘Robot mengetahui:
X = 4.2 m
Y = 2.8 m
Orientation = 45°15. Mapping
Mapping berarti membuat peta lingkungan.
Robot bergerak:
Start
↓
Explore
↓
Observe
↓
Build MapHasil:
┌──────────────────────┐
│██████████████████████│
│█ █│
│█ ROOM █│
│█ █│
│█ ████ █│
│█ █│
│██████████ ██████│
└──────────────────────┘16. SLAM
SLAM:
Simultaneous Localization and Mapping
Robot melakukan dua hal secara bersamaan:
Where am I?
+
What does the map look like?Loop:
Sensor
↓
Localization
↓
Mapping
↓
Update Position
↓
Update Map
↓
RepeatSLAM merupakan salah satu konsep fundamental robotics.
17. Path Planning
Setelah mengetahui posisi dan tujuan:
Start
↓
Obstacle
↓
Obstacle
↓
GoalRobot mencari jalur.
Contoh:
S ───────┐
│
│
└──────── GRobot harus menghindari:
manusia,
meja,
dinding,
kendaraan,
objek lain.
18. Motion Planning
Path planning menentukan:
Lewat mana?
Motion planning menentukan:
Bagaimana robot menggerakkan tubuhnya?
Contoh robotic arm:
Target
●
/
/
O──O──O
Robot armSetiap joint harus bergerak dengan benar.
19. Inverse Kinematics
Misalnya kita memiliki robotic arm:
Joint 1
│
O
\
O
\
O → HandKita ingin tangan berada di:
X = 50 cm
Y = 30 cm
Z = 20 cmInverse kinematics mencari:
θ1
θ2
θ3
...agar end-effector mencapai posisi tersebut.
20. Robot Control
Robot membutuhkan controller.
Contoh:
PID Controller
Target Position
↓
Error
↓
Controller
↓
Motor
↓
Robot Position
↓
FeedbackJika robot belum mencapai target:
Error > 0controller memperbaiki gerakan.
21. Reinforcement Learning untuk Robot
Robot dapat belajar dari reward.
State
↓
Action
↓
Environment
↓
Reward
↓
New StateContoh:
Robot berjalan menuju target.
Mendekati target → +reward
Menabrak → -reward
Jatuh → -reward besar
Sampai tujuan → +reward besarRobot belajar strategi.
22. Imitation Learning
Daripada robot belajar semuanya sendiri:
Manusia memperlihatkan bagaimana melakukan tugas.
Contoh:
Manusia menggerakkan robotic arm:
Ambil gelas
↓
Angkat
↓
Pindahkan
↓
LetakkanRobot merekam:
Observation
+
ActionKemudian belajar menirukan.
23. Vision-Language-Action
Ini merupakan konsep penting dalam embodied AI.
AI tidak hanya memahami gambar atau bahasa.
AI menghubungkan:
Vision
+
Language
+
ActionContoh user:
"Ambil botol merah di atas meja."
Robot:
Language
↓
Task Understanding
↓
Vision
↓
Find red bottle
↓
Planning
↓
Motion
↓
Grasp
↓
Pick up24. Multimodal Robot
Robot modern dapat menerima:
Camera
Microphone
Touch
Depth
Force
LanguageKemudian menggabungkan semuanya.
Vision
│
Audio ───────┐
│ │
Touch ───────┼→ Multimodal AI
│ │
Language ────┘
↓
Planning
↓
Action25. World Model
World model adalah representasi internal mengenai dunia.
Robot mencoba memperkirakan:
Where am I?
What objects exist?
How are they moving?
What happens if I act?Misalnya:
Robot sees cup near table edge.Model memperkirakan:
If robot pushes cup
→ cup may fall.Jadi robot dapat melakukan planning sebelum bertindak.
26. Predictive Intelligence
Robot tidak hanya:
melihat kondisi sekarang.
Tetapi mencoba memprediksi:
apa yang terjadi berikutnya?
Contoh:
Ball moving →
↓
Predicted trajectory
↓
Robot moves
↓
Catch ballIni membutuhkan:
perception,
dynamics,
prediction,
planning.
27. Sim-to-Real
Melatih robot langsung di dunia nyata mahal dan berisiko.
Maka digunakan simulasi.
Simulation
↓
Train AI
↓
Test
↓
Transfer
↓
Real RobotContoh:
Robot belajar berjalan di lingkungan virtual.
Kemudian policy dipindahkan ke robot nyata.
Masalahnya:
Simulation ≠ RealityPerbedaan disebut:
Sim-to-Real Gap.
28. Digital Twin untuk Robotics
Digital twin:
Real Robot
↕
Virtual RobotData real digunakan untuk memperbarui model virtual.
Simulasi digunakan untuk menguji:
gerakan,
collision,
beban,
kondisi lingkungan,
strategi.
29. Robot Manipulation
Manipulation berarti robot mampu menggunakan tangannya.
Contoh:
Pick
Place
Push
Pull
Rotate
Open
Close
Insert
AssemblePipeline:
Object Detection
↓
Pose Estimation
↓
Grasp Planning
↓
Motion Planning
↓
Control
↓
Grasp30. Grasp Planning
Robot harus menentukan:
Di mana harus memegang benda?
Contoh:
CUP
┌───────┐
│ │
│ │
└───────┘
↑
GRASPRobot harus mempertimbangkan:
bentuk,
berat,
permukaan,
posisi,
gaya,
orientasi.
31. Humanoid Robotics
Humanoid robot memiliki:
head,
torso,
arms,
hands,
legs,
feet.
Tujuan utamanya adalah menggunakan lingkungan yang dirancang untuk manusia.
Contoh:
O
/|\
/ | \
|
/ \
/ \Robot harus mampu:
berjalan,
berdiri,
menjaga keseimbangan,
mengambil objek,
menggunakan alat,
berinteraksi dengan manusia.
32. Balance Control
Robot humanoid menghadapi masalah:
Gravity + movement.
Jika center of mass keluar dari support area:
Robot
O
/|\
/ \
──────
Supportrobot dapat jatuh.
Maka dibutuhkan:
balance control,
force sensing,
gait planning,
whole-body control.
33. Autonomous Navigation
Robot mobile harus dapat:
Know position
↓
Know destination
↓
Build map
↓
Detect obstacles
↓
Plan path
↓
Move
↓
Avoid obstaclesContoh:
START
│
▼
├───────┐
│ │
│ ███ │
│ ███ └──────┐
│ │
└──────────────┼──→ GOAL34. Human-Robot Interaction
Robot harus memahami manusia.
Contoh:
Human:
"Ambilkan botol."Robot perlu memahami:
siapa yang berbicara,
objek apa,
lokasi objek,
apakah aman,
apakah boleh mengambil,
ke mana membawa.
35. Physical AI Safety
Safety robotics sangat penting.
Gunakan:
Sensor
↓
Collision Detection
↓
Safety Controller
↓
Motion Controller
↓
MotorSafety controller dapat menghentikan robot sebelum terjadi tabrakan.
36. Emergency Stop
Robot fisik harus memiliki:
Emergency Stop / E-Stop
Contoh:
Emergency
↓
STOP
↓
Motor disabledJangan mengandalkan AI saja untuk keselamatan fisik.
Safety-critical functions sebaiknya memiliki mekanisme independen.
37. AI Robotics Security
Robot juga dapat diserang secara digital.
Ancaman:
sensor spoofing,
malicious commands,
unauthorized access,
network attack,
model manipulation,
data poisoning.
Maka:
Robot
↓
Authentication
↓
Authorization
↓
Secure Communication
↓
Monitoring38. Embodied AI Architecture
Arsitektur tingkat tinggi:
HUMAN
│
▼
LANGUAGE
│
▼
┌──────────────┐
│ AI BRAIN │
└──────┬───────┘
│
┌──────────┼──────────┐
▼ ▼ ▼
Perception Memory Planning
│ │ │
└──────────┼──────────┘
▼
WORLD MODEL
│
▼
MOTION PLAN
│
▼
SAFETY LAYER
│
▼
CONTROL
│
▼
ACTUATORS
│
▼
PHYSICAL WORLD
│
▼
SENSORS
│
└──────────→ AI39. Hubungan dengan Level Sebelumnya
Level 27:
Frontier AILevel 28:
General IntelligenceLevel 29:
Safety + AlignmentLevel 30:
Embodied IntelligenceJadi kemampuan berkembang:
Think
↓
Reason
↓
Plan
↓
Stay Safe
↓
Act in Physical World40. PROJECT LEVEL 30
Autonomous Robot Assistant
Buat rancangan sistem robot yang dapat:
"Pergi ke meja, cari botol merah, ambil botol tersebut, lalu berikan kepada manusia."
Input
Voice Command
Camera
Depth
IMUAI
Language Understanding
↓
Task Planner
↓
Vision
↓
World Model
↓
Motion PlannerRobot
Navigation
↓
Obstacle Avoidance
↓
Arm Movement
↓
Grasp
↓
TransportSafety
Collision Detection
↓
Emergency Stop
↓
Human Detection
↓
Safety Controller41. Contoh Workflow Lengkap
User:
"Ambilkan botol merah."
Robot:
VOICE
↓
Speech Recognition
↓
Language Model
↓
Task:
GET RED BOTTLE
↓
Camera
↓
Object Detection
↓
Red Bottle Found
↓
Depth Estimation
↓
3D Position
↓
Path Planning
↓
Navigation
↓
Arm Planning
↓
Grasp Planning
↓
Safety Check
↓
Grab
↓
Verify
↓
Return
↓
Give BottleRobot kemudian melakukan:
Success VerificationApakah botol benar-benar berhasil diambil?
Jika gagal:
Re-plan42. Autonomous Robot Loop
Sistem ideal:
OBSERVE
↓
UNDERSTAND
↓
PLAN
↓
SAFETY CHECK
↓
ACT
↓
VERIFY
↓
LEARN
↓
OBSERVE AGAINIni adalah bentuk embodied agent.
43. Teknologi yang Perlu Dipelajari
Untuk menuju robotics profesional:
Programming
Python
C++
Linux
AI
Deep Learning
Computer Vision
Transformers
Reinforcement Learning
Imitation Learning
Robotics
ROS/ROS 2
SLAM
Navigation
Motion Planning
Control Theory
Kinematics
Hardware
Camera
LiDAR
IMU
Motors
Encoders
Robotic Arm
Microcontrollers
Simulation
Robotics simulation
Physics simulation
Digital twin
Sim-to-real
44. Skill Checklist Level 30
Perception
Camera
Depth
LiDAR
IMU
Object Detection
Object Tracking
3D perception
Sensor Fusion
Robotics
Localization
Mapping
SLAM
Path Planning
Motion Planning
Kinematics
Inverse Kinematics
Robot Control
AI
Reinforcement Learning
Imitation Learning
Vision-Language-Action
World Models
Predictive Planning
Multimodal AI
Physical AI
Manipulation
Grasping
Navigation
Humanoid Robotics
Human-Robot Interaction
Sim-to-Real
Safety
Collision Detection
Safety Controller
Emergency Stop
Robot Security
Human Safety
45. Target Kompetensi
Setelah Level 30, Anda mulai memiliki pemahaman sebagai:
Embodied AI Engineer
dan dapat berkembang menuju:
Robotics AI Architect
Anda tidak hanya memahami:
bagaimana AI berpikir,
tetapi juga:
bagaimana AI melihat dunia, memahami dunia, merencanakan tindakan, dan melakukan tindakan secara fisik.
46. NEXT LEVEL
Setelah robotics, kita akan masuk ke salah satu bagian paling menarik:
LEVEL 31 — AI SCIENTIFIC DISCOVERY & AUTOMATED RESEARCH
Di Level 31 kita akan mempelajari bagaimana AI dapat membantu proses:
Pertanyaan ilmiah
↓
Hipotesis
↓
Eksperimen
↓
Pengumpulan data
↓
Analisis
↓
Simulasi
↓
Kesimpulan
↓
Hipotesis baru
↓
Eksperimen berikutnyaTermasuk:
AI Scientist,
autonomous research agent,
automated hypothesis generation,
scientific reasoning,
AI + simulation,
AI + mathematics,
AI + chemistry,
AI + biology,
AI + physics,
automated experiment design,
laboratory automation,
scientific literature mining,
research agents,
AI discovery loop,
dan closed-loop scientific discovery.
Target akhirnya adalah memahami bagaimana AI dapat berubah dari sekadar alat analisis menjadi asisten penelitian yang mampu menjalankan siklus penelitian secara otomatis dengan pengawasan manusia.
0 Comments:
Posting Komentar