Apa itu GPU? Mengapa AI Membutuhkan GPU?
Kartu grafis — perangkat keras yang mempercepat komputasi paralel, menjadi 'tulang punggung' setiap model AI modern.
GPU (Graphics Processing Unit — unit pemroses grafis) awalnya dibuat untuk merender game 3D, tetapi ternyata arsitekturnya juga sangat cocok untuk training dan menjalankan AI. Inilah alasan Nvidia menjadi perusahaan terpenting di industri teknologi pada dekade 2020-an.
Mengapa GPU cocok untuk AI?
CPU dirancang untuk menjalankan sedikit task kompleks dengan cepat dan secara berurutan. GPU dirancang untuk menjalankan ribuan task sederhana secara paralel.
Neural network adalah jutaan perkalian matriks sederhana — tepat menjadi “spesialisasi” GPU.
CPU: 4-32 core kuat, untuk task kompleks
GPU: 10,000+ core lebih lemah, jalan bersamaanMelatih satu LLM di CPU: berbulan-bulan. Di cluster GPU: beberapa minggu.
GPU AI populer (2026)
| GPU | Memory | Estimasi harga | Tujuan |
|---|---|---|---|
| Nvidia H200 | 141GB | ~$30k-40k | Training + Inference data center |
| Nvidia B200 (Blackwell) | 192GB | ~$50k+ | Training model frontier |
| Nvidia A100 | 40-80GB | ~$8k-15k | Generasi lama, masih populer |
| Nvidia RTX 4090 | 24GB | ~$1.6k | Inference lokal, hobbyist |
| AMD MI300X | 192GB | ~$15k | Pesaing H100, mulai populer |
| Apple M4 Max | unified 128GB | terintegrasi di Mac | Inference lokal untuk developer |
Bedakan training vs Inference
- Training: butuh GPU sangat kuat, RAM besar, berjalan berminggu-minggu sampai bulan. Mahal.
- Inference: menjalankan model yang sudah di-training untuk menjawab user. Lebih hemat, tetapi harus di-scale sesuai jumlah user.
Training: cluster H100/B200. Inference: bisa H100, bisa kartu yang lebih murah (L4, T4) atau bahkan Apple M-chip untuk LLM lokal.
Mengapa Nvidia “mendominasi”?
- CUDA — software stack proprietary, sebagian besar AI framework (PyTorch, TF) dioptimasi untuk CUDA terlebih dahulu
- Ekosistem library yang dalam (cuDNN, NCCL, TensorRT)
- Networking (NVLink) memungkinkan menggabungkan banyak GPU menjadi cluster besar
- AMD dan Intel sedang mengejar tetapi masih jauh
Apakah pengguna akhir perlu tahu soal GPU?
- Pakai ChatGPT, Claude lewat web/app: TIDAK. Provider yang urus.
- Menjalankan LLM lokal (Ollama, LM Studio): YA. Minimal RTX 3060 12GB, idealnya RTX 4090 atau Mac M-series.
- Membangun produk AI: sebaiknya paham dasarnya untuk memperkirakan biaya Inference.