GPU là gì? Vì sao AI cần GPU?

GPU (Graphics Processing Unit — bộ xử lý đồ họa) ban đầu sinh ra để render game 3D, nhưng kiến trúc của nó hóa ra cũng cực hợp với việc train và chạy AI. Đây là lý do Nvidia trở thành công ty quan trọng nhất ngành công nghệ những năm 2020.

Vì sao GPU phù hợp với AI?

CPU thiết kế để chạy ít task phức tạp, nhanh và tuần tự. GPU thiết kế để chạy hàng nghìn task đơn giản song song.

Mạng neural là hàng triệu phép nhân ma trận đơn giản — đúng “chuyên môn” của GPU.

CPU:  4-32 lõi mạnh, chạy task phức tạp
GPU:  10,000+ lõi yếu hơn, chạy đồng thời

Train một LLM trên CPU: vài tháng. Trên GPU cluster: vài tuần.

Các GPU AI phổ biến (2026)

GPU	Memory	Giá ước tính	Mục đích
Nvidia H200	141GB	~$30k-40k	Train + inference data center
Nvidia B200 (Blackwell)	192GB	~$50k+	Frontier model training
Nvidia A100	40-80GB	~$8k-15k	Generation cũ, vẫn phổ biến
Nvidia RTX 4090	24GB	~$1.6k	Inference local, hobbyist
AMD MI300X	192GB	~$15k	Đối thủ H100, gaining traction
Apple M4 Max	unified 128GB	trong máy Mac	Inference local cho dev

Phân biệt training vs inference

• Training: cần GPU cực mạnh, RAM nhiều, làm hàng tuần - tháng. Đắt.
• Inference: chạy model đã train để trả lời user. Ít tốn hơn, nhưng phải scale theo lượng user.

Training: H100/B200 cluster. Inference: có thể là H100, có thể là card rẻ hơn (L4, T4) hoặc thậm chí Apple M-chip cho local LLM.

Vì sao Nvidia “thống trị”?

• CUDA — software stack độc quyền, phần lớn AI framework (PyTorch, TF) tối ưu cho CUDA trước
• Hệ sinh thái library sâu (cuDNN, NCCL, TensorRT)
• Networking (NVLink) cho phép nối nhiều GPU thành cluster lớn
• AMD và Intel đang đuổi theo nhưng còn xa

Người dùng cuối có cần biết GPU không?

• Dùng ChatGPT, Claude qua web/app: KHÔNG. Provider lo hết.
• Chạy LLM local (Ollama, LM Studio): CÓ. Cần ít nhất RTX 3060 12GB, lý tưởng RTX 4090 hoặc Mac M-series.
• Build sản phẩm AI: nên hiểu cơ bản để estimate chi phí inference.

Liên quan

• Training
• Inference