“AI đã học xong”, bài toán tiếp theo là cho hàng tỷ agent “suy nghĩ” đủ rẻ: Cuộc đua chip inference đang hình thành

Trong vài năm đầu của làn sóng AI tạo sinh, câu hỏi lớn của ngành chip là làm sao huấn luyện model ngày càng lớn. Nhưng khi model đã được huấn luyện và bắt đầu phục vụ người dùng, một hóa đơn khác mới xuất hiện: mỗi câu trả lời, mỗi lần gọi công cụ, mỗi bước lập kế hoạch và mỗi token mà một AI agent sinh ra đều cần được tính toán lại trong thời gian thực.

“AI đã học xong” vì thế chỉ là cách nói tắt. Các model vẫn tiếp tục được huấn luyện và hậu huấn luyện. Điều đang thay đổi là tỷ trọng tài nguyên: khi agentic AI chuyển từ demo sang workload sản xuất, inference — giai đoạn chạy model để tạo ra kết quả — đang trở thành một thị trường phần cứng riêng, với yêu cầu khác đáng kể so với training.

Dấu hiệu rõ nhất xuất hiện ngay trong các roadmap 2026. Google giới thiệu TPU 8i tối ưu riêng cho inference và cho biết một pod 1.152 chip được thiết kế để đạt throughput và độ trễ đủ cho hàng triệu agent chạy đồng thời. NVIDIA đưa Groq 3 LPX vào hệ Vera Rubin để tăng tốc sinh token. AMD đang viết lại serving stack quanh KV cache. Cerebras tiếp tục theo đuổi wafer-scale computing cho token tốc độ cao. Và ngày 10/9, d-Matrix công bố chip inference Raptor của họ sẽ cắm trực tiếp vào kiến trúc rack NVIDIA thông qua NVLink Fusion.

Một agent tiêu thụ compute khác chatbot như thế nào?

Chatbot truyền thống thường nhận một prompt, tạo một câu trả lời rồi dừng. Agent thì không. Nó có thể đọc tài liệu, gọi API, mở trình duyệt, viết code, kiểm tra kết quả, sửa lỗi, gọi thêm agent con và lặp lại quá trình nhiều lần trước khi trả lời cuối cùng.

NVIDIA mô tả một prompt agentic có thể khởi động một chuỗi hàng nghìn bước reasoning, retrieval, tool use và generation. Cerebras, trong thông báo hợp tác với AWS hồi tháng 3, ước tính các tác vụ agentic coding có thể tạo lượng token cao hơn khoảng 15 lần mỗi truy vấn so với trải nghiệm hội thoại thông thường. Con số này là ước tính theo workload của hãng, không phải tỷ lệ cố định cho mọi agent, nhưng nó cho thấy vấn đề kinh tế đang dịch chuyển: một người dùng có thể kích hoạt lượng inference lớn hơn nhiều so với một lượt chat.

Google cung cấp một thước đo khác về quy mô. Tại Cloud Next 2026, hãng cho biết các model first-party của họ xử lý hơn 16 tỷ token mỗi phút thông qua API trực tiếp của khách hàng, tăng từ 10 tỷ token mỗi phút trong quý trước. Cùng lúc, Google giới thiệu TPU 8i với 3 lần SRAM on-chip so với thế hệ trước và nhấn mạnh mục tiêu chạy đồng thời hàng triệu agent với chi phí hợp lý.

Chưa có bằng chứng rằng ngành hiện đã vận hành hàng tỷ agent độc lập cùng lúc. Nhưng nếu phần mềm tiếp tục dịch từ “một người hỏi một chatbot” sang “mỗi người, mỗi quy trình và mỗi dịch vụ có nhiều agent”, bài toán hàng tỷ agent trở thành một câu hỏi hạ tầng thực tế: làm thế nào để lượng inference đó đủ rẻ về điện, bộ nhớ và silicon.

Thước đo mới không chỉ là FLOPS

Training thích những hệ thống có khả năng xử lý khối lượng ma trận khổng lồ theo batch lớn. Inference tương tác thì khắt khe hơn ở một hướng khác: người dùng quan tâm hệ thống bắt đầu trả lời nhanh tới đâu, mỗi giây sinh được bao nhiêu token, có giữ được tốc độ khi context dài lên hay không, và cuối cùng mỗi triệu token tốn bao nhiêu tiền.

Đó là lý do các hãng bắt đầu nói nhiều về tokens per second, time to first token, throughput per watt, memory bandwidth và cost per token. Một chip có năng lực tính toán lý thuyết rất cao vẫn có thể không đạt hiệu quả tốt nếu model liên tục phải chờ dữ liệu được chuyển từ bộ nhớ.

Với agent, vấn đề bộ nhớ còn khó hơn vì context thường dài dần qua từng bước. Trong Transformer, hệ thống thường lưu key-value cache — KV cache — để không phải tính lại toàn bộ token cũ mỗi lần tạo token mới. AMD cho biết trong các workload agentic coding, kinh tế serving ngày càng bị chi phối bởi KV cache: cache có được tái sử dụng hay không, đặt ở đâu khi HBM không đủ, và scheduler có phân phối tài nguyên đúng cách hay không.

Prefill và decode đang bắt đầu cần hai kiểu phần cứng khác nhau

Inference của một LLM có thể tách tương đối thành hai giai đoạn. Prefill xử lý prompt và context ban đầu; đây thường là phần có tính song song cao và cần nhiều compute. Decode tạo token từng bước một; ở đây độ trễ bộ nhớ và tốc độ truy cập trọng số có thể quan trọng hơn khả năng nhồi thêm phép toán ma trận.

Sự khác biệt này đang tạo ra một hướng kiến trúc mới: không nhất thiết bắt một loại accelerator làm tất cả. d-Matrix vừa công bố Raptor, chip inference thế hệ kế tiếp dùng kiến trúc memory-centric với DRAM và SRAM compute xếp chồng theo cấu trúc 3D. Trong hệ rack dự kiến tích hợp với NVIDIA, GPU Vera Rubin có thể đảm nhiệm prefill còn Raptor XPU xử lý decode nhạy với latency.

Đây là một chi tiết kỹ thuật nhưng phản ánh thay đổi lớn của thị trường. Nếu prefill và decode có profile tài nguyên khác nhau, tối ưu chúng bằng phần cứng khác nhau có thể hiệu quả hơn việc dùng cùng một GPU cho toàn bộ pipeline. d-Matrix dự kiến Raptor tích hợp trong rack NVIDIA MGX sẽ khả dụng ban đầu vào quý IV/2027; chip này vẫn đang hướng tới tape-out trước cuối 2026, nên đây chưa phải sản phẩm đã triển khai thương mại rộng rãi.

NVIDIA đang biến “inference factory” thành một hệ thống nhiều loại chip

NVIDIA vẫn có vị thế rất mạnh nhờ GPU, CUDA, networking và hệ sinh thái phần mềm. Nhưng chính roadmap Vera Rubin cho thấy hãng không còn mô tả AI infrastructure như một dãy GPU đồng nhất.

Vera Rubin kết hợp GPU Rubin, CPU Vera, NVLink switch, BlueField DPU, networking Spectrum-X và Groq 3 LPX trong cùng kiến trúc rack/pod. NVIDIA tuyên bố nền tảng này đạt throughput agent ở quy mô lớn cao hơn 10 lần so với Grace Blackwell; đây là số liệu do NVIDIA công bố và phụ thuộc workload, cấu hình cũng như phần mềm.

Groq 3 LPX đáng chú ý vì nó xuất phát từ một công ty đã tập trung vào inference từ trước khi “agentic AI” trở thành từ khóa phổ biến. Sau thỏa thuận cấp phép công nghệ giữa NVIDIA và Groq cuối năm 2025, LPX hiện trở thành một thành phần trực tiếp của Vera Rubin. Trong benchmark được NVIDIA công bố với Gemma 4 31B và context 100.000 token, hệ thống đạt khoảng 3.400 output token/giây. Đây không phải con số có thể áp dụng cho mọi model, nhưng nó cho thấy mục tiêu thiết kế: đưa latency của reasoning dài xuống mức tương tác.

Google, AMD và Cerebras chọn ba con đường khác

Google có lợi thế của một hyperscaler tự thiết kế silicon, compiler, runtime và data center. TPU 8i được tối ưu riêng cho inference, kết nối 1.152 chip trong một pod và tăng SRAM on-chip để giảm chi phí di chuyển dữ liệu. Thiết kế này song song với TPU 8t tối ưu cho training, cho thấy Google đang tách hai workload ngay từ cấp chip thay vì dùng một accelerator duy nhất cho cả hai.

AMD vẫn theo đuổi GPU đa dụng hơn nhưng đẩy mạnh bộ nhớ. Instinct MI455X có 432 GB HBM4 và băng thông bộ nhớ công bố 23,3 TB/s mỗi GPU. Đồng thời, công ty đang tối ưu lại software serving cho agent, đặc biệt quanh quản lý KV cache, prefix reuse và scheduling — những yếu tố có thể quyết định chi phí thực tế nhiều hơn thông số FLOPS trên bảng dữ liệu.

Cerebras đi xa nhất theo hướng khác biệt kiến trúc. CS-4 dùng ba Wafer-Scale Engine trong một hệ rack và được hãng quảng bá có thể đạt inference nhanh hơn tới 30 lần so với một số hệ GPU, đồng thời tăng throughput trên mỗi watt tới 10 lần so với CS-3. Đây là benchmark và tuyên bố của chính Cerebras; hiệu quả thực tế thay đổi theo model, batch, context và cấu hình. Điểm đáng quan tâm hơn con số tuyệt đối là cách Cerebras tối ưu toàn bộ wafer, I/O, nguồn và làm mát quanh một mục tiêu: sinh token nhanh.

Cuộc đua mới là “token economics”

Trong training, người mua có thể chấp nhận một job chạy hàng giờ hoặc hàng tuần nếu nó cho model tốt hơn. Inference phục vụ người dùng thì khác. Một agent chậm vài giây ở mỗi bước có thể biến workflow 100 bước thành trải nghiệm khó sử dụng. Một agent đắt thêm vài phần nghìn USD ở mỗi bước có thể trở thành chi phí rất lớn khi nhân lên hàng triệu phiên mỗi ngày.

Do đó, lợi thế phần cứng sẽ không chỉ đến từ chip nào có nhiều FLOPS nhất. Hệ thắng có thể là hệ giữ model và KV cache gần compute hơn, giảm dữ liệu phải di chuyển, tách workload đúng chỗ, tái sử dụng context tốt hơn và duy trì throughput cao ở latency thấp.

Điều này cũng giải thích vì sao d-Matrix chọn tham gia NVLink Fusion thay vì cố xây một hệ sinh thái rack hoàn toàn độc lập. Một accelerator inference chuyên dụng có thể mạnh ở decode, nhưng khách hàng hyperscale còn cần CPU, networking, storage, orchestration và supply chain. Trong giai đoạn này, cuộc đua không chỉ là “GPU đối đầu ASIC”; nó còn là ai có thể ghép nhiều loại silicon thành một hệ thống phục vụ token với chi phí thấp nhất.

Hàng tỷ agent vẫn là giả thuyết, nhưng hướng đầu tư đã rất thật

Chưa ai chứng minh rằng nền kinh tế sẽ cần hàng tỷ agent hoạt động đồng thời, và cũng chưa rõ mô hình kinh doanh nào đủ giá trị để trả cho lượng compute đó. Agent hiện vẫn mắc lỗi, cần giám sát và thường tiêu tốn nhiều token cho những bước không tạo thêm giá trị. Cải tiến model, speculative decoding, caching, quantization và model nhỏ chuyên dụng có thể giảm nhu cầu phần cứng đáng kể.

Nhưng hướng đi của ngành chip đã thay đổi đủ rõ để không cần chờ kịch bản hàng tỷ agent thành hiện thực. Google đang tách chip training và inference. NVIDIA đang tích hợp accelerator chuyên dụng cho token generation. AMD thiết kế serving quanh memory hierarchy và KV cache. Cerebras tối ưu wafer-scale cho tốc độ token. d-Matrix đặt cược rằng decode đáng có một loại silicon riêng.

Ở thế hệ AI đầu tiên, câu hỏi lớn là ai có đủ GPU để huấn luyện model lớn nhất. Với agentic AI, câu hỏi khó hơn có thể là: ai có thể khiến một model đã đủ thông minh “suy nghĩ” hàng nghìn bước, cho hàng triệu người dùng, mà chi phí mỗi nhiệm vụ vẫn đủ thấp để trở thành phần mềm phổ thông.

Nguồn: Google Cloud Next 2026; NVIDIA Vera Rubin; AMD về serving cho agentic AI; Cerebras CS-4; d-Matrix Raptor và NVIDIA NVLink Fusion.