Microsoft Maia 300: Cuộc đua AI chip đang chuyển từ FLOPS sang token trên mỗi megawatt

Một chip có thể thực hiện nhiều phép tính nhưng hệ thống AI chưa chắc tạo được nhiều câu trả lời hữu ích hơn với cùng ngân sách điện. Phần dữ liệu di chuyển, bộ nhớ và cách phần mềm sử dụng phần cứng cùng quyết định kết quả suy luận.

Trong công bố Maia 300 ngày 12/10/2026, Microsoft dự kiến hệ thống tạo được nhiều token hơn 40% trên mỗi megawatt so với các hệ thống GPU dẫn đầu. Hãng lên kế hoạch bắt đầu triển khai từ năm 2027. Đây là kỳ vọng do Microsoft công bố, chưa phải kết quả kiểm chứng độc lập cho mọi tải.

FLOPS và token trả lời hai câu hỏi

FLOPS biểu thị số phép toán dấu phẩy động mỗi giây. Nó hữu ích khi mô tả năng lực tính toán, nhưng không tự chuyển thành tốc độ của một ứng dụng AI. Cùng phần cứng có thể được sử dụng khác nhau bởi model và phần mềm.

Token là đơn vị model dùng để xử lý và tạo nội dung. Thông lượng token gắn với một công việc gần người dùng hơn, nhưng vẫn cần xác định loại token, model, độ dài ngữ cảnh và điều kiện chạy.

Nếu chỉ nói “nhiều token hơn”, người đọc chưa biết các token có phục vụ cùng yêu cầu chất lượng hay không. Một hệ thống tạo nhiều văn bản sai không có giá trị tương đương hệ thống hoàn thành đúng tác vụ.

Megawatt là công suất, không phải hóa đơn điện

Công suất cho biết tốc độ sử dụng năng lượng. Để so sánh hiệu quả theo token và công suất, cần xác định thông lượng trong cùng điều kiện, chẳng hạn token mỗi giây trên công suất hệ thống. Không nên đọc một megawatt thành một lượng điện đã tiêu thụ trong cả kỳ.

Điện năng còn phụ thuộc thời gian vận hành. Hai hệ thống có cùng công suất nhưng hoàn tất tác vụ trong thời gian khác nhau sẽ có lượng điện sử dụng khác nhau. Vì vậy, hiệu quả triển khai phải xét cả thời gian và kết quả công việc.

Cần biết phạm vi công suất được tính: chỉ phần tăng tốc hay cả bộ nhớ, mạng và phần hạ tầng liên quan. Nếu phạm vi khác nhau, một tỷ lệ đẹp chưa chắc là so sánh ngang hàng.

Vì sao Microsoft nói về hệ thống?

Bài giải thích kiến trúc Maia 300 đặt phần mềm, silicon, rack, mạng và trung tâm dữ liệu trong cách thiết kế phối hợp. Hãng nhấn mạnh vị trí dữ liệu, bộ nhớ và giảm di chuyển trong suy luận dài, nhiều bước.

Cách tiếp cận ấy có logic: một bộ tính toán chỉ hữu ích khi có dữ liệu để làm việc và kết quả có thể chuyển tới bước tiếp theo. Tăng riêng năng lực tính toán không xóa được phần thời gian chờ ở nơi khác.

Có thể hình dung dây chuyền có một trạm xử lý rất nhanh nhưng trạm cấp nguyên liệu chậm. Cải thiện trạm xử lý chưa làm toàn dây chuyền nhanh tương ứng. Đây là phép so sánh về giới hạn hệ thống, không mô tả một benchmark cụ thể.

“Tới 7 lần” ở rack không phải ở mỗi chip

Microsoft nêu mức thông lượng token cấp rack tới bảy lần Maia 200 với cấu hình đầy đủ 96 bộ tăng tốc. Con số mô tả một cấu hình hệ thống và một mốc so sánh cụ thể, không phải lời khẳng định mỗi chip tăng tốc bảy lần.

Số lượng bộ tăng tốc, cách phối hợp và điều kiện sử dụng đều có thể góp phần vào thông lượng tổng. Tương tự, tỷ lệ 40% so với hệ thống GPU và tỷ lệ so với Maia 200 là hai so sánh khác nhau, không được thay mốc cho nhau.

Để đánh giá ứng dụng, cần giữ cùng model, đầu vào, chất lượng và yêu cầu độ trễ. Thông lượng lớn trong một lô nhiều yêu cầu chưa chắc cho trải nghiệm nhanh hơn cho từng người dùng.

Cuộc đua vẫn cần thước đo hoàn thành công việc

FLOPS không trở nên vô nghĩa khi xuất hiện chỉ số token. Hai thước đo phục vụ các tầng đánh giá khác nhau. Điều thay đổi là nhu cầu nối năng lực phần cứng với chi phí cung cấp dịch vụ AI.

Khi Maia 300 triển khai, dữ liệu đáng theo dõi là thông lượng đáp ứng cùng chất lượng, độ trễ thực tế, mức sử dụng và điện năng trên công việc hoàn tất. Những số liệu ấy sẽ cho biết cải tiến ở cấp hệ thống chuyển thành lợi ích cho dịch vụ tới đâu.

Ảnh chip Maia 300: Microsoft Azure. Các tỷ lệ hiệu quả và kế hoạch triển khai trong bài là công bố của Microsoft, không phải phép đo độc lập.