ByteDance được cho là nhắm tới mô hình AI 10 nghìn tỷ tham số: Cuộc đua scale bước sang cấp độ mới

Cuộc đua xây dựng mô hình AI lớn nhất thế giới có thể sắp bước sang một cột mốc mới. Theo Financial Times, ByteDance đang pre-train một mô hình có quy mô có thể lên tới 10 nghìn tỷ tham số — lớn hơn nhiều so với các mô hình mở hàng đầu hiện nay và đủ để đưa công ty mẹ của TikTok vào nhóm những phòng thí nghiệm theo đuổi hệ thống frontier có quy mô cực lớn.

Tuy nhiên, cần nhấn mạnh ngay từ đầu: đây chưa phải thông số chính thức do ByteDance công bố. Reuters dẫn lại báo cáo của Financial Times cho biết dự án vẫn ở giai đoạn pre-training, ByteDance chưa bình luận và Reuters chưa thể xác minh độc lập con số 10 nghìn tỷ tham số.

Nếu thông tin này chính xác, điều đáng chú ý không chỉ nằm ở con số “10T”. Nó cho thấy ngành AI vẫn chưa từ bỏ chiến lược scale — tăng quy mô mô hình, dữ liệu và hạ tầng tính toán — ngay cả khi nhiều cuộc thảo luận gần đây tập trung vào reasoning, agent, reinforcement learning và các kỹ thuật giúp mô hình nhỏ hoạt động hiệu quả hơn.

Nhưng một mô hình 10 nghìn tỷ tham số cũng đặt ra câu hỏi lớn hơn: AI có còn tiếp tục mạnh lên chỉ bằng cách tăng số tham số, hay ngành công nghiệp đang tiến đến một giai đoạn mà kiến trúc, dữ liệu và hiệu quả tính toán quan trọng không kém quy mô tuyệt đối?

ByteDance thực sự đang làm gì?

Financial Times đưa tin ngày 7/8/2026 rằng ByteDance đang phát triển một mô hình AI rất lớn, với quy mô cuối cùng có thể đạt tới 10 nghìn tỷ tham số. Reuters cho biết mô hình hiện vẫn trong giai đoạn pre-training, một quá trình có thể kéo dài nhiều tháng trước khi bước sang fine-tuning, alignment và các giai đoạn chuẩn bị phát hành.

Con số này đặc biệt gây chú ý khi so với các mô hình Trung Quốc đã công bố công khai. Moonshot AI giới thiệu Kimi K3 với 2,8 nghìn tỷ tham số. Nếu ByteDance thực sự đạt mức 10 nghìn tỷ, tổng số tham số sẽ lớn hơn Kimi K3 khoảng 3,6 lần.

Financial Times cũng đặt dự án cạnh những hệ thống frontier của Mỹ mà quy mô chính xác thường không được công bố. Điều đó phản ánh một vấn đề ngày càng phổ biến khi so sánh các model thế hệ mới: với nhiều hệ thống đóng, cộng đồng bên ngoài không biết chính xác số tham số, số tham số hoạt động trên mỗi token, lượng dữ liệu huấn luyện hay tổng compute đã sử dụng.

Vì thế, “10 nghìn tỷ tham số” là một chỉ dấu quan trọng về tham vọng và hạ tầng, nhưng chưa đủ để kết luận mô hình sẽ đứng ở đâu về chất lượng.

10 nghìn tỷ tham số lớn đến mức nào?

Một tham số có thể hiểu đơn giản là một giá trị số mà mạng nơ-ron học được trong quá trình huấn luyện. Các tham số cùng nhau tạo nên những phép biến đổi giúp mô hình dự đoán token tiếp theo, hiểu hình ảnh, lập luận, viết code hoặc sử dụng công cụ.

Ở thế hệ LLM đầu những năm 2020, hàng trăm tỷ tham số từng được xem là quy mô khổng lồ. Đến giữa thập niên, kiến trúc Mixture-of-Experts (MoE) giúp các nhà nghiên cứu tăng tổng số tham số lên mức nghìn tỷ mà không phải sử dụng toàn bộ chúng trong mỗi lần xử lý một token.

Với MoE, mô hình có nhiều “expert” khác nhau. Một router quyết định chỉ kích hoạt một phần nhỏ số expert cho từng token. Nhờ đó, tổng số tham số có thể rất lớn nhưng lượng tính toán thực sự cho mỗi token thấp hơn nhiều so với một mô hình dense có cùng quy mô.

ByteDance đã có kinh nghiệm rõ ràng với hướng này. Seed-Thinking-v1.5 của nhóm ByteDance Seed sử dụng kiến trúc MoE với 200 tỷ tham số tổng cộng nhưng chỉ khoảng 20 tỷ tham số được kích hoạt. Trang hạ tầng của ByteDance Seed cũng mô tả MoE là một kỹ thuật quan trọng để scale các LLM lên trên mức nghìn tỷ tham số trong khi kiểm soát chi phí tính toán.

Tuy vậy, tại thời điểm viết bài, ByteDance chưa công khai kiến trúc của model 10 nghìn tỷ tham số được Financial Times đề cập. Do đó, không nên mặc định nó sử dụng cấu hình MoE cụ thể nào hoặc bao nhiêu tham số sẽ được kích hoạt cho mỗi token.

Tổng tham số và tham số hoạt động là hai con số rất khác nhau

Đây là điểm dễ gây hiểu nhầm nhất khi đọc các thông số model hiện đại.

Một mô hình có 10 nghìn tỷ tham số tổng cộng không có nghĩa mỗi token phải chạy qua toàn bộ 10 nghìn tỷ tham số. Nếu hệ thống sử dụng sparse MoE, chỉ một phần nhỏ mạng được kích hoạt ở từng bước inference.

Ví dụ, một model MoE có thể có hàng trăm expert nhưng chỉ chọn vài expert phù hợp với mỗi token. Khi đó, tổng parameter count thể hiện capacity của hệ thống, còn active parameter count phản ánh gần hơn lượng compute cần thiết cho một bước xử lý.

Điều này khiến việc so sánh kiểu “model A có nhiều tham số gấp ba model B nên mạnh gấp ba” gần như vô nghĩa. Hiệu năng còn phụ thuộc vào kiến trúc, dữ liệu, cách routing expert, quá trình post-training, reinforcement learning, context handling, chất lượng tool use và hiệu quả của hệ thống inference.

Vì sao các hãng vẫn tiếp tục scale?

Sự nổi lên của reasoning model từng khiến nhiều người cho rằng thời đại “cứ thêm GPU và tham số” đã kết thúc. Thực tế phức tạp hơn.

Reasoning, reinforcement learning và agentic training không nhất thiết thay thế pre-training scale. Chúng thường được xây dựng trên một foundation model vốn đã có năng lực nền mạnh. Nếu pre-training tạo ra biểu diễn tốt hơn về thế giới, code, ngôn ngữ và multimodal data, các giai đoạn post-training có nhiều nguyên liệu hơn để biến thành khả năng lập luận và hành động.

Nói cách khác, cuộc đua hiện tại có thể diễn ra trên nhiều trục cùng lúc:

• Scale tham số: tăng capacity của mô hình.
• Scale dữ liệu: tăng lượng và chất lượng dữ liệu pre-training.
• Scale compute: sử dụng cụm accelerator lớn hơn và chạy lâu hơn.
• Scale reinforcement learning: cho model học qua lượng lớn bài toán có phản hồi.
• Scale inference-time compute: cho model suy nghĩ, tìm kiếm hoặc kiểm chứng lâu hơn trước khi trả lời.
• Scale agent: cho model sử dụng công cụ và thực hiện chuỗi hành động dài.

Vì vậy, một model 10 nghìn tỷ tham số không phải sự quay lại của một chiến lược cũ. Nó có thể là nền móng để các kỹ thuật reasoning và agent hoạt động ở quy mô lớn hơn.

MoE biến cuộc đua “model lớn” thành cuộc đua hạ tầng

MoE tiết kiệm FLOPs so với dense model cùng tổng parameter count, nhưng không khiến bài toán hạ tầng trở nên đơn giản.

Khi các expert được đặt trên nhiều GPU hoặc accelerator khác nhau, token phải được chuyển tới đúng thiết bị chứa expert cần thiết. Việc này tạo ra lượng giao tiếp mạng rất lớn giữa các máy.

ByteDance Seed cho biết trong các cấu hình MoE phổ biến, giao tiếp giữa thiết bị có thể chiếm phần đáng kể thời gian thực thi. Nhóm đã phát triển các kỹ thuật như expert parallelism, communication-computation overlap và framework VeOmni để giúp huấn luyện các mô hình đa phương thức và MoE trên cụm phân tán hiệu quả hơn.

Ở quy mô 10 nghìn tỷ tham số, vấn đề không chỉ là “có bao nhiêu GPU”. Hệ thống phải đồng thời giải quyết:

• phân phối hàng nghìn tỷ trọng số qua một cụm lớn;
• đảm bảo router không làm một số expert quá tải trong khi expert khác nhàn rỗi;
• giảm độ trễ khi token di chuyển giữa các máy;
• checkpoint một model cực lớn mà không làm gián đoạn huấn luyện quá lâu;
• khôi phục khi một phần cụm gặp lỗi;
• duy trì throughput đủ cao để chi phí huấn luyện không vượt khỏi kiểm soát.

Do đó, nếu ByteDance hoàn thành thành công một model 10 nghìn tỷ tham số, thành tựu đáng kể không chỉ nằm trong kiến trúc AI mà còn ở distributed systems.

ByteDance đang xây một hệ sinh thái AI rộng hơn TikTok

Dự án model lớn cũng phù hợp với chiến lược AI ngày càng rộng của ByteDance. Financial Times cho biết công ty đã tăng mạnh đầu tư vào nghiên cứu, trung tâm dữ liệu và đội ngũ AI dưới tổ chức Seed. ByteDance đồng thời có sản phẩm AI tiêu dùng Doubao, nền tảng cloud Volcano Engine, các model tạo video như Seedance và hoạt động nghiên cứu hạ tầng riêng.

Điều này giúp ByteDance có một lợi thế chiến lược đáng chú ý: họ không chỉ xây model để cạnh tranh benchmark, mà có nhiều kênh để đưa AI vào sản phẩm tiêu dùng, sáng tạo nội dung và dịch vụ doanh nghiệp.

Ở chiều ngược lại, tham vọng model cực lớn cũng làm tăng nhu cầu accelerator, điện năng, hạ tầng mạng và vốn. Đây là nơi cuộc cạnh tranh AI giữa Trung Quốc và Mỹ không còn chỉ là cuộc đua thuật toán, mà ngày càng gắn với chuỗi cung ứng chip và khả năng xây dựng data center quy mô lớn.

10 nghìn tỷ tham số không đồng nghĩa 10 nghìn tỷ tham số “được dùng”

Khi một con số lớn xuất hiện, cách đọc đúng nhất là hỏi thêm ít nhất bốn câu:

1. Đây là dense hay MoE?
2. Bao nhiêu tham số được kích hoạt trên mỗi token?
3. Model được huấn luyện trên bao nhiêu token và chất lượng dữ liệu ra sao?
4. Chi phí inference và hiệu năng thực tế trên workload thật như thế nào?

Hai model có cùng tổng số tham số có thể có profile rất khác nhau. Một model có routing tốt, active parameter thấp và expert chuyên môn hóa hiệu quả có thể vừa có capacity lớn vừa giữ chi phí inference ở mức chấp nhận được. Một thiết kế kém tối ưu có thể gặp bottleneck giao tiếp và không thu được lợi ích tương xứng với độ lớn.

Vì vậy, nếu ByteDance công bố model sau khi pre-training kết thúc, thông số đáng quan tâm không chỉ là “10T” mà còn là active parameters, số expert, routing strategy, training tokens và benchmark thực tế.

Scale có còn tạo ra năng lực mới?

Đây là câu hỏi lớn nhất của toàn ngành.

Trong nhiều thế hệ model, việc tăng compute, dữ liệu và quy mô đã tạo ra cải thiện khá đều về loss và nhiều benchmark. Nhưng khi model ngày càng lớn, chi phí biên tăng lên và các nhà phát triển phải tìm cách biến thêm compute thành năng lực có giá trị thực.

Một model lớn hơn có thể học được nhiều mẫu hơn và chứa nhiều capacity hơn, nhưng nếu dữ liệu chất lượng cao không tăng tương ứng hoặc training recipe không phù hợp, thêm tham số có thể mang lại lợi ích giảm dần.

Đó là lý do các phòng thí nghiệm frontier hiện không chỉ nói về parameter count. Họ tập trung vào synthetic data, reinforcement learning, verifier, tool use, memory, agentic workflows và inference-time reasoning.

Trong bối cảnh này, 10 nghìn tỷ tham số nên được nhìn như một lớp trong hệ thống AI lớn hơn, chứ không phải thước đo duy nhất của trí thông minh.

Cuộc đua Trung Quốc đang tăng tốc rất nhanh

Kimi K3 của Moonshot AI được giới thiệu với 2,8 nghìn tỷ tham số, cho thấy các phòng thí nghiệm Trung Quốc đã bước sâu vào kỷ nguyên multi-trillion-parameter. Reuters cho biết dự án mới của ByteDance, nếu đạt 10 nghìn tỷ tham số, sẽ lớn hơn đáng kể các model Trung Quốc được công bố trước đó.

Điều đáng chú ý là cuộc cạnh tranh không còn chỉ nằm giữa một vài tập đoàn Internet lớn. Các startup như Moonshot và nhiều phòng thí nghiệm khác đang buộc những công ty như ByteDance, Alibaba và Tencent phải tăng tốc cả nghiên cứu lẫn đầu tư hạ tầng.

Việc các mô hình Trung Quốc tăng quy mô trong bối cảnh hạn chế tiếp cận một số accelerator cao cấp cũng khiến hiệu quả hệ thống trở thành yếu tố chiến lược. Một kiến trúc tốt hơn, pipeline huấn luyện hiệu quả hơn hoặc thuật toán truyền thông tối ưu hơn có thể bù đắp một phần hạn chế về phần cứng.

Chi phí inference có thể quan trọng hơn chi phí training

Huấn luyện model frontier thường nhận được nhiều chú ý vì cần cụm máy khổng lồ trong một khoảng thời gian tập trung. Nhưng nếu model trở thành sản phẩm phục vụ hàng trăm triệu người, tổng chi phí inference dài hạn có thể còn quan trọng hơn.

Đây chính là lý do MoE hấp dẫn: một model có thể sở hữu capacity rất lớn nhưng chỉ kích hoạt một tập con expert ở mỗi token. Khi thiết kế tốt, hệ thống có thể tăng tổng số tham số mà không khiến chi phí mỗi request tăng tuyến tính.

Tuy nhiên, sparse activation không miễn phí. Việc load trọng số, quản lý KV cache, định tuyến expert và giao tiếp giữa các accelerator vẫn tạo ra bottleneck thực tế. Model càng lớn, bài toán serving càng phụ thuộc vào phần mềm hệ thống và thiết kế data center.

Điều gì sẽ chứng minh model 10T thực sự là một bước nhảy?

Khi ByteDance công bố thêm thông tin, có năm chỉ số đáng theo dõi hơn bản thân parameter count:

• Active parameters: bao nhiêu trọng số thực sự tham gia xử lý mỗi token.
• Benchmark độc lập: model có cải thiện đáng kể về coding, reasoning, multimodal và agent hay không.
• Inference efficiency: tốc độ, chi phí và yêu cầu phần cứng khi triển khai.
• Long-horizon capability: model có duy trì được nhiệm vụ dài, sử dụng công cụ và tự sửa lỗi tốt hơn không.
• Khả năng sản phẩm hóa: năng lực có được đưa vào Doubao, Volcano Engine hoặc các sản phẩm khác với chi phí hợp lý hay chỉ tồn tại ở benchmark.

Nếu model 10T chỉ lớn hơn nhưng không tạo ra bước nhảy rõ rệt về chất lượng hoặc hiệu quả, nó sẽ là bằng chứng cho thấy scaling thuần túy đang tiến gần giới hạn kinh tế. Nếu ngược lại, nó mở khóa các năng lực agent và reasoning mới trong khi vẫn giữ chi phí inference hợp lý, ngành AI có thể bước vào một vòng scale lớn hơn nữa.

Cuộc đua scale chưa kết thúc — nó đang đổi hình dạng

Trong vài năm qua, câu chuyện AI đã chuyển từ “model có bao nhiêu tham số?” sang reasoning, agent, multimodal và tool use. Điều đó dễ tạo cảm giác parameter scaling không còn quan trọng.

Dự án được cho là lên tới 10 nghìn tỷ tham số của ByteDance cho thấy điều ngược lại: scale vẫn là một trụ cột, nhưng giờ được kết hợp với kiến trúc sparse, hạ tầng phân tán và post-training ngày càng phức tạp.

Thay vì một cuộc đua đơn giản xem ai xây được mạng nơ-ron lớn nhất, thế hệ tiếp theo sẽ cạnh tranh trên cả một hệ thống: ai có data tốt hơn, training recipe tốt hơn, cluster hiệu quả hơn, routing thông minh hơn, inference rẻ hơn và khả năng biến capacity thành reasoning hoặc agency hữu ích hơn.

Vì vậy, con số 10 nghìn tỷ tham số đáng chú ý không phải vì nó tự động khiến ByteDance sở hữu model tốt nhất thế giới. Nó đáng chú ý vì cho thấy ngưỡng kinh tế và kỹ thuật mà các phòng thí nghiệm hàng đầu sẵn sàng theo đuổi đang tiếp tục tăng.

Và nếu pre-training hiện tại thành công, câu hỏi tiếp theo của cuộc đua AI có lẽ sẽ không còn là “ai đạt một nghìn tỷ tham số trước”, mà là: sau 10 nghìn tỷ, scale còn có thể đi xa đến đâu — và lợi ích có còn tăng nhanh hơn chi phí?

Nguồn tham khảo

• Reuters – ByteDance targets mega AI model that could match Mythos scale, FT reports.
• Financial Times – ByteDance targets mega AI model nearing Anthropic’s Mythos.
• Moonshot AI – Kimi K3.
• ByteDance Seed – Infrastructures.
• ByteDance Seed – VeOmni distributed training framework.
• ByteDance Seed – Seed-Thinking-v1.5.