PFN và SEMIFIVE xếp DRAM lên chip AI: băng thông cao hơn giúp gì?
MN-Core L2000 đặt mục tiêu băng thông hơn gấp đôi thế hệ trước. Lợi ích thực tế phụ thuộc vào việc bộ nhớ có đang làm chậm tác vụ suy luận hay không.
Preferred Networks (PFN) và SEMIFIVE ngày 16/11/2026 công bố hợp tác phát triển dòng MN-Core L2000 dành cho suy luận AI. Mục tiêu là tăng băng thông bộ nhớ lên hơn gấp đôi dòng L1000 bằng thiết kế xếp lớp giữa chip xử lý và DRAM. Băng thông ấy có thể giúp hệ thống bớt chờ dữ liệu. Nó chưa cho biết ứng dụng sẽ nhanh gấp đôi, bởi nhiều tác vụ còn bị giới hạn bởi phép tính, kết nối hoặc cách phần mềm chia việc.
Thay đổi nằm ở đường đi của dữ liệu
Băng thông bộ nhớ mô tả lượng dữ liệu có thể chuyển trong một đơn vị thời gian. Khi một mô hình có nhiều trọng số, tức các giá trị mô tả cách nó biến đổi dữ liệu, hệ thống phải đưa các giá trị cần thiết tới bộ tính toán. Nếu dữ liệu đến chậm, bộ tính toán có thể không làm được việc dù khả năng xử lý lý thuyết còn dư. Điều đó đặc biệt đáng chú ý khi mô hình tạo từng phần văn bản nối tiếp và mỗi lượt chỉ có ít yêu cầu để chia sẻ chi phí đọc.
Theo thông cáo của PFN, dòng MN-Core L dùng kiến trúc xử lý của hãng kết hợp với DRAM xếp theo chiều dọc. Các đường nối giữa những lớp gần nhau có thể được bố trí để truyền nhiều dữ liệu đồng thời. Đây là một cách thay đổi bố trí phần cứng để tăng khả năng trao đổi, thay vì chỉ tăng tốc bộ tính toán. Thông cáo nói L2000 nhắm băng thông cao hơn gấp đôi L1000; đó là mục tiêu thiết kế, không phải phép đo độc lập trên chip đã bán.
Khi nào thêm băng thông có ích?
Trong ví dụ giả định, một máy chủ trả lời ít người dùng cùng lúc. Khi sinh từng token, nó có thể phải liên tục đọc một phần lớn trọng số. Nếu phần lớn thời gian đang dành cho việc đưa dữ liệu đến bộ xử lý, mở rộng đường truyền có thể giảm thời gian chờ. Ngược lại, trong một lô lớn, một phần trọng số có thể được dùng lại cho nhiều yêu cầu. Khi đó, thời gian thực hiện phép tính có thể tăng tỷ trọng và lợi ích từ bộ nhớ không còn tăng theo cùng tỷ lệ.
Băng thông cũng khác dung lượng. Một cấu hình đọc dữ liệu nhanh chưa chắc chứa được mô hình và dữ liệu tạm cần thiết. Khi xử lý hội thoại dài, hệ thống thường giữ thông tin từ các token trước để không tính lại toàn bộ ở mỗi bước. Phần lưu tạm này tăng theo cách triển khai và độ dài các yêu cầu. Nếu dữ liệu phải chuyển sang thiết bị khác hoặc ra khỏi bộ nhớ gần bộ tính toán, lợi ích trên giấy của kết nối nội bộ có thể giảm.
Xếp chồng thay đổi cả bài toán nhiệt và sản xuất
PFN phụ trách kiến trúc xử lý và thiết kế logic. SEMIFIVE đảm nhận phần triển khai thiết kế và phối hợp chuỗi cung ứng, từ DRAM đến đóng gói tiên tiến và kiểm thử. Theo thông cáo, chip logic dự kiến dùng nền tảng Samsung Foundry; hãng này cũng cung cấp cơ sở thiết kế cho các đường kết nối và cấp điện trong cấu trúc xếp lớp. Phân công đó cho thấy một bản vẽ kiến trúc chỉ là một phần của công việc đưa thiết kế vào sản xuất.
Các lớp đặt gần nhau có thể làm việc dẫn nhiệt phức tạp hơn. Nếu chip phải giảm tốc khi chạy lâu để giữ nhiệt trong giới hạn, một lần thử ngắn chưa đại diện cho cả ca vận hành. Khâu sản xuất cũng phải xét xác suất các phần tử và kết nối trong gói đều đạt yêu cầu. Một bộ xử lý có năng suất tốt trên mẫu thử vẫn có thể gặp giá thành cao nếu khó chế tạo ổn định. PFN nêu các thách thức về điện năng, tản nhiệt và tỷ lệ đạt ngay trong công bố.
Mốc quý I/2027 là bàn giao thiết kế, chưa phải lịch bán
Hai công ty dự kiến tape-out L2000 trong quý I/2027. Tape-out là mốc chuyển dữ liệu thiết kế đã hoàn tất cho nhà sản xuất để chuẩn bị chế tạo. Sau đó mới tới các bước nhận chip, kiểm tra, chỉnh phần mềm và đánh giá hệ thống. Kế hoạch bán trong năm 2027 được nêu cho dòng L1000, không phải ngày mở bán đã xác nhận của L2000. Khi đọc lộ trình, cần gắn đúng mốc với đúng dòng sản phẩm.
Đối với bên muốn chạy mô hình tiếng Việt trong doanh nghiệp, một phép so hữu ích sẽ giữ cùng mô hình, định dạng số, độ dài đầu vào và số người dùng đồng thời. Hãy đo thời gian đến token đầu tiên, tốc độ tạo token sau đó, điện năng trên lượng công việc và độ ổn định khi tải kéo dài. Cũng nên xem trình biên dịch và công cụ triển khai có hỗ trợ mô hình đang dùng hay không. Một mức băng thông cao mới có giá trị mua sắm khi nó chuyển thành kết quả ứng dụng có thể lặp lại.
Cách đặt tải cũng quan trọng khi mua một hệ thống dùng chung. Nếu chỉ đo trên một nhóm yêu cầu ngắn giống nhau, thiết bị có thể tận dụng tốt cách gom lô. Khi chuyển sang nhiều yêu cầu dài, người dùng có thể phải chờ trong hàng đợi dù tốc độ xử lý trung bình vẫn cao. Vì thế, ngoài năng suất tổng, nên đo riêng độ trễ của nhóm yêu cầu chậm nhất dưới cùng giới hạn chất lượng. Số liệu đó giúp tách lợi ích của chip khỏi lựa chọn xếp lịch mà máy chủ dùng để đạt kết quả.
Nguồn: Preferred Networks, công bố ngày 16/11/2026.
Ảnh minh họa: Sơ đồ bộ nhớ HBM xếp lớp, minh họa khái niệm; không phải cấu trúc MN-Core L2000. 思考的苇丛 qua Wikimedia Commons (CC BY-SA 4.0).