Google tách TPU cho dữ liệu nhạy cảm và AI đọc tài liệu dài

Khi một doanh nghiệp đưa hồ sơ nội bộ vào mô hình AI, tài liệu phải được bảo vệ ngay cả lúc máy đang đọc. Khi một nhóm lập trình muốn AI rà cả kho mã, vấn đề lại là làm sao đưa đủ dữ liệu qua bộ nhớ mà không bắt người dùng chờ quá lâu. Ngày 9/11/2026, Google Cloud công bố hai hệ thống tăng tốc AI dành cho hai nhu cầu đó: TPU 8tx cho công việc cần giữ kín dữ liệu và TPU 8i Max cho tác vụ phải đọc, giữ và xử lý lượng thông tin lớn.

Google thay đổi cách ghép hệ thống

TPU là bộ tăng tốc do Google phát triển cho những phép tính phổ biến trong học máy. Nhưng một TPU làm việc trong trung tâm dữ liệu luôn đi cùng bộ nhớ, mạng và máy chủ điều phối. Một mô hình có thể bị chậm ở bất kỳ khâu nào trong số đó. Chẳng hạn, nếu bộ tăng tốc phải chờ dữ liệu từ bộ nhớ, tăng tốc độ tính toán trên giấy sẽ không tương ứng với tăng tốc độ trả lời. Nếu công việc cần trao đổi giữa nhiều thiết bị, đường mạng chậm cũng có thể khiến thiết bị thường xuyên chờ nhau.

Google Cloud cho biết 8tx sử dụng cùng loại silicon với TPU 8t, hệ thống thế hệ thứ tám dành cho huấn luyện quy mô lớn. Với 8i Max, hãng ghép hai chip TPU 8i lên một cụm đóng gói. Sự khác biệt của đợt công bố vì vậy nằm ở cách hãng sắp xếp những thành phần đã có, cũng như cách nối chúng với máy chủ và mạng. Người mua năng lực tính toán trên đám mây sẽ gặp hai cấu hình phục vụ công việc khác nhau, dù chúng cùng mang tên TPU thế hệ thứ tám.

TPU 8tx bảo vệ dữ liệu ở giai đoạn nào?

Tài liệu có thể được mã hóa khi nằm trên ổ lưu trữ và khi truyền qua mạng. Đến lúc phần mềm đọc để tính toán, dữ liệu phải ở dạng mà phần cứng xử lý được. Khoảng thời gian này tạo ra một bài toán bảo mật khác với việc bảo vệ tệp nằm yên. Điện toán bảo mật là cách tạo vùng xử lý được cô lập bằng phần cứng nhằm hạn chế những thành phần bên ngoài vùng đó đọc dữ liệu trong lúc công việc đang chạy.

8tx ghép TPU với máy chủ dùng CPU AMD EPYC thế hệ thứ năm. Theo AMD, CPU chuẩn bị dữ liệu, điều phối công việc và giao tiếp với thiết bị tăng tốc; công nghệ bảo vệ trên máy chủ và trên hệ TPU được kết hợp để bao phủ đường xử lý. Google nêu các ứng dụng như chạy mô hình với dữ liệu nội bộ hoặc tinh chỉnh mô hình trong cùng hệ thống. Hãng cũng nói đã áp dụng mạng Boardfly có độ trễ thấp để phục vụ các chuỗi xử lý nhiều bước. Những mô tả này đến từ hai công ty cùng xây hệ thống.

Một doanh nghiệp vẫn phải xác định dữ liệu đi qua đâu trước và sau vùng được bảo vệ. Ví dụ, nếu ứng dụng chép nguyên văn nội dung truy vấn ra nhật ký bên ngoài, tính năng cô lập bộ tăng tốc không bảo vệ bản sao đó. Tương tự, một tài khoản ứng dụng được cấp quyền quá rộng vẫn có thể gửi nhầm tài liệu. Vì vậy, khi xem xét 8tx, đội kỹ thuật nên hỏi vùng được bảo vệ bao gồm thành phần nào, dịch vụ quản lý khóa và nhật ký nằm ở đâu, ai có thể truy cập kết quả. Đó là những câu hỏi khác với việc kiểm tra tốc độ chip.

TPU 8i Max dùng bộ nhớ để giải bài toán khác

Khi mô hình đọc tài liệu, nó xử lý các đơn vị nhỏ gọi là token. Ngữ cảnh là lượng thông tin mà mô hình có thể nhận để làm một lượt công việc, gồm cả câu hỏi, tài liệu và phần trao đổi trước đó. Một trợ lý đọc hàng loạt tệp để tìm nguyên nhân lỗi phải liên tục lấy dữ liệu phục vụ các phép tính. Việc chạy đồng thời nhiều lượt như vậy làm tăng áp lực lên bộ nhớ, kể cả khi bộ tăng tốc vẫn còn khả năng tính toán.

Google cho biết ghép hai chip 8i giúp 8i Max có gấp đôi năng lực tính toán, bộ nhớ SRAM và băng thông HBM so với một hệ 8i. SRAM là bộ nhớ rất nhanh nằm gần phần tính toán; HBM là bộ nhớ được thiết kế để truyền lượng dữ liệu lớn trong một khoảng thời gian ngắn. Tăng băng thông có thể giúp phần tính toán nhận dữ liệu đều hơn. Nhưng các thông số phần cứng không dự báo chính xác một tác vụ thực tế nhanh hơn bao nhiêu: mô hình, độ dài tài liệu, số người dùng đồng thời và cách phần mềm chia công việc đều ảnh hưởng.

Chọn theo giới hạn của công việc thực tế

Một ứng dụng trả lời vài câu ngắn về sản phẩm có thể không cần xử lý toàn bộ kho tài liệu mỗi lần. Chọn đúng phần văn bản trước khi đưa vào mô hình có thể giảm độ trễ và chi phí; đổi lại, bộ tìm kiếm có thể bỏ sót một đoạn quan trọng. Ngữ cảnh dài hữu ích khi câu trả lời đòi hỏi so sánh nhiều phần của tài liệu, nhưng khả năng đưa hết văn bản vào không đảm bảo mô hình tìm được đúng chi tiết. Bài thử nên chấm cả chất lượng câu trả lời lẫn tốc độ.

Với dữ liệu nhạy cảm, phép thử quan trọng hơn có thể là kiểm tra một bản ghi đã đi qua những hệ thống nào. Với tài liệu dài, hãy đo thời gian đến câu trả lời đầu tiên, tổng thời gian hoàn thành, chi phí và độ chính xác trên công việc tiêu biểu. Hai cấu hình TPU giúp tách hai quyết định vốn dễ bị gộp thành câu hỏi chung về chip nào mạnh hơn. Một quyết định liên quan đến nơi được phép xử lý dữ liệu; quyết định kia liên quan đến việc đưa dữ liệu đủ nhanh tới phần tính toán.

Nguồn: Google Cloud — công bố TPU 8tx và 8i Max; AMD — vai trò CPU EPYC trong TPU 8tx.

Ảnh tư liệu TPU 3.0, không phải TPU 8tx hay 8i Max — Zinskauf. Trang nguồn; CC BY-SA 4.0. Ảnh dùng nguyên bản.