Code Mode cho AI agent: Gom lời gọi công cụ bằng mã có thể tiết kiệm gì?

Thay vì đưa mọi kết quả qua mô hình sau từng lời gọi, agent có thể viết chương trình điều phối công cụ; hiệu quả đi kèm yêu cầu kiểm soát thực thi.

Code Mode cho AI agent: Gom lời gọi công cụ bằng mã có thể tiết kiệm gì?

Khi AI agent phải tìm qua hàng trăm tệp, đọc từng kết quả và tổng hợp số liệu, việc đưa toàn bộ dữ liệu trở lại mô hình sau mỗi lời gọi công cụ có thể làm tăng độ trễ và lượng token. Một cách tiếp cận thường gọi là Code Mode cho phép agent viết một đoạn mã để gọi, lọc và kết hợp công cụ trong môi trường thực thi, rồi chỉ đưa kết quả cần thiết trở lại mô hình.

Ý tưởng này không dành riêng cho một nhà cung cấp. Cloudflare mô tả cả giao diện gọi công cụ trực tiếp lẫn giao diện thực thi mã; Anthropic cũng phân tích việc kết hợp thực thi mã với Model Context Protocol, hay MCP. Lợi ích phụ thuộc tác vụ, mô hình và cách triển khai, không phải mọi quy trình đều tiết kiệm theo cùng một tỷ lệ.

Hai cách điều phối khác nhau ở đâu?

Với lời gọi trực tiếp, mô hình chọn công cụ, nhận kết quả và quyết định bước tiếp theo. Cách này phù hợp khi mỗi kết quả cần được xem xét riêng, chẳng hạn sau khi một API trả lỗi hoặc trước một hành động đòi hỏi xác nhận.

Với thực thi mã, agent có thể viết một chương trình ngắn để lặp qua các tệp, phân trang API hoặc tính toán trên dữ liệu trả về. Môi trường chạy chương trình thực hiện nhiều bước và trả lại một kết quả cô đọng. Mô hình không nhất thiết phải nhận toàn bộ nội dung trung gian vào ngữ cảnh.

Ví dụ, nếu cần đếm số tệp chứa một từ khóa, một đoạn mã có thể duyệt danh sách, đếm và trả tổng cùng một số vị trí mẫu. Điều này giảm việc mô hình phải tự cộng nhiều kết quả dạng văn bản. Nhưng nếu bộ lọc hoặc quy tắc đếm sai, kết quả vẫn sai và có thể khó phát hiện hơn khi dữ liệu trung gian không được xem lại.

Tiết kiệm token không tự động tiết kiệm mọi chi phí

Thực thi nhiều bước bên ngoài mô hình có thể giảm token đưa vào ngữ cảnh và số vòng tương tác. Nó vẫn tiêu tốn tài nguyên chạy mã, thời gian API và chi phí hạ tầng; một chương trình tạo ra quá nhiều yêu cầu cũng có thể gặp giới hạn tốc độ hoặc làm quá tải dịch vụ phía sau.

Một bài thử nghiệm được đăng trên Dev.to báo cáo mức giảm token trong một tập tác vụ nhỏ. Kết quả này chỉ mô tả cách thử cụ thể của tác giả, không đủ để kết luận mọi agent hay dự án đều đạt cùng hệ số. Khi so sánh cần giữ nguyên nhiệm vụ, quyền công cụ, dữ liệu và cách tính token; đồng thời đo độ đúng, thời gian và chi phí toàn bộ quy trình.

Sandbox không thay thế phân quyền

Để chạy mã do mô hình tạo, hệ thống cần môi trường cách ly và giới hạn tài nguyên. Tuy vậy, nếu chương trình trong sandbox vẫn được cấp công cụ có quyền sửa dữ liệu hoặc gửi yêu cầu mạng, tác động của những lời gọi đó phụ thuộc vào quyền được cấp. Sandbox phải đi cùng xác thực, phân quyền và kiểm soát từng công cụ.

Hướng dẫn của Cloudflare lưu ý cơ chế xây Code Mode MCP server không tự cung cấp phê duyệt bền vững cho từng lời gọi công cụ phía sau. Doanh nghiệp cần thiết kế rõ điểm phê duyệt, nhật ký, giới hạn thời gian và xử lý lỗi, nhất là với thao tác ghi hoặc hành động không thể dễ dàng hoàn tác.

Dữ liệu trả về từ tệp, trang web hay công cụ cũng có thể chứa nội dung không đáng tin cậy. Hệ thống nên coi đó là dữ liệu đầu vào, không mặc định cho phép nội dung này thay đổi quyền hoặc chỉ dẫn của agent. Việc ghi log cần cân bằng khả năng kiểm tra với yêu cầu bảo vệ thông tin nhạy cảm.

Khi nào nên thử?

Những tác vụ lặp có quy tắc rõ như phân trang, lọc dữ liệu, thống kê và đối chiếu nhiều tệp là ứng viên tốt để đánh giá. Ngược lại, với các bước cần phán đoán sau từng kết quả hoặc thao tác có tác động bên ngoài, việc chia nhỏ và yêu cầu xác nhận ở điểm phù hợp có thể dễ kiểm soát hơn.

Một thử nghiệm nên bắt đầu ở chế độ chỉ đọc, dùng bộ dữ liệu có đáp án và so sánh với cách gọi trực tiếp. Theo dõi số lỗi, thời gian, token, số yêu cầu tới API và khả năng giải thích kết quả. Chỉ mở rộng quyền khi các kiểm soát và giới hạn đã được kiểm chứng trong môi trường thực tế của nhóm.

Nguồn: Cloudflare Agents; Cloudflare: Code Mode MCP; Anthropic: Code execution with MCP.

Chia sẻ