Tag: SGLang
SGLang thử tách tạo rollout trên Trainium khỏi huấn luyện GPU
Plugin beta công bố ngày 22/10 đưa ra một cách tổ chức hạ tầng RL khác: phần sinh dữ liệu và phần cập nhật chính sách không nhất t...
llm-d 1.0 ra mắt: AI inference trên Kubernetes bước vào bài toán ...
llm-d 1.0 bổ sung khả năng điều phối suy luận phân tán, cache và vận hành đa tenant cho mô hình AI trên Kubernetes. Doanh nghiệp c...
