Compiler từng biến code thành machine instruction: Robotics đang thử biến video thành kỹ năng cho robot

Compiler giải quyết một bài toán rất cụ thể: con người viết chương trình ở mức trừu tượng cao, còn bộ xử lý chỉ thực thi những lệnh máy gắn với một kiến trúc phần cứng cụ thể. Phần mềm biên dịch đứng giữa hai thế giới đó, giữ lại ý nghĩa của chương trình nhưng chuyển nó thành thứ máy có thể chạy.

Robotics đang bắt đầu xuất hiện một bài toán có hình dáng tương tự. Con người có thể chỉ cho robot cách làm một việc bằng video — đặt quả táo vào đĩa, xoay một quả đào, chuyền cuốn sách hay kéo khay ra khỏi khe hẹp — nhưng video không chứa torque, góc khớp, quỹ đạo gripper hay lệnh điều khiển mà robot cần. Muốn biến thứ robot “nhìn thấy” thành thứ robot “làm được”, cần một chuỗi chuyển đổi giữa hai dạng biểu diễn hoàn toàn khác nhau.

Một preprint năm 2026 từ nhóm tại Georgia Institute of Technology cùng các cộng tác viên đang thử xây gần như toàn bộ chuỗi đó. Hệ thống Video2Sim2Real nhận một video RGB-D duy nhất về thao tác của con người, tự dựng một digital twin để luyện trong simulation, trích xuất những thời điểm tương tác quan trọng giữa tay và vật thể, điều chỉnh chuyển động cho cơ thể robot rồi chuyển policy ra robot thật. Các tác giả mô tả mục tiêu là học kỹ năng mà không cần robot demonstration data hay chuyên gia can thiệp trong pipeline.

Nếu compiler truyền thống dịch source code → machine instruction, thì một “compiler kỹ năng” cho robot có thể được hình dung như human demonstration → robot policy. Nhưng sự giống nhau dừng ở mức kiến trúc ý tưởng. Video mơ hồ hơn code rất nhiều, còn thế giới vật lý không tuân theo một instruction set sạch sẽ như CPU.

Video không chứa lệnh robot

Một đoạn phim một người xoay quả đào cho biết vật thể đã chuyển động thế nào, nhưng không trực tiếp cho biết robot phải đặt từng ngón tay ở đâu, dùng bao nhiêu lực hay nên chỉnh cổ tay theo góc nào. Con người và robot cũng có hình học khác nhau: năm ngón tay mềm với nhiều bậc tự do không thể ánh xạ trực tiếp sang một bàn tay robot có giới hạn khớp, kích thước và động lực học khác.

Đây là embodiment gap — khoảng cách giữa cơ thể tạo ra demonstration và cơ thể phải thực hiện nó. Chỉ sao chép quỹ đạo tay người thường không đủ. Sai số nhận thức cũng xuất hiện đúng lúc khó nhất: khi bàn tay che khuất vật thể, camera lại mất thông tin về tiếp xúc và chuyển động tương đối mà robot cần biết.

Video2Sim2Real vì thế không coi trajectory trích xuất từ video là đáp án cuối cùng. Bước đầu tiên của hệ thống dùng các foundation model có sẵn để phân tích cảnh, tái tạo một môi trường simulation tương ứng và lấy ra các motion prior của robot lẫn vật thể. Digital twin ở đây đóng vai trò như một workspace trung gian: robot có thể thử và sửa động tác mà không phải liên tục thực nghiệm trên phần cứng thật.

Phần quan trọng không phải tay đi đâu, mà vật thể phải thay đổi thế nào

Một trong những lựa chọn đáng chú ý của Video2Sim2Real là không cố ép toàn bộ chuyển động robot phải bám sát demonstration. Nhóm nghiên cứu tập trung vào các object-centric keyframe — những thời điểm mà trạng thái của vật thể cho biết rõ robot phải đạt được hiệu ứng gì.

Ví dụ, trong một thao tác cầm và xoay vật, quỹ đạo cổ tay giữa hai thời điểm có thể có nhiều cách thực hiện. Điều quan trọng hơn là tại những thời điểm tiếp xúc then chốt, ngón tay phải ở cấu hình đủ để giữ vật và làm nó quay theo hướng cần thiết. Hệ thống tối ưu cấu hình robot ở những keyframe đó trong simulation, rồi dùng chúng làm anchor để tinh chỉnh phần trajectory còn lại.

Cách này gần với một compiler có intermediate representation hơn là một bộ sao chép động tác. Video cung cấp mô tả ở mức cao về “hiệu ứng cần xảy ra với vật thể”; hệ thống sau đó tìm một biểu diễn chuyển động phù hợp với robot đích.

Simulation vẫn chưa phải thế giới thật

Sau khi có trajectory hợp lý trong digital twin, còn một khoảng cách nữa: mô phỏng không tái tạo hoàn hảo camera, ma sát, độ mềm, tiếp xúc hay sai số cơ khí. Video2Sim2Real tách vấn đề này thành hai phần.

Một thành phần imitation learning học cách hiệu chỉnh cấu hình robot khi point cloud ngoài đời bị nhiễu hoặc không đầy đủ. Thành phần residual reinforcement learning xử lý những sai khác nhỏ hơn ở cấp tiếp xúc và chuyển động ngón tay. Cuối cùng, một motion planner có nhận thức va chạm được dùng để thích nghi với những vị trí vật thể mới trong một phạm vi nhất định.

Trong thí nghiệm của nhóm, hệ thống được đánh giá trên bảy tác vụ thao tác hằng ngày, gồm đặt trái cây, chuẩn bị quả đào, rắc gia vị lên miếng steak, sắp đồ chơi, chuyển hộp khăn giấy, chuyền sách và lấy khay. Ở thử nghiệm robot thật với các biến thiên vị trí vật thể cục bộ, Video2Sim2Real đạt trung bình 95,7% thành công: 67 lần thành công trên 70 lượt thử, theo bảng kết quả của paper.

Con số này cần đặt đúng phạm vi. Đây không phải benchmark cho khả năng học “mọi kỹ năng từ mọi video”. Mỗi tác vụ bắt đầu từ một video RGB-D được thu cho thí nghiệm, môi trường và robot đều được kiểm soát, còn biến thiên vật thể khi đánh giá nằm trong vùng mà nhóm thiết kế để kiểm tra local robustness. Paper hiện là preprint, chưa phải bằng chứng rằng một hệ thống phổ quát đã giải quyết xong video-to-robot learning.

Nhiều nhóm khác đang xây những “pass” khác của compiler

Video2Sim2Real không phải hướng duy nhất. Điểm đáng chú ý của robot learning hai năm gần đây là nhiều nhóm đang giải quyết những lớp khác nhau của cùng bài toán chuyển video thành dữ liệu điều khiển.

Phantom, công bố tại CoRL 2025 bởi nhóm Stanford, dùng một cách trực quan hơn để thu hẹp embodiment gap. Hệ thống ước lượng pose bàn tay từ video RGB-D, xóa cánh tay người khỏi hình rồi render cánh tay robot vào cùng vị trí. Từ đó, các video của con người được biến thành những observation-action pair có hình thức gần với dữ liệu robot hơn. Các tác giả báo cáo tỷ lệ thành công tới 92% trên một số tác vụ và triển khai zero-shot lên robot thật mà không dùng dữ liệu robot cho huấn luyện policy.

Nhưng Phantom cũng cho thấy vì sao “video bất kỳ trên Internet” vẫn là mục tiêu khó hơn. Pipeline gốc giả định video RGB-D và bàn tay có thể được theo dõi đủ tốt. Phiên bản tiếp theo của nhóm, Masquerade, chuyển sang video RGB thực tế từ EPIC-KITCHENS, nơi tay có thể bị che khuất và không có depth. Đổi lại, Masquerade vẫn dùng 50 robot demonstration cho mỗi task khi fine-tune policy. Nói cách khác, càng nới điều kiện đầu vào, việc loại bỏ hoàn toàn dữ liệu robot càng khó.

Một hướng khác là không cố khôi phục action label trực tiếp từ video. ViPRA, được nhận tại ICLR 2026, huấn luyện video-language model để dự đoán cả frame tương lai và một biểu diễn latent action mô tả chuyển động. Chỉ ở bước fine-tune, decoder mới ánh xạ latent action đó thành chuỗi control liên tục cho một robot cụ thể. Theo paper, ViPRA vẫn cần khoảng 100–200 teleoperated demonstrations cho downstream control, nhưng đổi lại có thể khai thác lượng lớn video không gắn action label trong giai đoạn pretraining.

Những cách tiếp cận này chưa hội tụ vào một kiến trúc duy nhất. Một nhóm sửa video để nó trông như robot data; một nhóm dựng digital twin và dùng simulation để tối ưu; nhóm khác học latent action rồi mới decode thành control. Chúng giống các thử nghiệm tìm “intermediate representation” phù hợp hơn là một compiler đã có chuẩn chung.

Một compiler thật sự cho robot sẽ phải biết robot nào đang nhận “binary”

Compiler phần mềm biết target của nó là x86, ARM hay một kiến trúc khác. Robot cũng có vấn đề tương tự nhưng phức tạp hơn. Cùng một kỹ năng “mở nắp” có thể được thực hiện bằng gripper hai ngón, bàn tay năm ngón hoặc hai cánh tay phối hợp; mỗi hệ có workspace, lực, tốc độ và giới hạn an toàn khác nhau.

Vì vậy, một video-to-skill compiler thực tế sẽ cần ít nhất ba tầng. Tầng đầu hiểu task ở dạng tương đối độc lập với robot: vật thể nào đang được thao tác, trạng thái đầu-cuối là gì, contact event nào quan trọng. Tầng thứ hai ánh xạ task đó sang embodiment cụ thể: joint limit, kinematics, gripper và cảm biến. Tầng cuối phải xác minh hành vi trong physics — qua simulation, rollout có kiểm soát hoặc một cơ chế safety check — trước khi cho robot chạy thật.

Đây là nơi phép so sánh với compiler trở nên hữu ích hơn câu “robot học bằng cách xem”. Mục tiêu không nhất thiết là làm robot bắt chước từng pixel hoặc từng centimet chuyển động của con người. Mục tiêu là giữ lại semantics của kỹ năng trong khi đổi representation cho phù hợp với một cơ thể khác.

Video Internet vẫn chưa phải kho “source code” sạch

Kho video của con người có quy mô mà robot dataset khó sánh được, nhưng phần lớn dữ liệu đó không được quay để huấn luyện robot. Camera có thể di chuyển, vật thể bị che khuất, depth không tồn tại, lực tiếp xúc không đo được và nhiều clip không cho thấy rõ trạng thái ban đầu hoặc kết thúc.

Các video còn chứa những hành động mà robot đích không thể thực hiện. Một bàn tay robot có thể không đủ lực, không đủ độ mở hoặc thiếu cảm biến xúc giác. Trong trường hợp đó, việc “compile” không chỉ là tìm lệnh tương đương; hệ thống phải phát hiện rằng target hardware không có implementation hợp lệ cho demonstration đó.

Đây là khác biệt căn bản với phần mềm. Source code hợp lệ có semantics tương đối rõ, còn demonstration vật lý chỉ là một quan sát không đầy đủ về một quá trình. Có nhiều nguyên nhân ẩn phía sau cùng một chuyển động, và cùng một mục tiêu có thể có nhiều strategy khác nhau.

“Robot skill compiler” hiện là hướng thiết kế, chưa phải một sản phẩm hoàn chỉnh

Video2Sim2Real cho thấy pipeline từ một video tới robot policy có thể được tự động hóa xa hơn trước: perception tạo digital twin, simulation sửa động tác, IL và RL làm cầu nối sang thế giới thật. Phantom cho thấy video con người có thể được chỉnh thành robot-compatible data. ViPRA cho thấy video không action label vẫn có thể đóng góp vào một policy thông qua latent representation.

Nhưng chưa có hệ thống nào tương đương GCC hay LLVM cho robotics: nhận một video tùy ý, hiểu chính xác kỹ năng, kiểm tra robot đích có khả năng thực hiện hay không, rồi sinh ra policy an toàn và tổng quát cho bất kỳ phần cứng nào.

Nếu một lớp hạ tầng như vậy xuất hiện, tác động lớn nhất có thể không nằm ở một demo robot cụ thể. Nó sẽ thay đổi cách tạo dữ liệu cho robotics. Thay vì thu lại cùng một tác vụ bằng teleoperation cho từng robot, một demonstration của con người có thể trở thành mô tả trung gian để nhiều embodiment khác nhau học lại theo cách phù hợp với phần cứng của mình.

Hiện tại, các nghiên cứu năm 2025–2026 cho thấy từng mảnh của toolchain đó đã hoạt động trong các điều kiện hạn chế. Bước khó tiếp theo là làm chúng đủ tổng quát để video không còn chỉ là dữ liệu tham khảo, mà trở thành một dạng “source” mà hệ thống robot có thể biên dịch đáng tin cậy.

Nguồn chính: Video2Sim2Real, arXiv:2606.08828; Georgia Tech STAR Lab; Phantom, CoRL 2025/PMLR; Masquerade, ICRA 2026; ViPRA, ICLR 2026.