Robot học thao tác mà không cần người điều khiển robot mẫu: Physical AI đang tìm “Internet data” của riêng mình

LLM có một lợi thế mà robot không có: Internet đã vô tình tạo sẵn kho dữ liệu huấn luyện khổng lồ cho chúng. Văn bản, ảnh và video tồn tại với quy mô mà không phòng lab nào có thể tự thu thập. Nhưng với robot, một video người vặn nắp chai chưa phải là dữ liệu hành động. Nó không nói rõ khớp robot phải quay bao nhiêu độ, lực ngón tay là bao nhiêu hay quỹ đạo nào sẽ tránh làm trượt vật.

Một nhóm tại Rice University và NVIDIA đang thử thu hẹp khoảng cách đó bằng RoboTok, hệ thống truy xuất video thao tác của con người được công bố trên arXiv ngày 2/9/2026. Thay vì yêu cầu con người điều khiển một robot mẫu qua VR, joystick hay bộ leader-follower để thu từng demonstration, RoboTok tìm trong video Internet những đoạn có chuyển động bàn tay 3D tương tự, rồi dùng các chuyển động này làm tín hiệu hướng dẫn cho quá trình học chính sách điều khiển robot.

Ý tưởng đáng chú ý không phải là robot có thể “xem YouTube rồi làm theo” theo nghĩa trực tiếp. RoboTok giải một bài toán hẹp hơn nhưng quan trọng: trong hàng triệu video lộn xộn, làm sao tìm đúng những đoạn có chuyển động vật lý hữu ích cho một thao tác cụ thể?

Physical AI thiếu thứ tương đương với kho văn bản của Internet

Robot học thao tác hiện dựa nhiều vào dữ liệu demonstration được thu trên robot thật. Một người điều khiển robot thực hiện việc gắp, xoay, kéo hoặc lắp ráp; hệ thống ghi đồng bộ camera, trạng thái khớp và lệnh điều khiển. Kiểu dữ liệu này rất có giá trị vì observation và action cùng nằm trong embodiment của chính robot.

Nhược điểm là chi phí. Muốn mở rộng sang vật thể mới, môi trường mới và hàng nghìn kỹ năng hiếm gặp, nhà nghiên cứu phải tiếp tục dành robot, không gian thử nghiệm và thời gian của operator để thu dữ liệu. Paper RoboTok chỉ ra rằng ngay cả các tập dữ liệu lớn như Open X-Embodiment, BridgeData V2 hay DROID vẫn chỉ bao phủ một phần nhỏ các hành vi thao tác có thể gặp trong thế giới thực.

Trong khi đó, Internet chứa vô số video con người mở hộp, vặn vít, gấp vải, rót chất lỏng, cầm dụng cụ hoặc lắp ráp đồ vật. Vấn đề là những clip này không có action label cho robot và góc quay giữa hai video có thể khác hoàn toàn. Một hệ thống tìm kiếm dựa vào hình ảnh hoặc ngữ nghĩa có thể trả về hai video trông giống nhau nhưng chuyển động tay thực tế rất khác.

RoboTok bỏ qua cảnh nền và tìm theo quỹ đạo bàn tay

RoboTok bắt đầu bằng các video hành động của con người. Theo paper, nhóm lọc các đoạn dài khoảng 4–8 giây, ưu tiên camera gần như đứng yên và yêu cầu bàn tay xuất hiện đủ rõ để theo dõi.

Hệ thống sau đó ước lượng các keypoint 3D của bàn tay ở 5 khung hình mỗi giây bằng WiLoR, dùng MoGe-2 để bổ sung độ sâu theo đơn vị metric và HaWoR để điền những đoạn pose bị thiếu. Chỉ có quỹ đạo bàn tay vẫn chưa đủ, vì cùng một thao tác quay từ bên trái, bên phải hay trên cao sẽ tạo tọa độ camera rất khác nhau.

Để xử lý vấn đề đó, RoboTok đưa chuyển động về một hệ tọa độ tương đối với thân người. Một mô hình nhẹ ước lượng khung torso chỉ từ quỹ đạo cổ tay, ngay cả khi phần thân của người thao tác không hiện rõ trong video. Kết quả là hai người thực hiện động tác tương tự ở hai góc máy khác nhau có cơ hội nằm gần nhau hơn trong không gian biểu diễn.

Tiếp theo, nhóm dùng Dynamic Time Warping (DTW) để đo độ giống nhau của các chuỗi chuyển động có tốc độ khác nhau. DTW đóng vai trò như một “oracle” offline tạo tín hiệu huấn luyện cho encoder. Sau khi học xong, mỗi clip được nén thành một vector, cho phép hệ thống tìm nearest neighbor bằng cosine similarity thay vì phải chạy phép so sánh quỹ đạo đắt đỏ với toàn bộ kho video mỗi lần có truy vấn.

Quy trình vì thế có thể tóm tắt thành: video Internet → quỹ đạo tay 3D → chuẩn hóa theo người thao tác → embedding chuyển động → tìm demonstration tương tự.

100.000 clip cho thấy retrieval tốt hơn, nhưng benchmark vẫn là mô phỏng

Nhóm đánh giá retrieval trên một corpus 100.000 clip Internet, dùng 90.000 clip để huấn luyện và 10.000 clip chưa thấy làm query. Trên bộ đánh giá nội miền, RoboTok đạt recall@20 gần 0,996 khi “đáp án đúng” được định nghĩa bằng 20 láng giềng gần nhất theo metric DTW. Các baseline retrieval mà nhóm so sánh thấp hơn đáng kể trên cùng bộ metric.

Con số này cần đọc đúng ngữ cảnh. RoboTok được huấn luyện để xấp xỉ cấu trúc láng giềng do DTW tạo ra, vì vậy đây trước hết là bằng chứng rằng embedding của hệ thống có thể tái tạo tốt phép đo tương đồng chuyển động mà nhóm đã chọn. Nó chưa tự chứng minh rằng mọi clip được truy xuất đều là demonstration hoàn hảo cho robot ngoài đời.

Phần kiểm tra downstream đáng quan tâm hơn. Nhóm dùng những demonstration được RoboTok truy xuất để hướng dẫn PPO trên benchmark dexterous manipulation VTDexManip. Ở phiên bản benchmark gốc, policy được RoboTok hướng dẫn đạt kết quả cao nhất trên 5 trong 6 tác vụ được báo cáo. Khi nhóm làm ba tác vụ khó hơn bằng cách cho bàn tay di chuyển tự do trong 3D và bỏ bớt dense reward do con người thiết kế, RoboTok tiếp tục đứng đầu cả ba trong so sánh của họ.

Điểm quan trọng là không có robot demonstration hay action label từ robot được dùng trong thí nghiệm này. Các video người thật được retarget thành trạng thái bàn tay tham chiếu và đi vào reward để khuyến khích policy tiến gần vùng chuyển động phù hợp. Robot không sao chép từng frame thành lệnh motor; reinforcement learning vẫn phải tìm một policy khả thi với embodiment của robot.

Đây chưa phải bằng chứng robot thật có thể học trực tiếp từ Internet

Giới hạn lớn nhất hiện nằm ngay trên project page của RoboTok: mục kết quả robot ngoài đời vẫn ghi coming soon. Những con số downstream hiện được báo cáo trên mô phỏng VTDexManip, không phải một cánh tay hoặc bàn tay robot thật đang đối mặt với ma sát, sai số calibration, vật thể biến dạng và failure mode ngoài phòng mô phỏng.

Đây là khác biệt quan trọng với cách diễn giải “robot xem Internet và tự học”. Video thông thường không ghi lực tiếp xúc, torque, độ cứng vật liệu hay chính xác trạng thái của vật bị che khuất. Chuyển động tay người cũng không đảm bảo robot có cùng số bậc tự do, tầm với hay giới hạn động học. Một demonstration đúng về mặt hình học vẫn có thể không thực thi được trên phần cứng khác.

RoboTok còn giới hạn video đầu vào ở những clip có camera gần như tĩnh; nhóm ghi rõ hướng phát triển tiếp theo là hỗ trợ camera chuyển động, bao gồm video góc nhìn thứ ba và egocentric. Điều này quan trọng nếu mục tiêu cuối cùng là tận dụng dữ liệu Internet ở quy mô thực sự rộng, nơi camera rung, cắt cảnh và occlusion là điều bình thường.

“Internet data” của robot có lẽ sẽ không chỉ là video

RoboTok nằm trong một xu hướng rộng hơn của robot learning: tìm cách lấy nhiều giá trị hơn từ dữ liệu con người thay vì buộc mọi trajectory phải được tạo bởi robot thật. Một survey tại AAAI 2026 về learning from videos cũng xác định hai trở ngại cốt lõi khi dùng video Internet cho robot: khác biệt embodiment và việc video không chứa action label của robot.

Cùng Rice RobotΠ Lab, dự án EgoInfinity đi theo hướng bổ sung: biến video Internet thành dữ liệu tương tác tay–vật thể 4D và thử retarget chuyển động sang nhiều embodiment. Các hướng khác trong lĩnh vực lại dùng egocentric video, thiết bị cầm tay kiểu UMI, simulation hoặc autonomous robot play. Không nguồn nào hiện thay thế hoàn toàn teleoperation; nhiều khả năng chúng sẽ trở thành các lớp dữ liệu bổ sung cho nhau.

Điều mà RoboTok cho thấy là một cách tiếp cận khả thi để giải bài toán tìm đúng dữ liệu trước khi bàn tới việc học từ dữ liệu đó. Nếu text model có thể dùng search và indexing để khai thác kho tài liệu khổng lồ, Physical AI cũng cần cơ chế tương tự cho chuyển động vật lý — nơi hai video chỉ thực sự “giống nhau” khi cách bàn tay tương tác với thế giới giống nhau, không chỉ vì chúng cùng có một chiếc cốc trong khung hình.

Bước tiếp theo sẽ khó hơn retrieval: chứng minh rằng lợi thế này giữ được trên robot thật, với nhiều embodiment hơn, camera tự do hơn và những thao tác có tiếp xúc phức tạp. Khi phần kết quả real-world của RoboTok được lấp đầy, lúc đó mới có thể đánh giá liệu video Internet có thực sự trở thành một nguồn dữ liệu huấn luyện Physical AI ở quy mô lớn, hay mới chỉ là một chỉ dẫn tốt để robot biết nên học từ đâu.