Robot hiện phải được dạy từng kỹ năng: Platform mới muốn biến video con người thành “code hành động” cho máy

Robot có thể nhận ra một chiếc cốc rất nhanh, nhưng để học cách cầm chiếc cốc đó, đưa nó tới đúng vị trí rồi đặt xuống với lực vừa đủ, phần dữ liệu cần thiết lại khó thu thập hơn nhiều. Phần lớn hệ thống thao tác hiện nay vẫn dựa vào demonstration từ chính robot: một người điều khiển cánh tay máy thực hiện tác vụ nhiều lần, ghi lại camera, trạng thái khớp và lệnh điều khiển để mô hình học lại.

FourthHuman, một công ty hai nhà sáng lập tại Ấn Độ, đang thử giải quyết nút thắt ở phía dữ liệu thay vì chế tạo thêm robot. Ý tưởng của họ là quay con người làm công việc thật bằng camera góc nhìn thứ nhất, sau đó biến đoạn phim thành một gói dữ liệu có cấu trúc mà các nhóm phát triển humanoid hoặc mô hình vision-language-action có thể đưa vào pipeline huấn luyện.

Cách gọi “code hành động” ở đây cần hiểu chính xác. FourthHuman không tuyên bố rằng một video người cầm dao hay gấp quần áo có thể được chuyển thẳng thành mã điều khiển để robot chạy ngay. Trong schema FH-Ego v1, lớp action chứa các mã dạng động từ-danh từ như scoop_food, cùng ranh giới frame, tay trái/phải, ngữ nghĩa cảnh và mô tả tự nhiên. Một lớp khác theo dõi 21 landmark 3D của mỗi bàn tay, vị trí tương đối và vận tốc giữa các frame. Đây là dữ liệu huấn luyện có cấu trúc, chưa phải trajectory khớp robot hay torque command.

Nút thắt của robot không chỉ là “thiếu video”

Internet đã có vô số video con người mở ngăn kéo, nấu ăn, đóng gói hàng hoặc dùng dụng cụ. Vấn đề là phần lớn video đó chỉ chứa pixel. Robot lại cần biết nhiều hơn: tay nào đang thao tác, vật thể nào đang bị tác động, chuyển động diễn ra ở đâu, thứ tự các bước là gì và — với nhiều nhiệm vụ — lực tiếp xúc hay trạng thái cơ học thay đổi như thế nào.

Đây là lý do dữ liệu teleoperation vẫn phổ biến. Khi người vận hành điều khiển chính robot, hệ thống có thể ghi trực tiếp vị trí khớp, trạng thái gripper và action tương ứng với từng hình ảnh. Dữ liệu rất “sạch” về mặt embodiment, nhưng mỗi giờ demonstration đòi hỏi một robot thật, một rig phù hợp và một người biết điều khiển nó.

FourthHuman muốn tách hai thứ đó ra. Người thu thập dữ liệu chỉ cần thực hiện công việc bằng cơ thể của mình, còn pipeline annotation cố gắng bổ sung cấu trúc mà mô hình robot cần sau đó. Theo trang giới thiệu của công ty, dữ liệu được tổ chức theo ba tầng: metadata của phiên quay; phân đoạn hành động; và kinematics của bàn tay. Công ty cũng nói có thể thu thêm IMU và quỹ đạo camera 3D khi một capture brief yêu cầu.

Từ 61 giây video thành 47 trường dữ liệu

FourthHuman công khai một reference clip dài 61,4 giây để cho thấy engine hiện làm được gì. Clip có 1.843 frame ở 30 fps, được chia thành 16 action segment. Phần kinematics có 294 entry trên 185 frame được lấy mẫu — tức pipeline chỉ lấy landmark mỗi 10 frame, tương đương 3 Hz trên clip này.

FH-Ego v1 định nghĩa 47 trường dữ liệu trên ba tầng. Ở tầng hành động, mỗi segment có frame bắt đầu/kết thúc, tay thực hiện, mô tả bối cảnh và một action code chuẩn hóa. Ở tầng kinematics, pipeline lưu 21 landmark của bàn tay, vị trí cổ tay tương đối theo camera, vận tốc frame-to-frame và confidence của bộ phát hiện.

Điểm đáng chú ý là FourthHuman công khai khá rõ những gì reference clip chưa chứng minh. 16 segment của clip mẫu không phải do hệ thống tự hiểu nội dung rồi tìm ranh giới hành động; chúng được chia theo cửa sổ cố định. Các action code và caption cũng đến từ một template, với trường caption_source là heuristic_stub, chứ chưa phải kết quả của một model đọc video. Chính trang reference implementation ghi rằng content-aware segmentation đã được thiết kế nhưng chưa được dựng cho clip này.

Ngay cả trường có tên position_3d_m cũng được công ty chú thích là đặt tên gây hiểu nhầm: giá trị hiện không phải tọa độ theo mét vì thiếu camera intrinsics phù hợp. Đây là chi tiết nhỏ nhưng quan trọng, bởi một pipeline dữ liệu robot dễ trở nên nguy hiểm nếu metadata trông “vật lý” hơn độ chính xác thực tế của nó.

“Code hành động” vẫn chưa phải action của robot

Giới hạn lớn nhất nằm ngay ở bước cuối. Tài liệu delivery của FourthHuman nói rõ export LeRobot v2.1 của họ không có cột robot action. Lý do khá đơn giản: video đang ghi một người, không ghi command của một cánh tay máy. Chuyển trạng thái của người thành action phù hợp với robot cụ thể vẫn là bài toán retargeting và modelling của phòng lab.

Khoảng cách này được gọi là embodiment gap. Cánh tay người có cấu trúc khớp, tầm với, bàn tay và khả năng cảm nhận hoàn toàn khác robot hai ngón hoặc humanoid. Hai chuyển động nhìn giống nhau trên video có thể đòi hỏi trajectory rất khác khi thực hiện bằng một cánh tay máy. Với các tác vụ tiếp xúc mạnh — xoáy nắp, cắt vật liệu, siết ốc — video còn thiếu một thứ quan trọng hơn: lực.

Đó cũng là lý do các nghiên cứu học từ video người thường phải xây thêm một tầng chuyển đổi. Chẳng hạn, HumanEgo, một preprint năm 2026, dùng biểu diễn tương tác tay-vật thể và mapping sang gripper; nhóm tác giả báo cáo tỷ lệ thành công trung bình 92,5% trên bốn tác vụ thực với 30 phút video mỗi tác vụ. Một hướng khác, EgoInfinity của Rice University và Robotics and AI Institute, tái dựng tương tác tay-vật thể 4D rồi retarget chuyển động sang nhiều morphology robot. Những kết quả này cho thấy video người có thể hữu ích, nhưng lớp chuyển từ “con người đã làm gì” sang “robot phải điều khiển khớp ra sao” vẫn là một phần kỹ thuật riêng.

FourthHuman hiện là một engine thử nghiệm, chưa phải nền tảng dữ liệu quy mô lớn

Con số trên website có thể tạo cảm giác hệ thống đã hoạt động ở quy mô đáng kể: catalogue nêu 182.700 clip có thể commissioning và 1.505 giờ egocentric capture. Nhưng đây là mục tiêu được mô tả trong các brief, không phải kho dữ liệu hiện có.

Trang About của FourthHuman hiện ghi rõ công ty mới có một lượt annotation end-to-end đã được validate, chưa phục vụ commissioning lab nào và số giờ capture “in hand” là 0. Mạng lưới Capture Partner vẫn ở giai đoạn pilot. Trang tuyển dụng của công ty còn nói “the first commissioned brief is ahead of us”. Vì vậy, đây chưa phải bằng chứng rằng mô hình thu thập dữ liệu này đã scale thành một hệ thống thương mại lớn.

Ngay reference clip cũng có giới hạn về chất lượng. Mean confidence của phần hand tracking là 0,8712, nhưng 45 trong 294 kinematic entry có confidence dưới 0,70; khoảng 23,8% số frame được lấy mẫu có ít nhất một bàn tay dưới ngưỡng đó. Những trường hợp che khuất tay hoặc góc nhìn khó vẫn có thể tạo nhiễu đáng kể cho dữ liệu huấn luyện.

Vì sao hướng này vẫn đáng theo dõi?

Nếu robot đa dụng muốn học hàng nghìn kỹ năng thay vì vài chục demo được chuẩn bị kỹ, thu robot data cho từng embodiment sẽ trở thành một chi phí rất lớn. Video con người hấp dẫn vì nguồn cung có thể mở rộng theo số người thực hiện công việc, chứ không theo số robot và teleoperation rig đang rảnh.

FourthHuman còn gắn pipeline dữ liệu với một lớp provenance: mỗi clip dự kiến có consent receipt theo SHA-256 trong một ledger nối hash, và face redaction chạy ở bước ingestion trước khi reviewer xem footage. Công ty đồng thời thừa nhận các khoảng trống hiện tại: license plate chưa được che, chưa có SOC 2 hay ISO 27001, và reference clip công khai được quay trước khi consent flow hiện tại được triển khai nên chính clip đó không có consent receipt.

Điều cần chứng minh tiếp theo vì thế không phải là annotation engine có thể xuất JSON — FourthHuman đã có một mẫu chạy end-to-end cho việc đó. Câu hỏi khó hơn là dữ liệu do hệ thống tạo ra có thực sự cải thiện policy robot hay không, cải thiện bao nhiêu so với teleoperation hoặc robot data cùng ngân sách, và pipeline có giữ được chất lượng khi tăng từ một clip lên hàng trăm hay hàng nghìn giờ.

Nếu các câu hỏi đó có câu trả lời tốt, “dạy robot” có thể dần bớt giống việc lập trình từng kỹ năng trên từng thân máy. Nhưng ở thời điểm hiện tại, video người vẫn chưa phải mã lệnh robot. Nó là nguyên liệu — và FourthHuman đang cố biến nguyên liệu đó thành một dạng dữ liệu đủ có cấu trúc để các mô hình điều khiển có thể học từ nó.