Bám càng chắc lại càng khó bước: Robot mới học cách “nhả nam châm” để bò trên thép, hướng tới tàu và pipeline

Với robot leo tường bằng nam châm, lực hút mạnh chưa chắc là điều khó nhất. Nếu một bàn chân cứ bám chặt vào thép đúng lúc nó cần bước tiếp, robot gần như tự khóa mình tại chỗ. Nhưng nếu nhả quá sớm, chỉ một lần tiếp xúc lệch hoặc một mảng sơn dày cũng có thể khiến cả thân máy mất điểm tựa.

Một nhóm nghiên cứu từ Korea Advanced Institute of Science and Technology (KAIST) và DIDEN Robotics đang giải bài toán đó bằng cách để robot học không chỉ đặt chân ở đâu, mà còn khi nào phải bật và tắt từng nam châm. Trong preprint công bố trên arXiv, nhóm mô tả một bộ điều khiển reinforcement learning cho robot bốn chân leo trên bề mặt sắt từ, được huấn luyện để tiếp tục di chuyển ngay cả khi một số lần bám nam châm thất bại.

Điểm đáng chú ý là nhóm không coi lực bám là một điều kiện lý tưởng. Họ cố tình đưa vào mô phỏng những trường hợp bàn chân chỉ chạm một phần, xuất hiện khe hở rất nhỏ, hoặc nam châm được bật nhưng không tạo đủ lực giữ. Đây chính là những tình huống dễ xuất hiện ngoài phòng lab, trên bề mặt thép có sơn, bụi, rỉ, gờ hoặc các chi tiết chế tạo khác.

Nghiên cứu hiện tại mới được kiểm chứng trên tường thép trong phòng thí nghiệm, chưa phải thử nghiệm trên thân tàu hay pipeline đang vận hành. Tuy nhiên, đây là những môi trường mà nhóm nghiên cứu và nền tảng robot trước đó của họ nhắm tới, nơi bề mặt hiếm khi phẳng và sạch như một tấm thép chuẩn.

Nam châm càng mạnh, robot càng phải biết lúc nào nên buông

Robot nặng khoảng 8 kg và có bốn bàn chân sử dụng electropermanent magnet (EPM) — nam châm điện-vĩnh cửu có thể chuyển giữa trạng thái hút và nhả bằng một xung dòng điện ngắn. Khác với nam châm điện thông thường, EPM không cần cấp điện liên tục để duy trì lực hút sau khi đã được kích hoạt.

Mỗi bàn chân trong hệ thống mới nặng khoảng 0,2 kg và có thể tạo lực giữ vuông góc tối đa khoảng 697 N. Việc chuyển trạng thái nam châm diễn ra trong khoảng 5 mili-giây. Con số lớn này giúp robot bám chắc vào tường, nhưng chính nó cũng khiến việc phối hợp giữa bám và bước trở thành một bài toán điều khiển riêng.

Một chân đang ở pha chống đỡ phải được bật nam châm đủ sớm để chịu tải. Khi chân chuyển sang pha vung về phía trước, lực hút phải được tắt để chân có thể rời mặt thép. Nếu bộ điều khiển không đồng bộ hai việc này, robot có thể trượt xuống — hoặc đơn giản là đứng im vì các chân đều bám quá lâu.

Trong hệ thống của nhóm, mạng điều khiển không chỉ xuất lệnh cho các khớp chân mà còn xuất tín hiệu bật/tắt cho từng nam châm. Phần thưởng trong quá trình học phạt robot nếu nó bật nam châm trong lúc chân đang vung, hoặc tắt nam châm khi chân đáng lẽ phải chịu tải. Nói cách khác, robot phải học một nhịp bước trong đó hành vi “buông” quan trọng không kém hành vi “bám”.

Một khe hở 1 mm có thể làm lực hút gần như biến mất

Khó khăn lớn hơn nằm ở chỗ EPM không hoạt động theo kiểu “đã bật là chắc chắn dính”. Để tạo lực hút mạnh, mặt nam châm và thép phải hình thành một mạch từ đủ tốt. Nếu bàn chân bị nghiêng hoặc tồn tại một khe không khí, lực giữ có thể giảm rất nhanh.

Theo mô hình và dữ liệu mà nhóm sử dụng, chỉ với khe hở khoảng 1 mm, lực bám hiệu dụng còn khoảng 7% mức cực đại. Vì vậy một robot được điều khiển với giả định “chân đã chạm thì chắc chắn bám” có thể hoạt động tốt trong mô phỏng nhưng thất bại ngay khi gặp bề mặt thật.

Nhóm đưa yếu tố này trực tiếp vào môi trường huấn luyện. Một lần bám chỉ được xem là thành công khi bộ ước lượng cho rằng chân đang tiếp xúc, bộ điều khiển ra lệnh bật nam châm, hình học của bàn chân đủ phù hợp với mặt thép, và phép thử xác suất của mô hình cho phép lực bám xuất hiện.

Trong giai đoạn cuối của quá trình huấn luyện, xác suất bám thành công còn được giảm dần xuống 85%. Mục tiêu không phải làm robot kém đi, mà là buộc chính sách điều khiển học cách sống chung với thất bại: chuyển trọng lượng sang các chân khác, thử đặt lại chân và tiếp tục bò thay vì coi một lần trượt là điểm kết thúc.

Robot không được ném thẳng lên tường để “tự học”

Huấn luyện reinforcement learning cho robot leo tường có một vấn đề hiển nhiên: nếu bắt đầu bằng một chính sách ngẫu nhiên, phần lớn thử nghiệm sẽ kết thúc bằng việc robot rơi xuống trước khi thu được dữ liệu hữu ích.

Nhóm giải quyết bằng một curriculum ba giai đoạn.

1. Đầu tiên, robot học dáng bò trên mặt phẳng ngang mà chưa có lực nam châm thực sự. Ở đây nó học nhịp chân và thời điểm lý tưởng để bật hoặc tắt EPM.
2. Sau đó, hướng trọng lực trong mô phỏng được xoay dần từ mặt đất lên tường thẳng đứng. Lúc này mô hình lực bám được kích hoạt và robot phải điều chỉnh tư thế khi trọng lượng bắt đầu kéo thân ra khỏi bề mặt.
3. Cuối cùng, nhóm chủ động gây ra những lần bám thất bại ngẫu nhiên để robot học cách phục hồi.

Bộ điều khiển được huấn luyện bằng Proximal Policy Optimization (PPO) trong trình mô phỏng RaiSim. Ngoài chính sách điều khiển và mạng giá trị, hệ thống còn dùng một mạng ước lượng trạng thái để suy ra các đại lượng như vận tốc thân, độ cao bàn chân và xác suất chân đang tiếp xúc.

Nhóm cũng randomize hệ số ma sát, nhiễu cảm biến, độ trễ hành động và một số tham số điều khiển để giảm khoảng cách giữa mô phỏng và phần cứng thật.

Khi lực bám chỉ thành công 85%, chính sách đã học vẫn tiếp tục bò

Trong các bài đánh giá mô phỏng kéo dài 10 giây trên 100 episode, chính sách đầy đủ không gặp early termination khi xác suất bám là 100%. Khi xác suất này giảm xuống 85%, tỷ lệ kết thúc sớm là 4%.

So sánh đáng chú ý nhất đến từ phiên bản được huấn luyện mà không có các lần bám thất bại ngẫu nhiên. Khi bị đánh giá ở cùng mức xác suất bám 85%, tỷ lệ kết thúc sớm của phiên bản này tăng lên 66%. Điều đó cho thấy việc cho robot “nếm” lỗi bám ngay trong quá trình học có ảnh hưởng lớn đến khả năng phục hồi sau này.

Nhóm còn so sánh với một bộ điều khiển model predictive control (MPC) từ công trình trước, vốn giả định tiếp xúc nam châm là lý tưởng hơn. Trong thử nghiệm phần cứng, khi một chân trước không bám được, chính sách reinforcement learning chuyển tải sang các chân còn lại, thử bám lại rồi tiếp tục bò. Bộ điều khiển MPC trong thử nghiệm đối chứng mất ổn định sau lỗi bám đó.

Đây không phải bằng chứng rằng reinforcement learning luôn tốt hơn MPC cho robot leo tường. So sánh này diễn ra với một baseline cụ thể vốn không được thiết kế để xử lý mức bất định bám tương tự. Ý nghĩa hẹp hơn — và hữu ích hơn — là: nếu lỗi tiếp xúc được đưa vào quá trình học, bộ điều khiển có thể hình thành chiến lược phục hồi mà một mô hình giả định tiếp xúc hoàn hảo không có.

Từ mảng cao su trong lab tới mối hàn trên tàu còn một khoảng cách

Ảnh thử nghiệm của nhóm cho thấy robot leo qua các vùng không sắt từ gắn trên tường thép, được dùng để tạo ra tình huống một bàn chân không thể bám như mong đợi. Đây là cách thử có kiểm soát để đánh giá phản ứng khi adhesion bị gián đoạn.

Nó chưa tương đương với việc bò qua mối hàn thật trên thân tàu hoặc pipeline. Mối hàn có thể tạo gờ hình học, làm bàn chân nghiêng và sinh khe hở; lớp sơn, rỉ hoặc lớp phủ chống ăn mòn lại làm thay đổi thêm điều kiện tiếp xúc. Những bề mặt cong như bồn chứa và ống thép cũng đặt ra yêu cầu về tư thế chân khác với tường phẳng.

Chính nhóm tác giả thừa nhận đây là phần việc tiếp theo. Họ muốn mở rộng bộ điều khiển sang bề mặt cong, khe hở và các kết cấu thép không đều, đồng thời khôi phục những kỹ năng chuyển tiếp phức tạp như từ sàn lên tường và từ tường lên trần.

Bối cảnh phần cứng cho thấy hướng đó không bắt đầu từ con số không. Một robot bốn chân trước đây của nhóm KAIST, được công bố trên Science Robotics năm 2022, đã dùng bàn chân EPM kết hợp vật liệu magnetorheological elastomer và chứng minh khả năng leo tường thép, đi trên trần, vượt vật cản cao 5 cm và di chuyển trên bề mặt cong của một bồn chứa có sơn, rỉ và bụi. Công trình mới thay đổi trọng tâm từ “robot có bám được hay không” sang “bộ điều khiển phản ứng thế nào khi một lần bám không diễn ra như dự kiến”.

Đó là khác biệt quan trọng nếu robot loại này được đưa vào kiểm tra thân tàu, bồn chứa hay đường ống. Trong môi trường công nghiệp, một chiến lược luôn yêu cầu bốn chân bám hoàn hảo có thể an toàn trên giấy nhưng lại quá mong manh ngoài thực địa. Khả năng biết lúc nào cần nhả, và biết làm gì khi một chân không bám, mới là thứ biến lực hút nam châm từ một cơ cấu giữ robot trên tường thành một phần của kỹ năng di chuyển.

Nguồn chính: Yong Um và cộng sự, Reinforcement Learning-based Robust Wall Climbing Locomotion Controller in Ferromagnetic Environment, arXiv (2025); nền tảng robot trước đó: Hong và cộng sự, Agile and versatile climbing on ferromagnetic surfaces with a quadrupedal robot, Science Robotics (2022); thông tin kỹ thuật và ứng dụng từ KAIST News Center.