Robot nhìn thấy hàng triệu pixel mỗi giây nhưng không cần gửi tất cả: Mạng tương lai có thể truyền “ý nghĩa” thay vì video

Một robot di động có camera không thiếu dữ liệu. Vấn đề thường là ngược lại: mỗi giây nó tạo ra một dòng ảnh, depth, LiDAR, odometry và trạng thái đủ lớn để đường truyền trở thành một phần của bài toán điều khiển. Nếu nhiều robot cùng phải gửi tất cả dữ liệu cảm biến về một edge server, cách đơn giản nhất — truyền càng trung thực càng tốt — có thể nhanh chóng biến bandwidth thành nút thắt.

Một nhóm tại Bristol Research and Innovation Laboratory của Toshiba Europe đang thử một cách tiếp cận khác. Trong một testbed công bố dưới dạng preprint tháng 7/2026, robot không gửi nguyên khung RGB tới edge. Nó dùng một neural encoder để biến ảnh thành các token rời rạc gọn hơn, truyền token qua mạng, rồi để máy tính ở edge tái dựng cảnh và dùng cảnh đó cho mapping, nhận diện vật thể và điều khiển nhiệm vụ.

Nhóm gọi đây là goal-oriented semantic communication: chất lượng mạng không chỉ được đánh giá bằng việc bao nhiêu bit tới đích chính xác, mà bằng việc thông tin còn đủ hữu ích để robot lập bản đồ, tìm vật thể và hoàn thành nhiệm vụ hay không.

Trong demo hiện tại, một ảnh RGB 320×240 chiếm 230.400 byte ở dạng đầu vào RGB thô. Sau khi qua VQ-VAE, nó trở thành lưới 80×60 gồm 4.800 token; với codebook 512 mục, payload đóng gói còn 5.400 byte. Đó là mức giảm 42,67 lần so với chính biểu diễn RGB thô mà model nhận vào.

Con số này cho thấy tại sao “truyền ý nghĩa thay vì pixel” hấp dẫn với robotics. Nhưng nó cũng cần được đọc đúng: 42,67× không phải chiến thắng 42,67× trước H.264, H.265, AV1 hay một video codec thương mại. Nhóm nghiên cứu chưa thực hiện phép so sánh đó, và chính paper mô tả testbed hiện tại là một hệ thống work-in-progress chứ không phải benchmark tối ưu.

Mạng hiện nay quan tâm bit có tới nơi; robot quan tâm nhiệm vụ có hoàn thành

Kiến trúc truyền thông truyền thống cố giải một bài toán rất cụ thể: đưa chuỗi bit từ A tới B với lỗi thấp nhất có thể trong giới hạn bandwidth, công suất và độ trễ. Hệ thống không nhất thiết biết bit đó là pixel nền trời, cạnh một chiếc ghế hay tọa độ của chướng ngại vật mà robot sắp va vào.

Với robot, các bit không có giá trị như nhau. Khi một robot đang đi qua hành lang trống, texture trên tường có thể không quan trọng bằng vị trí cửa ra vào. Khi nó tiến vào khu vực nhiều vật cản, một thay đổi nhỏ ở mép vật thể có thể quan trọng hơn hàng nghìn pixel nền. Nếu mục tiêu là “đi tới hộp màu đỏ”, thông tin về vị trí và nhận dạng hộp có giá trị trực tiếp hơn việc tái tạo chính xác từng chi tiết của sàn nhà.

Semantic communication cố đưa logic đó vào chính đường truyền. Encoder phía robot học cách nén quan sát thành một representation nhỏ hơn; receiver và ứng dụng phía sau đánh giá representation ấy theo mức độ hữu ích cho nhiệm vụ, không chỉ theo độ giống từng pixel.

Ý tưởng này đang được nghiên cứu cho 6G vì các mạng tương lai có thể phải phục vụ một số lượng lớn agent AI, robot, phương tiện và sensor hoạt động liên tục. Dự án châu Âu 6G-GOALS, nơi công trình của Toshiba là một phần, đặt mục tiêu giảm những bit không cần thiết bằng semantic và goal-oriented communication thay vì chỉ tiếp tục tăng throughput.

Robot biến ảnh thành 4.800 “từ” trong một codebook thị giác

Phần nén hình ảnh của testbed dùng vector-quantized variational autoencoder, hay VQ-VAE. Có thể hình dung encoder học một từ điển gồm nhiều mẫu thị giác. Thay vì gửi ba giá trị RGB cho từng pixel, robot biến ảnh thành một lưới nhỏ hơn và tại mỗi vị trí chỉ gửi chỉ số của một mục trong codebook.

Ở đây, ảnh 320×240 được đưa xuống lưới latent 80×60. Mỗi trong 4.800 vị trí chứa một token chọn từ codebook 512 phần tử, nên một token cần 9 bit. Sau đóng gói, toàn bộ khung cần 5.400 byte.

Encoder chạy bằng ONNX Runtime trên robot; phía edge dùng PyTorch decoder để tái dựng ảnh. Trong các thử nghiệm offline trên mẫu đã lưu, ảnh tái dựng đạt PSNR khoảng 21,7–21,9 dB. Hình từ paper cho thấy bố cục chính và những vật thể lớn vẫn nhận ra được, trong khi texture nhỏ và chi tiết sắc nét bị mất đáng kể.

Đó chính là trade-off mà hệ thống muốn khai thác. Với người xem video, ảnh hơi nhòe có thể là chất lượng kém. Với một pipeline chỉ cần biết “có ghế ở đây, tường ở đó và robot đang ở vị trí này”, những chi tiết bị mất có thể không ảnh hưởng nhiều đến nhiệm vụ.

Ở edge, token lại trở thành bản đồ có vật thể và vị trí

Robot trong testbed mang RGB-D camera và LiDAR, chạy ROS 2 trên Jetson Nano. Edge node dùng Jetson Orin. Sau khi nhận semantic token, edge tái dựng ảnh rồi kết hợp RGB-D, LiDAR, odometry và transform thông qua RTAB-Map để thực hiện SLAM — vừa ước lượng vị trí robot vừa xây bản đồ môi trường.

Nhóm sau đó chạy một YOLO detector đã fine-tune trên ảnh tái dựng. Vật thể được phát hiện được ghép với depth và pose để đặt lên bản đồ 3D, kèm label, thuộc tính và confidence. Dashboard cho phép người vận hành xem camera, LiDAR, bản đồ 2D/3D, ảnh semantic đã tái dựng và đưa ra những lệnh cấp cao như click-to-go.

Chuỗi xử lý này cho thấy “ý nghĩa” trong demo không phải một câu mô tả kiểu “có một chiếc ghế cách robot hai mét”. Thứ được truyền vẫn là latent visual tokens; edge phải giải mã chúng thành ảnh trước, rồi mới chạy object detection và semantic mapping.

Đây là một phân biệt quan trọng. Semantic communication là một phổ. Ở một cực, thiết bị có thể chỉ gửi nhãn hoặc tọa độ vật thể — rất gọn nhưng mất gần như toàn bộ dữ liệu ngoài nhiệm vụ đó. Ở cực khác, một latent representation như trong demo vẫn giữ đủ thông tin để dựng lại một phiên bản của cảnh, nhờ đó có thể tái sử dụng cho nhiều tác vụ hơn.

42,67× là con số thú vị, nhưng chưa phải 42,67× ít bandwidth ngoài đời

Baseline của paper là ảnh RGB chưa nén: 320×240×3 byte bằng 230.400 byte. Video ngoài thực tế hiếm khi được truyền dưới dạng chuỗi raw RGB như vậy; các codec hiện đại tận dụng cả redundancy trong từng khung và giữa nhiều khung liên tiếp. Vì thế không thể lấy 42,67× rồi kết luận semantic link dùng ít bandwidth hơn video streaming hiện đại cùng hệ số.

Testbed còn có một giới hạn khác: hệ thống hiện tại vẫn truyền song song RGB-D, LiDAR, odometry, TF, semantic token và dữ liệu điều khiển. Semantic stream chưa thay thế toàn bộ sensor traffic. Phần paper tập trung chứng minh đường đi end-to-end từ encoder trên robot tới reconstruction, mapping và dashboard ở edge.

Nhóm cũng chưa báo cáo những phép đo cần thiết để trả lời câu hỏi mạng thực tế: latency trên private 5G/Open RAN giảm bao nhiêu, encoder tốn bao nhiêu năng lượng trên robot, tổng năng lượng của cả hai đầu thay đổi thế nào, và khi nhiều robot cùng hoạt động thì mission success có tốt hơn baseline hay không. Những đánh giá đó được để lại cho future work.

“Ý nghĩa” cũng có phí vận chuyển

Ngay cả khi semantic payload nhỏ hơn, mạng vẫn phải trả giá cho việc hiểu nó. Một companion preprint của chính Xinyi Lin, Peizheng Li và Adnan Aijaz, công bố chỉ một ngày trước demo robot, gọi vấn đề này là The Price of Meaning.

Trong một semantic network thực tế, hai đầu cần biết đang dùng model nào, phiên bản codebook nào, task identifier nào, representation format gì và mức confidence hoặc semantic quality-of-service ra sao. Model hoặc knowledge base đôi khi phải đồng bộ lại. Neural encoder và decoder cũng tiêu tốn compute và memory access.

Phân tích của nhóm cho thấy semantic communication không mặc nhiên tiết kiệm spectrum hay năng lượng chỉ vì payload nhỏ hơn. Với message ngắn, metadata, signaling và model synchronization có thể chiếm tỷ trọng lớn. Về năng lượng, lợi ích từ việc phát ít bit hơn còn phải bù được chi phí inference ở thiết bị.

Điều này đặc biệt quan trọng với robot chạy pin. Một encoder rất nặng có thể giảm traffic vô tuyến nhưng lại đốt nhiều điện hơn trên GPU. Hệ thống chỉ có lợi khi tổng chi phí — radio, compute, synchronization và task utility — tốt hơn giải pháp truyền thống.

Một mạng biết nhiệm vụ có thể ưu tiên thông tin theo tình huống

Nếu semantic communication tiến xa hơn demo hiện tại, thay đổi lớn nhất có thể không nằm ở codec mà ở cách network scheduler phân bổ tài nguyên.

Một robot đang đứng yên và cập nhật bản đồ nền có thể chịu độ trễ cao hơn. Cùng robot đó khi đi qua hành lang đầy người cần các update liên quan tới vật cản nhanh hơn. Một đội robot có thể không cần từng máy gửi cùng một cảnh ở độ chi tiết như nhau nếu edge đã có representation đủ mới từ robot khác.

Paper của Toshiba chỉ ra đây là một hướng mà testbed có thể dùng để nghiên cứu: semantic token stream trở thành một flow riêng, còn mission state và feedback từ application có thể được đưa xuống network layer để thay đổi resource allocation. Thay vì QoS chỉ nói “gói này cần 10 ms latency”, mạng tương lai về lý thuyết có thể biết “thông tin này đang ảnh hưởng trực tiếp tới obstacle avoidance, còn luồng kia chỉ đang làm giàu bản đồ nền”.

Đó là lúc “truyền ý nghĩa” thực sự khác nén video. Nén video cố tái tạo tín hiệu với ít bit hơn. Goal-oriented communication đặt câu hỏi trước đó một bước: receiver cần biết điều gì để làm đúng việc?

Từ demo tới 6G còn thiếu benchmark khó nhất: robot có làm việc tốt hơn không?

Testbed của Toshiba đáng chú ý vì semantic communication đã được nối với robot, edge mapping, object detection và mission dashboard trong một pipeline hoàn chỉnh, thay vì chỉ tồn tại dưới dạng một mô hình nén trên dataset. Nhưng paper hiện là preprint work-in-progress, và chính tác giả nói đóng góp của họ không phải một benchmark đã tối ưu.

Bài kiểm tra tiếp theo vì thế không nên chỉ là giảm payload thêm vài lần. Cần so trực tiếp với các codec và phương án edge robotics hiện có ở cùng điều kiện wireless, rồi đo những biến mà robot thực sự quan tâm: thời gian hoàn thành nhiệm vụ, tỷ lệ phát hiện vật thể, lỗi localization, collision rate, latency đuôi, năng lượng trên pin và khả năng chịu packet loss.

Nếu semantic representation nhỏ hơn nhưng làm robot bỏ sót một vật cản hiếm, nó không phải compression tốt cho nhiệm vụ đó. Ngược lại, nếu một stream trông xấu với mắt người nhưng vẫn giữ đúng những cấu trúc cần cho SLAM và control, PSNR thấp chưa chắc là thất bại.

Đó là thay đổi quan trọng nhất mà semantic communication đề xuất cho mạng của robot: từ câu hỏi “chúng ta truyền được bao nhiêu bit mỗi giây?” sang “với số bit này, robot còn hiểu đủ để làm gì?”. Demo hiện tại mới là một bằng chứng ban đầu cho hướng đó, chưa phải kiến trúc 6G đã sẵn sàng triển khai.

Nguồn

• Peizheng Li, Xinyi Lin, Sajida Gufran & Adnan Aijaz, “When Robots Exchange Meaning: A Demo of Goal-Oriented Semantic Communications for Collaborative Robotics”, arXiv, 2026.
• Xinyi Lin, Peizheng Li & Adnan Aijaz, “The Price of Meaning: Quantifying Semantic Communication Overheads in Practice”, arXiv, 2026.
• European Commission CORDIS — 6G-GOALS: 6G Goal-Oriented AI-enabled Learning and Semantic Communication Networks.
• 6G-GOALS project — project overview and work packages.