Sau camera megapixel có thể là camera không cần gửi mọi pixel: Sensor tương lai tự quyết định thứ gì đáng nhìn
Một attention vision sensor công bố trên Nature Sensors đưa bước chọn lọc tín hiệu xuống ngay phần cứng cảm biến. Thay vì thu mọi thứ rồi giao toàn bộ cho processor, thiết bị dùng đặc tính phân cực của ánh sáng để làm nổi mục tiêu và triệt bớt nền trước khi neural network xử lý.
Cuộc đua camera nhiều năm qua chủ yếu hỏi một sensor có thể thu được bao nhiêu pixel, nhanh đến đâu và ít nhiễu tới mức nào. Nhưng với robot, xe tự hành hay thiết bị edge AI, một câu hỏi khác ngày càng quan trọng: tại sao phải gửi mọi pixel cho processor nếu phần lớn cảnh không liên quan tới nhiệm vụ?
Một nghiên cứu công bố trên Nature Sensors ngày 27/7/2026 thử đưa quyết định chọn lọc đó xuống ngay phần cứng cảm biến. Nhóm tại Huazhong University of Science and Technology cùng các cộng tác viên phát triển một attention vision sensor (AVS) có khả năng cảm nhận phân cực, lưu trạng thái và thực hiện một phần xử lý ngay trong sensor. Trong demo, hệ thống có thể làm nổi các vật thể nhân tạo giữa nền tự nhiên trước khi dữ liệu đi vào mạng neural dùng cho semantic segmentation.
“Tự quyết định thứ gì đáng nhìn” ở đây cần hiểu chính xác. Sensor chưa hiểu một chiếc xe là quan trọng còn cái cây là không quan trọng theo nghĩa ngữ nghĩa. Sự chọn lọc của prototype dựa trên những đặc trưng quang học cụ thể — đặc biệt là trạng thái phân cực của ánh sáng — được mã hóa ngay trong phản ứng của thiết bị. Neural network phía sau vẫn đảm nhiệm phần nhận dạng cấp cao.
Camera thông thường vẫn thu trước, chọn sau
Camera frame-based cổ điển chụp toàn bộ mảng pixel theo từng frame. Dù cảnh gần như không đổi, mỗi frame vẫn chứa giá trị của hàng triệu pixel phải được đọc ra, truyền qua pipeline xử lý rồi mới tới các thuật toán phát hiện vật thể, segmentation hoặc tracking.
Các hệ thống hiện nay đã có nhiều cách giảm gánh nặng này. Image signal processor có thể đặt rất gần sensor; accelerator AI có thể xử lý tại edge; còn event camera thậm chí không xuất full frame mà chỉ phát sự kiện khi độ sáng ở một pixel thay đổi vượt ngưỡng. Một survey trên IEEE mô tả event camera là kiến trúc trong đó mỗi pixel hoạt động bất đồng bộ và chỉ báo thay đổi độ sáng thay vì liên tục xuất giá trị cường độ tuyệt đối.
Nhưng “có thay đổi” chưa đồng nghĩa với “đáng quan tâm”. Lá cây lay, bóng đổ, phản xạ hay chuyển động nền vẫn có thể tạo event. Nghiên cứu mới nhắm tới lớp chọn lọc khác: để sensor ưu tiên một loại đặc trưng ngay trong lúc cảm nhận, thay vì thu tín hiệu trước rồi mới hỏi thuật toán phía sau cái gì hữu ích.
Ý tưởng đến từ cách bướm nhìn ánh sáng phân cực
Nhóm nghiên cứu lấy cảm hứng từ Heliconius cydno, một loài bướm sử dụng tín hiệu ánh sáng phân cực trong nhận diện bạn tình. Nghiên cứu sinh học trước đây đã cho thấy cánh của một số loài Heliconius tạo tín hiệu phân cực có vai trò trong hành vi giao phối.
Phân cực mô tả hướng dao động của điện trường trong ánh sáng. Hai bề mặt nhìn gần giống nhau về màu và cường độ có thể phản xạ ánh sáng với trạng thái phân cực khác nhau. Nếu sensor nhạy với hướng hoặc mức độ phân cực, nó có thêm một kênh thông tin ngoài RGB và brightness thông thường.
AVS tận dụng một chất bán dẫn hai chiều có tính dị hướng quang học. Trong sơ đồ thiết bị của nhóm, lớp cảm quang là ReS2. Cấu trúc tinh thể không phản ứng giống nhau với mọi hướng phân cực, vì vậy dòng quang điện thay đổi theo hướng của ánh sáng tới. Nhóm kết hợp tính chất này với hành vi giống synapse và memory để biến photodetector thành phần tử vừa cảm nhận vừa giữ và biến đổi tín hiệu.
Sensor không chỉ thấy phân cực, nó dùng phân cực như một “bộ lọc chú ý”
Paper trình bày hai cơ chế chọn lọc. Một cơ chế dựa trên polarization phase, tức hướng phân cực; cơ chế còn lại dựa trên degree of linear polarization — mức độ ánh sáng được phân cực tuyến tính. Hai thông tin này cho phép sensor tạo độ tương phản khác nhau giữa nhóm pixel cần giữ và nhóm nền cần giảm.
Có thể hình dung đây như một bộ lọc đặt trước pipeline computer vision, nhưng thay vì processor đọc toàn bộ ảnh rồi nhân từng pixel với một kernel, một phần phép lọc xuất hiện từ chính đặc tính vật lý và trạng thái điện của sensor. Những vùng có signature phù hợp được tăng tương phản; vùng không phù hợp bị suy giảm.
Ảnh thử nghiệm của nhóm cho thấy một cảnh có xe và cây trước khi và sau bước polarization-enabled preprocessing. Sau xử lý ngay ở front end, tín hiệu của vegetation bị giảm mạnh trong khi các phương tiện được giữ nổi bật hơn, giúp bước semantic segmentation phía sau làm việc trên đầu vào đã được “dọn” bớt.
97,57% accuracy không có nghĩa sensor tự nhận ra mọi vật thể
Khi AVS được ghép với một neural network cho semantic segmentation, nhóm báo cáo độ chính xác 97,57% đối với các vật thể nhân tạo và mức loại bỏ nền tự nhiên 99,56%. Đây là những con số nổi bật, nhưng cần đặt đúng vị trí trong pipeline.
Phần cứng AVS đảm nhiệm sensing, memory và bước selective preprocessing dựa trên phân cực. Neural network vẫn thực hiện semantic segmentation. Vì vậy, kết quả 97,57% là hiệu năng của hệ thống kết hợp trong tác vụ thử nghiệm, không phải bằng chứng rằng một photodetector đơn lẻ đã có khả năng hiểu cảnh như một model computer vision.
Cũng chưa có cơ sở để nói prototype đã loại bỏ hoàn toàn nhu cầu truyền mọi pixel trong một camera thương mại. Điều nghiên cứu chứng minh trực tiếp là sensor có thể triệt và tăng cường thông tin có chọn lọc trước khi xử lý cấp cao. Nếu kiến trúc này được phát triển tới readout selective thực sự ở quy mô lớn, lượng dữ liệu phải di chuyển khỏi focal plane mới có thể giảm tương ứng.
Khác event camera ở chỗ nào?
Event camera đã giải một phần vấn đề dữ liệu dư thừa bằng cách bỏ qua pixel không thay đổi theo thời gian. Một pixel chỉ phát event khi brightness thay đổi đủ lớn. Cách đó đặc biệt hiệu quả cho chuyển động nhanh, latency thấp và cảnh có dynamic range rộng.
Attention vision sensor trong nghiên cứu mới hỏi một câu khác: thay đổi nào liên quan tới loại mục tiêu mình muốn thấy? Thay vì trigger chủ yếu dựa trên temporal contrast, AVS dùng một đặc tính vật lý của ánh sáng để tạo selectivity theo feature.
Hai hướng không loại trừ nhau. Một camera tương lai về nguyên tắc có thể vừa hoạt động kiểu event-based để bỏ tín hiệu tĩnh, vừa dùng feature-selective sensing để bỏ bớt event không liên quan. Nhưng paper hiện tại chưa trình diễn một camera thương mại kết hợp hai kiến trúc đó.
Điểm hấp dẫn nhất là giảm việc di chuyển dữ liệu
Trong vision AI, phép tính không phải lúc nào cũng là phần tốn kém nhất. Di chuyển một lượng lớn dữ liệu giữa sensor, memory và processor cũng tiêu thụ năng lượng và tạo latency. Đây là lý do in-sensor computing được quan tâm: nếu một số phép lọc, tích lũy hoặc feature extraction xảy ra ngay nơi photon trở thành tín hiệu điện, backend có thể nhận một biểu diễn gọn hơn thay vì raw data đầy đủ.
Nghiên cứu của nhóm Huazhong University of Science and Technology đi thêm một bước về mặt kiến trúc: không chỉ xử lý dữ liệu “gần sensor”, mà làm cho chính sensor có bias về loại thông tin cần ưu tiên. Đây là điểm khiến từ “attention” có ý nghĩa hơn một tên gọi marketing — attention được mã hóa bằng phản ứng vật lý khác nhau của thiết bị với các trạng thái phân cực.
Dù vậy, paper không báo cáo một con số system-level như camera tiêu thụ ít hơn bao nhiêu watt hay băng thông giảm bao nhiêu phần trăm so với CMOS sensor thương mại. Nói công nghệ này chắc chắn tiết kiệm một mức năng lượng cụ thể sẽ vượt quá dữ liệu hiện có.
Từ một mảng thử nghiệm tới camera megapixel còn khoảng cách lớn
Giới hạn quan trọng nằm ở scale. Nhóm nghiên cứu cho biết bước tiếp theo là mở rộng sang mảng độ phân giải cao và tích hợp ở quy mô wafer. Đây là bài toán hoàn toàn khác với chứng minh cơ chế trên một array nghiên cứu: hàng triệu pixel cần có response đủ đồng đều, yield tốt, tốc độ readout phù hợp và quy trình chế tạo tương thích với stack camera hiện có.
Polarization cũng không phải dấu hiệu phân biệt hữu ích cho mọi nhiệm vụ. Một vật thể có thể không có signature phân cực rõ ràng; ánh sáng môi trường, góc nhìn và bề mặt đều làm thay đổi tín hiệu. Với nhiều tác vụ, RGB, depth, thermal hoặc temporal cues vẫn quan trọng hơn. Một sensor có “attention” cố định theo một đặc tính vật lý cũng có nguy cơ bỏ mất thông tin mà task khác cần.
Vì vậy, hướng dài hạn có lẽ không phải một loại sensor luôn tự bỏ những pixel mà nó cho là vô ích. Hấp dẫn hơn là những focal-plane có thể cấu hình: task cần chuyển động thì ưu tiên temporal change, cần vật liệu hoặc bề mặt thì khai thác polarization, cần low-light thì thay đổi sensitivity, rồi chỉ chuyển phần dữ liệu đủ hữu ích cho processor phía sau.
Nếu camera đi theo hướng đó, megapixel vẫn còn quan trọng, nhưng không còn là câu hỏi duy nhất. Một sensor tốt sẽ không chỉ được đánh giá bằng lượng dữ liệu nó có thể tạo ra, mà còn bằng lượng dữ liệu nó biết không cần tạo ra ngay từ đầu.
