Camera thường tách “nhìn” khỏi xử lý: Bionic eye mới muốn để sensor tự nhìn, nhớ và “suy nghĩ”

Vấn đề của camera hiện đại không chỉ là nhìn được bao nhiêu megapixel. Một phần chi phí năng lượng và độ trễ nằm ở chỗ dữ liệu hình ảnh phải liên tục rời sensor, đi qua mạch đọc, bộ nhớ rồi mới tới bộ xử lý để lọc nhiễu, nhận dạng hoặc theo dõi chuyển động. Smartphone và camera chuyên dụng đã có ISP hay accelerator đặt rất gần sensor, nhưng chức năng cảm nhận, ghi nhớ và tính toán vẫn thường là những khối phần cứng tách biệt.

Một nhóm nghiên cứu tại Harbin Institute of Technology (Shenzhen), Southern University of Science and Technology và các đơn vị cộng tác đang thử đẩy một phần công việc đó xuống tận photodetector. Hệ thống được công bố trên Nature Sensors ngày 31/7/2026 là một bionic eye với võng mạc nhân tạo cong, mật độ pixel rất cao, khả năng điều chỉnh tiêu cự và đặc biệt là các pixel có hành vi giống synapse: chúng có thể giữ lại dấu vết của kích thích ánh sáng rồi dùng chính đặc tính đó cho xử lý tín hiệu ngay trong sensor.

“Nhớ” và “suy nghĩ” ở đây cần hiểu theo nghĩa phần cứng neuromorphic, không phải nhận thức. Thiết bị không có ý thức và cũng chưa phải một mắt cấy ghép cho người. Điểm mới nằm ở việc một phần sensing, memory và preprocessing vốn phải đi qua nhiều khối điện tử riêng được gom lại ngay tại nơi ánh sáng được chuyển thành tín hiệu điện.

Camera không thiếu “mắt”, nó thiếu một võng mạc biết xử lý

Trong kiến trúc machine vision thông thường, image sensor tạo ra một lượng lớn dữ liệu pixel rồi chuyển chúng sang các mạch phía sau. Một review về in-sensor computing trên npj Unconventional Computing chỉ ra rằng sự tách rời giữa sensing, memory và computing khiến hệ thống phải trả giá bằng năng lượng cho việc di chuyển dữ liệu và độ trễ truyền thông.

Võng mạc sinh học hoạt động khác. Photoreceptor không đơn thuần chụp một “khung hình” hoàn chỉnh rồi chuyển mọi thứ nguyên trạng lên não; nhiều bước như thích nghi sáng tối, tăng tương phản và lọc tín hiệu đã diễn ra trong mạng lưới võng mạc trước khi thông tin đi qua dây thần kinh thị giác. In-sensor computing cố bắt chước chính nguyên tắc đó: giữ những phép xử lý đơn giản, lặp lại và sát dữ liệu ở ngay sensor.

Pixel dạng “que” giải bài toán nhỏ nhưng vẫn phải nhạy

Phần lõi của hệ thống mới là một võng mạc linh hoạt sử dụng các photodetector InN_x/SU-8 dạng microrod đứng, được ghép với waveguide. Thay vì trải vùng hấp thụ ánh sáng trên một pixel phẳng lớn hơn, thiết kế dựng cấu trúc cảm quang theo chiều dọc và dẫn ánh sáng dọc theo thân pixel. Cách bố trí này giúp tăng quãng tương tác giữa ánh sáng và vật liệu mà không cần mở rộng diện tích chiếm chỗ trên bề mặt sensor.

Nhóm nghiên cứu chế tạo ma trận 4.200 × 4.200 pixel, tức hơn 17 triệu pixel, với mật độ 7,84 × 10⁶ pixel/cm², tương đương khoảng 7.000 ppi. Paper báo cáo specific detectivity đạt 2,17 × 10¹⁴ Jones. Theo nhóm tác giả, mật độ tích hợp này cao hơn mật độ võng mạc người hơn một bậc độ lớn, trong khi kiến trúc waveguide giúp tránh đánh đổi quá mạnh giữa pixel nhỏ và hiệu suất thu ánh sáng.

“Nhớ” nằm ngay trong phản ứng của photodetector

Chi tiết khiến hệ thống trở thành neuromorphic không nằm ở hình cầu của “con mắt”, mà ở động học của từng photodetector. Khi nhận các xung ánh sáng lặp lại, photocurrent không nhất thiết lập tức trở về trạng thái ban đầu. Thiết bị có thể biểu hiện short-term plasticity và chuyển sang long-term plasticity, tức phản ứng hiện tại còn phụ thuộc vào kích thích đã xảy ra trước đó.

Trong Extended Data, nhóm nghiên cứu cho thấy thời gian hồi phục có thể điều chỉnh bằng điện áp gate. Ở V_g = −1 V, charge trapping bị kìm hãm và tín hiệu hồi phục nhanh khoảng 210 ms. Ở 0 V, tín hiệu suy giảm chậm hơn theo kiểu short-term plasticity; còn ở 0,25 V, phản ứng chuyển sang trạng thái không bay hơi. Đây là phần “visual memory” của thiết bị: thông tin về kích thích ánh sáng được mã hóa vào trạng thái điện của chính pixel thay vì luôn phải ghi ngay sang một memory chip riêng.

Khả năng này đặc biệt hữu ích cho những tác vụ theo thời gian, nơi một frame đơn lẻ không đủ thông tin. Nếu sensor có thể giữ một phần lịch sử tín hiệu, các bước như khử nhiễu, phát hiện thay đổi hay trích đặc trưng chuyển động có thể bắt đầu trước khi toàn bộ dữ liệu rời khỏi võng mạc nhân tạo.

Một võng mạc có thể đổi độ cong

Nhóm nghiên cứu không dừng ở một mảng pixel phẳng. Họ đặt lớp võng mạc linh hoạt vào một cấu trúc hình cầu có thể thay đổi độ cong để điều chỉnh mặt phẳng tiêu cự. Về quang học, đây là một cách xử lý khác với camera truyền thống vốn thường dựa nhiều vào cụm thấu kính để bù sai lệch khi khoảng cách lấy nét thay đổi.

Prototype đạt trường nhìn 110° và theo paper, cơ chế điều chỉnh đồng bộ giữa quang học và bề mặt sensor làm giảm field curvature 45,7%. Khi kết hợp việc thay đổi tiêu cự với khử nhiễu ở sensor, hệ thống hỗ trợ nhận dạng ảnh và đạt độ chính xác 96,1% trong tái dựng quỹ đạo chuyển động 3D.

Con số 96,1% không có nghĩa đây là một “con mắt AI” tổng quát. Nó là kết quả của một tác vụ thử nghiệm cụ thể trong hệ thống mà nhóm xây dựng, với mục tiêu chứng minh rằng một sensor vừa thích nghi quang học vừa có tính chất neuromorphic có thể giữ chất lượng tín hiệu đủ tốt cho theo dõi không gian.

“Suy nghĩ” đến đâu? Prototype vẫn cần host computer

Đây là giới hạn quan trọng nhất nếu chỉ nhìn vào cụm từ in-sensor computing. Extended Data của paper mô tả hệ thống thử nghiệm vẫn kết nối võng mạc nhân tạo với mạch driving/readout tùy biến và một host computer dùng cho xử lý ảnh và hiển thị. Nói cách khác, sensor đã nhận thêm một phần công việc trước đây thuộc về bộ xử lý ngoài, nhưng chưa thay thế hoàn toàn computer.

Vì vậy, chữ “suy nghĩ” chỉ nên dùng như một phép rút gọn cho preprocessing và neuromorphic signal processing. Phần cứng có thể lọc, giữ trạng thái và biến đổi tín hiệu dựa trên lịch sử kích thích; các bước nhận dạng cấp cao hơn vẫn cần mạng nơ-ron và hệ thống tính toán phía sau.

Điều đáng chú ý là ranh giới giữa camera và computer đang dịch chuyển. Thay vì hỏi sensor có thể gửi bao nhiêu dữ liệu mỗi giây, hướng nghiên cứu này đặt câu hỏi khác: sensor có thể loại bỏ bao nhiêu dữ liệu không cần thiết và giữ lại bao nhiêu thông tin hữu ích trước khi phải gửi chúng đi?

Từ bionic eye trong lab tới machine vision thật còn nhiều việc

Hệ thống hiện là một demonstration nghiên cứu, không phải module camera thương mại và càng không phải prosthetic eye dùng để phục hồi thị lực. Để kiến trúc tương tự đi vào robot, xe tự hành hay thiết bị edge, các nhóm phát triển còn phải chứng minh độ bền khi bề mặt sensor uốn đổi nhiều lần, yield khi sản xuất mảng pixel mật độ cao, mức tiêu thụ điện của toàn bộ hệ thống đọc–điều khiển, cũng như khả năng đóng gói và tích hợp với phần cứng xử lý hiện có.

Một thách thức khác là phân chia đúng phần việc giữa sensor và processor. Đưa toàn bộ AI xuống pixel không nhất thiết hiệu quả; những phép xử lý đơn giản, có tính lặp lại và phụ thuộc mạnh vào tín hiệu cục bộ có thể phù hợp với in-sensor computing hơn, trong khi nhận dạng ngữ nghĩa hay lập kế hoạch vẫn hợp lý khi để cho accelerator phía sau.

Nếu hướng này tiến được tới sản xuất ổn định, thay đổi đáng chú ý sẽ không phải camera “có não” theo nghĩa khoa học viễn tưởng. Nó sẽ giống võng mạc hơn: không chỉ biến ánh sáng thành dữ liệu, mà chủ động định hình dữ liệu ngay từ khoảnh khắc đầu tiên.

Nguồn

• Nature Sensors: A neuromorphic bionic eye with ultradense waveguide-coupled pixels for depth-tunable 3D vision
• Behind the Paper của Jing-Kai Qin trên Springer Nature Research Communities
• npj Unconventional Computing: Bio-inspired optoelectronic devices and systems for energy-efficient in-sensor computing