Sau camera thông minh có thể là “pixel thông minh”: Sensor tương lai tự xử lý ánh sáng trước khi CPU nhìn thấy dữ liệu

Trong camera hiện đại, pixel không hoàn toàn “ngu”: cảm biến CMOS đã có transistor đọc tín hiệu, ADC thường nằm ngay trên chip hoặc chip xếp chồng, còn ISP xử lý noise, màu và HDR ở rất gần sensor. Nhưng vai trò cơ bản vẫn khá rõ: pixel chủ yếu biến photon thành tín hiệu điện, sau đó dữ liệu mới đi sang những khối khác để lọc, lưu và chạy thuật toán.

Một nhóm tại University of Science and Technology of China cùng các cộng tác viên đang thử đẩy ranh giới đó xuống chính diode nhận ánh sáng. Trong nghiên cứu công bố trên Nature Electronics, họ tạo một diode p–n bằng nanowire GaN có thể thực hiện ba chức năng trên cùng một phần tử: photosensing, memory và processing. Chỉ bằng cách thay đổi bias, thiết bị có thể chuyển từ đo ánh sáng sang giữ “dấu vết” của tín hiệu trước đó, rồi dùng trạng thái điện tích ấy để lọc nhiễu hoặc biểu diễn weight của một mạng neural.

Nhóm chế tạo mảng 10×10 gồm 100 diode và trình diễn một workflow gồm nhận ảnh, khử nhiễu và phân loại. Với ảnh Fashion-MNIST bị thêm nhiễu ngẫu nhiên, độ chính xác nhận dạng trước xử lý thấp hơn 60%; sau bước denoising dựa ngay trên đặc tính vật lý của sensor, kết quả tăng lên trên 95% trong mô hình thử nghiệm.

Điểm đáng chú ý không phải một camera 100 pixel vừa đánh bại smartphone. Nó nằm ở kiến trúc: một phần công việc mà camera thông thường giao cho memory và processor được thực hiện trong chính quá trình photon biến thành dòng điện.

Camera hiện tại phải di chuyển dữ liệu qua nhiều “trạm”

Một pipeline thị giác máy điển hình bắt đầu ở photodiode, sau đó tín hiệu analog được đọc và số hóa, chuyển vào memory rồi xử lý bằng ISP, CPU, GPU hoặc neural accelerator. Ở camera AI luôn bật, robot hay thiết bị IoT, lượng dữ liệu phải di chuyển giữa các khối này có thể trở thành một phần đáng kể của chi phí năng lượng và latency.

Đó là lý do giới nghiên cứu phân biệt near-sensor computing với in-sensor computing. Near-sensor đặt accelerator rất gần sensor để giảm quãng đường dữ liệu phải đi. In-sensor đi xa hơn: computation được đưa trực tiếp vào pixel hoặc phần tử cảm biến, thường bằng cách tận dụng một tính chất vật lý vốn đã tồn tại trong device.

Một Perspective năm 2025 về edge intelligence mô tả in-sensor computing chủ yếu phù hợp với những nhiệm vụ nhẹ và có tính chuyên biệt như filtering, edge detection, compression hoặc feature extraction. Những model lớn hơn vẫn cần near-sensor accelerator hay processor phía sau. Vì vậy, “pixel thông minh” không nhất thiết thay CPU; nó có thể làm nhiệm vụ lọc bớt và định hình dữ liệu trước khi CPU phải nhìn thấy nó.

Một “hồ chứa electron” biến diode thành ba thiết bị khác nhau

Diode trong nghiên cứu có cấu trúc nanowire p-GaN/n-AlGaN/n-GaN mọc thẳng đứng trên nền silicon. Mấu chốt là đoạn n-AlGaN có bandgap lớn hơn, tạo ra một vùng mà nhóm gọi là electron reservoir bên trong junction.

Khi ánh sáng tạo electron–hole pair, điện trường nội tại của p–n junction tách các hạt mang điện như một photodiode bình thường. Nhưng một phần electron có thể bị giữ tạm thời trong reservoir. Bằng cách thay đổi bias, nhóm điều khiển việc giữ và giải phóng lượng điện tích này.

Ở 0 V, diode hoạt động như một photodetector tự cấp nguồn với responsivity được báo cáo là 10,45 mA/W trong điều kiện đo của paper. Khi đặt bias khoảng 1 V, electron đã tích lũy có thể tiếp tục được giải phóng sau khi ánh sáng tắt; phản ứng với pulse tiếp theo phụ thuộc vào tín hiệu trước đó. Thiết bị vì thế biểu hiện hành vi kiểu synapse ngắn hạn, với paired-pulse facilitation lên tới 122%.

Ở chế độ memory, lượng điện tích lưu có thể được điều khiển bằng số pulse ánh sáng. Nhóm tạo được tám trạng thái dòng điện gần tuyến tính, tương ứng với 0–7 lần ghi. Các trạng thái này có thể đóng vai trò như những mức weight analog thay vì một bit 0/1 đơn giản.

Cùng một diode vì thế không thay đổi cấu trúc vật lý khi chuyển nhiệm vụ. Thứ thay đổi là điều kiện điện áp và cách đọc dòng điện.

Khử nhiễu bằng việc để pixel “nhớ” tín hiệu nào xuất hiện thường xuyên

Phần dễ hình dung nhất của demo là denoising. Nhóm đưa ảnh Fashion-MNIST cùng nhiễu nền ngẫu nhiên vào sensor trong nhiều frame. Tín hiệu thuộc vật thể xuất hiện lặp lại có lịch sử kích thích khác với nhiễu ngẫu nhiên chỉ lóe lên từng lúc.

Trong chế độ photosynaptic, reservoir tích lũy và giải phóng electron theo thời gian. Sau 10 frame, nhóm chuyển bias từ 0 V sang 1 V. Những pixel có tín hiệu lặp lại để lại lượng điện tích đủ lớn để tạo dòng đọc vượt ngưỡng, trong khi nhiều pixel nhiễu không đạt ngưỡng đó. Kết quả là sensor tự thực hiện một dạng temporal filtering bằng động học hạt tải.

Điều đáng nói là không cần chụp xong toàn bộ chuỗi ảnh rồi gửi mọi pixel sang CPU để chạy một thuật toán denoise số. Một phần quyết định “tín hiệu này có đáng giữ không?” đã được mã hóa trong trạng thái vật lý của diode.

Đây cũng là lý do cách làm có nét giống retina hơn camera cổ điển. Võng mạc không truyền nguyên ma trận photon lên não; các mạch thần kinh ngay trong mắt đã lọc contrast, thời gian và chuyển động trước khi tín hiệu rời retina. Thiết bị GaN không sao chép retina theo nghĩa sinh học, nhưng khai thác cùng nguyên tắc kiến trúc: đừng vận chuyển dữ liệu mà bạn có thể xử lý ngay nơi nó sinh ra.

Từ “nhớ ánh sáng” tới weight của mạng neural

Ở bước classification, trạng thái photomemory của diode được dùng để biểu diễn synaptic weight. Cường độ hoặc số lần chiếu sáng quyết định lượng điện tích được lưu; điện áp đầu vào và dòng điện đọc ra đóng vai trò tương ứng với input và output của phép tính analog.

Nhóm dùng đặc tính này để ánh xạ các mạng neural cho MNIST và Fashion-MNIST. Với bài Fashion-MNIST trong workflow denoising, mạng ba lớp được cấu hình để phân biệt nhóm “bag” với các category khác. Ảnh có nhiễu chưa được xử lý cho accuracy dưới 60%, còn ảnh đã khử nhiễu và ảnh gốc đạt trên 95% sau 10 epoch trong đánh giá của nhóm.

Con số này cần được hiểu đúng. Đây không phải benchmark của một camera thương mại chạy object detector phức tạp trên video thực. Mảng vật lý chỉ có 10×10 diode; bài toán dùng dataset nhỏ, còn neural-network operations được xây quanh đặc tính analog đã đo của thiết bị. Thành công hiện tại chứng minh nguyên lý “sensor có thể vừa cảm nhận vừa giữ weight và xử lý”, không chứng minh nó đã thay được ISP hay NPU hiện đại.

Prototype hiện nhìn tốt nhất ở 265 nm, không phải camera RGB smartphone

Một giới hạn khác nằm ngay ở ánh sáng đầu vào. Thiết bị được thiết kế hướng tới vùng tử ngoại và nhóm dùng LED 265 nm cho phần lớn phép đo vì đây là vùng có đáp ứng mạnh nhất. Vì vậy, cách gọi “camera tương lai” nên được hiểu là một kiến trúc cảm biến thử nghiệm, không phải một cảm biến màu visible-light sẵn sàng đi vào điện thoại.

Scale cũng còn rất xa. Nhóm đo độ đồng đều trên 100 diode và báo cáo biến thiên đặc tính trong khoảng ±5% ở ba chế độ. Stability test photosensing kéo dài 3.000 giây; photosynaptic được lặp 50 cycle với biến thiên peak current dưới 1%; photomemory cũng được thử 50 chu kỳ write–read–erase với current drift dưới 5%.

Những phép đo này phù hợp với một proof-of-concept, nhưng một image sensor thương mại phải có hàng triệu pixel, yield cao, uniformity cực chặt, hoạt động nhiều năm và chịu hàng tỷ chu kỳ đọc. Khi array lớn lên, drift giữa pixel, calibration, crosstalk và peripheral circuitry có thể làm mất một phần lợi thế mà device đơn lẻ cho thấy.

“Không cần processor” cũng chưa đúng

Paper nhấn mạnh rằng sensing, memory và processing có thể nằm trong cùng diode mà không cần thêm memory/processing circuit cho các chức năng được demo. Tuy nhiên, hệ thống hoàn chỉnh vẫn cần readout PCB, nguồn bias, routing và logic điều khiển. Một sản phẩm thực tế vẫn sẽ có processor để chạy những phần việc phức tạp hơn.

Điều in-sensor computing muốn thay đổi là phân chia lao động. Thay vì CPU nhận từng frame thô rồi mới quyết định pixel nào là noise, sensor có thể gửi một frame đã lọc. Thay vì ADC số hóa mọi tín hiệu với cùng độ chính xác, pixel có thể chỉ phát ra feature hoặc event quan trọng. Nếu nhiệm vụ cuối chỉ cần biết “có vật thể chuyển động hay không”, camera không nhất thiết phải tạo video đẹp trước rồi mới trả lời câu hỏi đó.

Đây là lợi thế đặc biệt với camera luôn bật, robot nhỏ, wearable và sensor chạy bằng pin — những nơi data movement có thể đắt hơn chính phép toán đơn giản cần thực hiện.

Một xu hướng rộng hơn: biến đặc tính “không lý tưởng” của sensor thành phép tính

GaN diode không phải hướng duy nhất. Tháng 8/2026, một nhóm khác tại Chinese University of Hong Kong công bố trên Nature Communications một nguyên lý gọi là LinExp-τ, khai thác chính đáp ứng suy giảm theo hàm mũ của sensor để thực hiện multiply–accumulate. Họ thử cách này trên photodetector bán dẫn, oxide transistor và cả neural probe polymer dẫn điện.

Ý tưởng chung rất giống nhau về triết lý: thứ từng bị xem là “memory effect”, decay hay non-ideality của sensor có thể trở thành tài nguyên tính toán nếu thuật toán được thiết kế quanh nó. Thay vì ép vật liệu phải hành xử như một transistor số lý tưởng rồi đưa dữ liệu sang CPU, người ta hỏi liệu vật lý của cảm biến có thể tự giải một phần bài toán hay không.

Nhưng cùng lúc, chính đặc tính analog đó tạo ra thách thức: device-to-device variation, drift, nhiệt độ, tuổi thọ và calibration. Một phép toán dựa trên electron bị giữ trong reservoir chỉ có giá trị khi hàng triệu pixel giữ electron đủ giống nhau để output còn đáng tin.

Từ 100 pixel tới camera thực tế còn một bài toán hệ thống

Bước tiếp theo không chỉ là làm diode nhỏ hơn. Một smart-pixel sensor thực sự cần chứng minh khả năng scale lên array lớn, hoạt động với ánh sáng và scene ngoài đời, tích hợp với CMOS readout, giữ accuracy khi nhiệt độ và tuổi thiết bị thay đổi, đồng thời cho thấy tổng năng lượng của toàn hệ thống thực sự thấp hơn camera cộng accelerator hiện nay.

Nếu những điều đó xảy ra, thay đổi lớn có thể không nằm ở việc camera “có AI” — smartphone đã có AI camera từ lâu. Thay đổi nằm ở nơi AI bắt đầu. Thay vì photon được chuyển thành hàng triệu con số rồi chờ processor quyết định cái gì quan trọng, một phần quyết định đó có thể xảy ra ngay khi ánh sáng chạm pixel.

Khi ấy, CPU không còn là nơi đầu tiên dữ liệu trở nên có ý nghĩa. Nó chỉ nhận phần mà sensor đã quyết định đáng để gửi lên.

Nguồn

• Yuanmin Luo và cộng sự, “A single diode with integrated photosensing, memory and processing for neuromorphic image sensors”, Nature Electronics, 2026.
• University of Cambridge Apollo — accepted manuscript của nghiên cứu.
• Chinese Academy of Sciences — Researchers Develop Three-in-One Diode with Photosensing-Memory-Processing Functionality for Neuromorphic Imaging.
• National Natural Science Foundation of China — tổng quan kết quả và sơ đồ thiết bị, 2026.
• Yongmin Baek và cộng sự, “Edge intelligence through in-sensor and near-sensor computing for the artificial intelligence of things”, npj Unconventional Computing, 2025.
• Mingqiang Wang và cộng sự, “Single-device in-sensor computing for multi-channel multiply-accumulate operations”, Nature Communications, 2026.