Sau camera thông minh có thể là “pixel thông minh”: Sensor tương lai tự xử lý ánh sáng trước khi CPU nhìn thấy dữ liệu

Một camera thông thường làm một việc tưởng rất hợp lý: mỗi pixel đo ánh sáng, chuyển tín hiệu analog thành số, rồi gửi một ma trận hàng triệu giá trị tới memory và CPU/GPU. Chỉ sau đó phần mềm mới bắt đầu hỏi những câu đơn giản như đâu là cạnh của vật thể, vùng nào chỉ là background hay điểm sáng nào đang di chuyển.

Với machine vision chạy liên tục, chính quãng đường dữ liệu đó có thể trở thành gánh nặng. Sensor phải đọc toàn bộ frame, ADC số hóa nó, dữ liệu được ghi và đọc khỏi memory, rồi accelerator mới thực hiện convolution hoặc neural-network inference. Một phần năng lượng và latency không nằm ở phép tính cuối cùng mà ở việc di chuyển dữ liệu tới nơi có thể tính.

Một hướng phần cứng đang cố đảo thứ tự này. Thay vì coi pixel là phần tử thụ động chỉ biết đo ánh sáng, in-sensor computing cho pixel hoặc cụm pixel thực hiện một số phép toán ngay trong quá trình cảm nhận. CPU vẫn còn ở phía sau, nhưng thứ nó nhận có thể đã là edge map, tín hiệu đã trừ background hoặc feature đã được nén — thay vì toàn bộ ảnh thô.

Hai nghiên cứu trên Nature Communications trong năm 2026 cho thấy ý tưởng này đang dịch chuyển từ những device đơn lẻ sang kiến trúc có thể lập trình. Một nhóm chế tạo mảng photodiode perovskite trên wafer 4 inch, cho phép mỗi đơn vị vừa nhận ánh sáng vừa thực hiện phép multiply–accumulate. Một nhóm khác công bố cuối tháng 8 một nguyên lý tổng quát hơn, khai thác chính đáp ứng suy giảm theo thời gian của sensor để biến một thiết bị đơn lẻ thành phần tử MAC đa kênh.

Tại sao chuyển pixel sang CPU lại tốn kém?

Trong kiến trúc camera số truyền thống, ánh sáng tạo ra điện tích hoặc dòng điện tại photodiode. Tín hiệu này đi qua mạch đọc, được ADC chuyển sang giá trị số rồi mới được đưa vào ISP, CPU, GPU hoặc NPU.

Cách tách sensing và computing có một lợi thế lớn: linh hoạt. Cùng một ảnh thô có thể được dùng cho hàng trăm thuật toán khác nhau. Nhưng khi camera có độ phân giải cao và chạy hàng chục hoặc hàng trăm frame mỗi giây, hệ thống phải vận chuyển một lượng dữ liệu khổng lồ kể cả khi task phía sau chỉ cần vài feature đơn giản.

Một perspective trên npj Unconventional Computing năm 2025 phân biệt hai cách giảm quãng đường này. Near-sensor computing đặt accelerator ngay cạnh sensor nhưng vẫn giữ sensing và processing thành hai khối. In-sensor computing đi xa hơn: chức năng tính toán nằm ngay trong pixel hoặc vật liệu cảm biến, để một phần preprocessing xảy ra trước hoặc với rất ít bước analog-to-digital conversion.

Ý tưởng này gần với võng mạc hơn camera cổ điển. Mắt người không gửi từng photon đã đo lên não rồi mới bắt đầu xử lý. Nhiều phép như tăng tương phản, phát hiện thay đổi và tổ chức tín hiệu đã diễn ra ở retina trước khi thông tin đi qua dây thần kinh thị giác.

Một photodiode có thể vừa là pixel vừa là trọng số

Nghiên cứu của Zhenye Zhan và các cộng sự, công bố tháng 4/2026, dùng một photodiode perovskite hợp kim chì–thiếc có cấu trúc thành phần biến thiên theo chiều dày. Nhóm gọi phần tử cơ bản là bipolar programmable perovskite unit, hay BPPU.

Mỗi BPPU ghép hai photodiode theo cấu hình cho phép responsivity — mức dòng điện sinh ra với cùng lượng ánh sáng — được điều chỉnh từ âm sang dương bằng điện áp rất nhỏ, trong khoảng −200 tới +200 mV. Khi ánh sáng tới là input và responsivity được lập trình đóng vai trò weight, dòng điện đầu ra tự nhiên thực hiện phép nhân giữa hai đại lượng. Nối nhiều nhánh vào cùng một đầu ra sẽ cộng các dòng đó lại.

Đó chính là cấu trúc toán học của multiply–accumulate (MAC), phép toán nằm ở lõi của convolution và neural network. Thay vì photodiode chỉ tạo dữ liệu để một processor khác nhân với weight, bản thân quá trình quang–điện đã thực hiện một phần phép nhân và phép cộng.

Nhóm chế tạo các mảng 2×2 và 6×6 trên wafer 4 inch chứa 404 photodiode, tương ứng 101 BPPU. Đây vẫn là prototype nghiên cứu, không phải image sensor megapixel, nhưng nó cho thấy thiết kế có thể đi từ một device vật liệu sang mảng lập trình được trên wafer.

Edge detection xảy ra trước khi ảnh trở thành ảnh số hoàn chỉnh

Một phép lọc cạnh đơn giản thường so độ sáng giữa các pixel lân cận. Trong software, camera trước hết phải đọc hai pixel, số hóa chúng rồi CPU hoặc ISP mới tính hiệu.

BPPU có thể làm phép trừ ngay ở miền photocurrent. Khi hai photodiode lân cận được đặt responsivity trái dấu, ánh sáng background giống nhau trên cả hai gần như tự triệt tiêu; thay đổi cục bộ giữa hai vùng tạo dòng điện còn lại. Về bản chất, sensor đang thực hiện một kernel vi phân trước khi dữ liệu đi tới processor.

Trong thử nghiệm fingerprint, chế độ này trích trực tiếp đường biên của ridge và sweat pore. Nhóm báo cáo edge-specific signal-to-noise ratio tăng 101% và kết quả có mức tương đồng 95,5% với output từ xử lý số thông thường trong setup của họ.

Thử nghiệm NIR trên bàn tay cho thấy cùng nguyên lý có thể làm nổi boundary của tĩnh mạch trong điều kiện chênh sáng lớn. BPPU có linear dynamic range được báo cáo tới 230 dB ở 860 nm và thời gian đáp ứng khoảng 33 ns. Với background mạnh, mạch vi phân có thể loại phần tín hiệu chung trước khi nó chiếm hết dynamic range của các tầng xử lý phía sau.

Điểm quan trọng không phải sensor đã “hiểu” ảnh. Nó chỉ thực hiện một phép tuyến tính rất hẹp nhưng hữu ích — giống như đưa kernel đầu tiên của một pipeline vision xuống tận mặt phẳng cảm biến.

“Pixel thông minh” không nhất thiết phải chứa một CPU tí hon

Một cách dễ hiểu sai in-sensor computing là tưởng mỗi pixel sẽ có transistor đủ để chạy một neural network nhỏ. Một số kiến trúc đúng là tích hợp circuit tính toán cạnh photodiode, nhưng hướng vật liệu mới thú vị ở chỗ phép tính có thể xuất hiện từ chính vật lý của sensor.

Paper công bố ngày 26/8/2026 của Mingqiang Wang, Hui Yu và các cộng sự tại Chinese University of Hong Kong đẩy ý tưởng này theo hướng tổng quát hơn. Nhóm nhận ra một quan hệ toán học giữa phép lan truyền carry trong tính toán và đáp ứng suy giảm theo hàm mũ vốn xuất hiện tự nhiên ở nhiều sensor.

Họ gọi nguyên lý đó là LinExp-τ. Thay vì ghép nhiều phần tử chuyên dụng để nhân từng kênh rồi cộng chúng, hệ thống mã hóa dữ liệu theo thời gian và dùng chính quá trình đáp ứng rồi suy giảm của thiết bị để tích hợp nhiều kênh vào một output.

Nhóm không chỉ thử trên một loại photodetector. Họ báo cáo nguyên lý hoạt động trên semiconductor photodetector, oxide transistor và cả probe thần kinh bằng polymer dẫn điện. Với photodetector tốc độ cao, paper cho biết implementation đạt tốc độ ở cấp gigascale và không tiêu thụ static power trong phần core operation.

Điều đáng chú ý ở đây là hướng phát triển: nếu phép tính phụ thuộc vào một đặc tính vật lý chung của sensor thay vì một vật liệu hiếm hoặc circuit đặc biệt cho từng loại pixel, in-sensor computing có cơ hội trở thành một primitive rộng hơn chứ không chỉ là một collection của những demo vật liệu khác nhau.

CPU không biến mất — dữ liệu đi tới CPU chỉ ít “thô” hơn

In-sensor computing không có mục tiêu hợp lý nào là nhét toàn bộ perception stack vào pixel. Một photodetector thực hiện edge detection rất tốt không có nghĩa nó có thể chạy object detector, reasoning model hay multi-camera tracking.

Thế mạnh của sensor nằm ở những phép gần với dữ liệu vật lý: trừ background, phát hiện thay đổi, tích hợp theo thời gian, convolution tuyến tính đơn giản hoặc giảm dimensionality. Sau bước đó, digital processor vẫn làm những phần cần precision, programmability, memory lớn và thuật toán phức tạp.

Đây cũng là trade-off cốt lõi. Càng đẩy nhiều computation xuống pixel, sensor càng phải hy sinh diện tích cho mạch hoặc dùng vật liệu có hành vi phức tạp hơn. Pixel pitch, fill factor, noise, uniformity và calibration đều trở nên khó kiểm soát. Một camera CMOS thương mại có hàng triệu pixel đồng nhất; prototype vài chục phần tử chưa chứng minh được rằng cùng độ ổn định có thể giữ nguyên khi scale lên megapixel.

Analog computing còn mang theo một vấn đề khác: precision. Dòng điện và responsivity bị ảnh hưởng bởi nhiệt độ, process variation, aging và noise. Một convolution số trên GPU có thể lặp lại bit-for-bit; một kernel analog trong sensor cần calibration và thường phù hợp hơn với preprocessing chịu được sai số.

Perovskite cho thấy khả năng, nhưng CMOS compatibility mới quyết định đường ra sản phẩm

Prototype BPPU dùng perovskite Pb–Sn và được chế tạo bằng vapor deposition. Nhóm báo cáo hoạt động ổn định hơn 700 giờ trong một số phép kiểm tra và cho thấy độ đồng đều trên wafer 4 inch, nhưng đây chưa phải qualification theo tiêu chuẩn image sensor thương mại.

Một sản phẩm thực tế phải chịu nhiệt của quy trình tích hợp, hàng nghìn giờ vận hành, biến thiên giữa wafer, packaging, độ ẩm và hàng loạt yêu cầu reliability khác. Perovskite chứa chì còn kéo theo bài toán vật liệu và encapsulation riêng.

Đó là lý do kết quả LinExp-τ mới đáng chú ý như một hướng bổ sung: paper cho rằng cùng primitive tính toán có thể được khai thác trên nhiều class thiết bị, thay vì yêu cầu mọi camera tương lai phải chuyển sang một chemistry mới.

Camera tương lai có thể xuất feature thay vì chỉ xuất frame

Nếu ý tưởng này scale được, interface của camera có thể thay đổi. Một sensor cho robot không nhất thiết luôn gửi 30 hay 60 full frame mỗi giây. Nó có thể gửi raw image khi cần, nhưng ở phần lớn thời gian chỉ xuất vùng có chuyển động, edge map, sự kiện vượt threshold hoặc feature tuyến tính đã được tính ngay ở focal plane.

Lợi ích lớn nhất khi đó không phải “pixel có AI”. Nó là tránh tạo ra và di chuyển những bit mà hệ thống không cần. Với robot chạy pin, wearable, camera always-on hoặc sensor đặt ở edge không có đường truyền lớn, cắt dữ liệu trước ADC và memory có thể tiết kiệm cả năng lượng lẫn latency.

Bước tiếp theo của lĩnh vực không còn là chứng minh một photodetector có thể làm phép tính — điều đó đã được trình diễn theo nhiều cơ chế. Câu hỏi khó hơn là liệu các pixel tính toán có thể được chế tạo với mật độ, uniformity, dynamic range và độ bền ngang image sensor hiện đại, đồng thời đủ lập trình để không trở thành phần cứng chỉ tốt cho một kernel duy nhất.

Nếu câu trả lời là có, “smart camera” có thể bắt đầu từ vị trí sớm hơn nhiều trong pipeline. Trước khi CPU nhìn thấy một ma trận pixel, một phần của bức ảnh đã được hiểu theo nghĩa rất cơ bản của phần cứng: đâu là thay đổi, đâu là cạnh và dữ liệu nào thực sự đáng để gửi tiếp.

Nguồn: Nature Communications — Extreme Illuminated Vision Processing with a Graded Alloyed Perovskite In-sensor Computing Network; Nature Communications — Single-device in-sensor computing for multi-channel multiply-accumulate operations; npj Unconventional Computing — Edge intelligence through in-sensor and near-sensor computing for the artificial intelligence of things.