Camera tương lai có thể “suy nghĩ” ngay khi nhìn: Neuromorphic sensor muốn đưa thị giác xuyên vật cản vào kính AR

Một nền tảng thị giác neuromorphic mới từ Yonsei University kết hợp cảm biến NIR, bộ nhớ synapse và xử lý ngay trong sensor. Prototype EROS mới chỉ 12×12 pixel và chưa phải kính AR, nhưng cho thấy hướng đi nơi camera không chỉ chụp ảnh mà còn tiền xử lý, ghi nhớ và nhận dạng ngay khi ánh sáng chạm vào pixel.

Tháng 8 28, 2026

Camera tương lai có thể “suy nghĩ” ngay khi nhìn: Neuromorphic sensor muốn đưa thị giác xuyên vật cản vào kính AR

Camera hiện nay nhìn trước, rồi mới “nghĩ” sau. Photon chạm vào cảm biến CMOS, ảnh được số hóa, chuyển sang bộ nhớ, đưa qua bộ xử lý rồi neural network mới bắt đầu tìm người, vật thể hay chuyển động.

Một nhóm nghiên cứu tại Yonsei University, Hàn Quốc, đang thử rút ngắn chuỗi đó bằng một kiến trúc giống hệ thị giác sinh học hơn: pixel vừa cảm nhận ánh sáng, vừa lưu dấu vết của tín hiệu và tham gia xử lý thông tin ngay tại sensor.

Nền tảng được gọi là EROS – Evolved-Retina Optical Synapse, công bố trên Nature Communications năm 2026. Mỗi pixel sử dụng một transistor quang synapse dựa trên IGZO kết hợp các hạt nano upconversion để mở rộng độ nhạy sang vùng hồng ngoại gần, cụ thể ở 808 nm và 940 nm.

Kết quả là một sensor nhỏ 12×12 pixel có thể thực hiện hai vai trò mà camera truyền thống thường tách riêng: tiền xử lý hình ảnh theo kiểu “retina” và lưu/điều chỉnh trạng thái dẫn điện theo kiểu “synapse”, từ đó hỗ trợ nhận dạng bằng mạng neural.

Ý tưởng nghe giống một chiếc camera biết “suy nghĩ” ngay lúc nhìn.

Nhưng có một chi tiết cần làm rõ ngay: nghiên cứu chưa tạo ra kính AR nhìn xuyên tường. Prototype hiện vẫn là chip thử nghiệm trong phòng lab. Nhóm mới chứng minh khả năng xử lý NIR và nhận dạng tốt hơn trong điều kiện ánh sáng yếu. Việc đưa công nghệ này vào kính AR hoặc dùng NIR để quan sát qua một số vật liệu cản ánh sáng nhìn thấy vẫn là hướng ứng dụng tương lai.

Dù vậy, chính giới hạn đó làm công trình đáng chú ý hơn theo một cách khác. Vấn đề lớn của kính AR, robot và thiết bị AI đeo người không chỉ là “camera nhìn được gì”, mà còn là bao nhiêu dữ liệu phải chuyển đi, bao nhiêu điện phải tiêu tốn và latency tăng thêm bao nhiêu trước khi máy hiểu thứ nó vừa thấy.

Neuromorphic vision muốn xử lý câu hỏi này ngay từ lớp sensor.

Camera thông thường đang tốn công chuyển dữ liệu hơn chúng ta tưởng

Một CMOS camera hiện đại có thể chứa hàng triệu pixel.

Mỗi frame, từng pixel được đọc, chuyển từ tín hiệu analog sang digital, đóng gói thành một ma trận ảnh rồi đưa vào memory. Nếu hệ thống chạy computer vision, dữ liệu tiếp tục được chuyển tới CPU, GPU, NPU hoặc accelerator khác để xử lý.

Kiến trúc này hoạt động rất tốt trên smartphone và camera thông thường, nhưng trở nên khó chịu ở những thiết bị phải luôn bật.

Kính AR chẳng hạn phải đồng thời:

theo dõi chuyển động đầu;
theo dõi mắt;
nhận diện vật thể;
ước lượng không gian 3D;
giữ UI neo đúng vị trí;
chạy AI trợ lý;
và vẫn đủ nhẹ để người dùng đeo hàng giờ.

Mỗi watt điện tăng thêm cuối cùng trở thành pin lớn hơn hoặc nhiệt nóng hơn trên thái dương.

Đây là lý do “in-sensor computing” trở thành một hướng nghiên cứu lớn. Thay vì sensor chỉ làm nhiệm vụ thu ảnh thô rồi đẩy toàn bộ dữ liệu sang chip khác, một phần xử lý được thực hiện ngay tại hoặc rất gần pixel.

Nếu những thông tin không cần thiết có thể bị lọc sớm, lượng dữ liệu phải truyền và tính toán phía sau giảm xuống.

EROS bắt chước không chỉ mắt, mà cả đường từ võng mạc tới não

Điểm đặc biệt của công trình Yonsei nằm ở cách nhóm mô tả kiến trúc là retinocortical.

Trong cơ thể người, võng mạc không phải một camera thụ động gửi mọi photon lên não.

Nó đã thực hiện một lượng lớn tiền xử lý: điều chỉnh tương phản, phát hiện thay đổi, gom tín hiệu theo vùng và biến ánh sáng thành các mẫu xung thần kinh có ý nghĩa hơn trước khi thông tin đi qua dây thần kinh thị giác.

Não thị giác phía sau tiếp tục trích xuất đặc trưng và diễn giải thứ đang nhìn.

EROS muốn mô phỏng logic phân tầng đó trong phần cứng.

Ở chế độ thứ nhất, mảng sensor thực hiện retina-like preprocessing: ánh sáng NIR làm thay đổi dòng điện của pixel và tạo ra một biểu diễn được tăng cường cho môi trường ánh sáng yếu.

Ở chế độ thứ hai, đặc tính dẫn điện có thể được điều chỉnh và giữ lại qua nhiều mức, cho phép thiết bị hoạt động như một synaptic weight analog phục vụ neuromorphic computing.

Nói ngắn gọn, pixel không chỉ trả lời “ánh sáng mạnh bao nhiêu?”, mà còn có thể mang một trạng thái phụ thuộc lịch sử kích thích.

“Bộ nhớ” nằm ngay trong pixel hoạt động thế nào?

Mỗi Evo-SynT trong EROS sử dụng lớp semiconductor IGZO – indium gallium zinc oxide – kết hợp với các hạt nano upconversion NaYF4 pha Yb/Tm.

IGZO vốn rất quen thuộc trong ngành display và transistor màng mỏng nhờ độ đồng đều tốt trên diện tích lớn.

Nhược điểm là bandgap rộng khiến IGZO gần như không nhạy trực tiếp với near-infrared.

Nhóm nghiên cứu giải quyết bằng cách đặt các upconversion nanoparticles vào giữa hai lớp IGZO.

Các hạt nano hấp thụ photon NIR rồi phát lại photon có năng lượng cao hơn ở vùng UV hoặc blue. Ánh sáng được chuyển đổi này có thể kích thích IGZO, tạo carrier và làm thay đổi độ dẫn điện của transistor.

Quan trọng hơn, trạng thái dẫn điện không biến mất ngay khi đèn tắt.

Các defect liên quan đến oxygen vacancy trong IGZO tạo ra hiện tượng persistent photoconductance. Sau kích thích ánh sáng, một phần thay đổi dòng điện lưu lại trong một khoảng thời gian.

Chính “dư âm” điện này được khai thác như một dạng synaptic memory.

Nó không chỉ nhớ có hay không, mà có hàng trăm mức trạng thái

Một memory kỹ thuật số thông thường biểu diễn 0 hoặc 1.

Neuromorphic hardware thường muốn nhiều mức analog hơn, vì trọng số mạng neural không chỉ có hai giá trị.

Trong thí nghiệm, Evo-SynT cho thấy khả năng điều chỉnh độ dẫn qua 512 xung kích thích liên tiếp, tạo nhiều trạng thái phân biệt được thay vì một công tắc bật/tắt đơn giản.

Thiết bị cũng thể hiện các hành vi được mô phỏng theo synapse sinh học như:

paired-pulse facilitation;
short-term plasticity;
chuyển từ trạng thái ngắn hạn sang giữ lâu hơn khi được kích thích lặp lại;
potentiation và depression để tăng hoặc giảm trọng số.

Đây là lý do gọi nó là neuromorphic sensor chứ không đơn thuần là photodetector NIR.

Sensor đang kết hợp sensing + memory + một phần computing trong cùng phần tử vật lý.

Mảng thử nghiệm mới chỉ 12×12 pixel

Con số này cần được đặt cạnh mọi hình dung về camera tương lai.

Prototype EROS hiện có 144 pixel.

Một camera smartphone 12 megapixel có hơn 12 triệu pixel – chênh khoảng năm bậc độ lớn.

Do đó, đây không phải chip camera có thể gắn ngay vào kính thông minh.

Mục tiêu của mảng 12×12 là chứng minh các pixel neuromorphic có thể được pattern, địa chỉ hóa, đọc riêng lẻ và hoạt động tương đối đồng đều khi tích hợp thành array.

Mỗi pixel dùng cấu hình hai transistor: một Evo-SynT thực hiện sensing/synaptic behavior và một switching transistor IGZO giúp đọc pixel.

Nhóm báo cáo aperture ratio quang học 70,2% và geometric fill factor 35,7%, cho thấy cách xếp chồng IGZO/UCNP/IGZO giúp giữ diện tích nhạy sáng tương đối lớn trong pixel.

Nhưng từ 144 pixel lên hàng triệu pixel vẫn là một bài toán manufacturing và circuit architecture rất lớn.

Thử nghiệm thực tế nhất: tìm người trong cảnh tối

Để kiểm tra liệu NIR preprocessing có tạo khác biệt hữu ích hay không, nhóm sử dụng bài toán pedestrian detection trong điều kiện low-light.

Ảnh visible ban đầu rất tối và khó nhận dạng.

Hệ EROS tạo phiên bản được tăng cường bằng NIR tại hai bước sóng 808 nm và 940 nm, sau đó đưa dữ liệu vào pipeline nhận dạng dựa trên YOLOv8n.

Với ảnh visible, hệ thống đạt precision khoảng 0,781, recall 0,641 và [email protected] khoảng 0,719.

Sau tăng cường bằng 808 nm, [email protected] tăng lên khoảng 0,848.

Ở 940 nm, [email protected] đạt khoảng 0,887, với precision khoảng 0,907 và recall khoảng 0,805.

Điều đáng chú ý không phải YOLO đột nhiên chạy “trong pixel”. Neural network nhận dạng vẫn là tầng downstream.

Điểm công trình muốn chứng minh là sensor có thể tạo biểu diễn đầu vào hữu ích hơn ngay trong quá trình cảm nhận, thay vì camera luôn chỉ xuất ảnh raw rồi để toàn bộ công việc cho processor phía sau.

“Cortical-like” cũng chưa có nghĩa toàn bộ AI chạy ngay trong sensor

Cụm từ retinocortical dễ khiến người đọc nghĩ mảng 12×12 đã chứa cả một bộ não artificial hoàn chỉnh.

Thực tế thận trọng hơn.

Nhóm đo các đặc tính potentiation/depression của Evo-SynT, sau đó sử dụng chúng như các synaptic weights analog trong mô hình neural network để đánh giá khả năng classification.

Với Tiny ImageNet và một Vision Transformer, hệ thống mô phỏng sử dụng đặc tính phần cứng đo được đạt classification accuracy khoảng 77,19% với trạng thái 808 nm và 79,40% ở 940 nm.

Đây là bằng chứng rằng device behavior đủ đều và tuyến tính để có thể đóng vai trò phần cứng synaptic.

Nó chưa phải một con chip camera hoàn chỉnh vừa chụp cảnh megapixel vừa chạy YOLO và ViT tại cùng vị trí.

Nhưng hướng kiến trúc đã rõ: đẩy ngày càng nhiều preprocessing và weight operation về phía sensor.

Vậy “nhìn xuyên vật cản” đến từ đâu?

Phần này dễ bị thổi phồng nhất.

EROS hoạt động trong near-infrared, vùng khoảng 700–1000 nm mà mắt người không nhìn thấy.

Một số vật liệu và môi trường hấp thụ hoặc tán xạ ánh sáng visible mạnh hơn NIR. Vì vậy, NIR có thể cung cấp thông tin trong bóng tối, qua haze, hoặc qua một số vật liệu có độ truyền NIR cao hơn độ truyền ánh sáng nhìn thấy.

Đó là lý do NIR imaging đã được sử dụng trong night vision, machine vision, biomedical imaging, remote sensing và inspection.

Nhưng NIR không phải X-ray.

Nó không cho người dùng nhìn xuyên một bức tường bê tông, tấm kim loại hay mọi vật cản đặc.

Cụm “xuyên vật cản” chỉ hợp lý khi vật liệu cụ thể cho phép NIR truyền qua hoặc khi vấn đề “cản” nằm ở điều kiện nhìn thấy như darkness, smoke/haze nhẹ hay lớp vật liệu có đặc tính quang học phù hợp.

Do đó, một chiếc kính tương lai dùng EROS sẽ không tự biến thành kính siêu nhân.

Kính AR là một ứng dụng hợp lý về kiến trúc, nhưng paper chưa làm kính AR

Trong công trình Nature Communications, nhóm không trình diễn một headset AR thương mại hay prototype kính đeo.

Yonsei mô tả hướng ứng dụng tương lai rộng hơn ở robotics và artificial vision.

Việc liên hệ tới AR xuất phát từ nhu cầu phần cứng của chính loại thiết bị này.

Kính AR cần sensor:

nhỏ;
luôn bật;
latency thấp;
ít sinh nhiệt;
xử lý dữ liệu tại edge;
hoạt động trong dải sáng rất rộng;
và lý tưởng là nhận được tín hiệu ngoài phổ visible.

Neuromorphic in-sensor computing khớp khá tự nhiên với danh sách đó.

Nếu một camera trên kính có thể lọc, nhấn mạnh hoặc trích đặc trưng trước khi gửi dữ liệu sang SoC, khối lượng công việc của processor chính có thể giảm.

Nếu cùng sensor còn nhạy NIR, kính có thể bổ sung một lớp thông tin máy nhìn thấy nhưng mắt người không thấy, sau đó render kết quả thành overlay AR.

Đó là hướng hấp dẫn – nhưng vẫn cần rất nhiều engineering để đi từ một array 144 pixel trong lab tới eyewear thực tế.

“Nhìn thấy” và “hiển thị cho người dùng” là hai bài toán khác nhau

Giả sử một sensor NIR trên kính nhận được chi tiết mà mắt thường không nhìn thấy.

Người đeo vẫn không thể trực tiếp thấy photon 940 nm.

Hệ thống phải:

thu tín hiệu NIR;
xác định đặc trưng có ích;
đăng ký tọa độ với camera visible và không gian AR;
chuyển thông tin thành màu, contour, heatmap hoặc object label;
render lên display sao cho đúng vị trí ngoài đời.

Ví dụ, thay vì “nhìn xuyên” một lớp vật liệu theo nghĩa quang học, kính có thể hiển thị một silhouette hoặc contour của thứ sensor NIR suy ra phía sau.

Đây là augmented vision: máy thấy thêm một kênh mà mắt người không có, rồi chuyển nó sang một biểu diễn con người hiểu được.

AR chỉ là lớp display cuối cùng của chuỗi đó.

Vì sao xử lý trong sensor đặc biệt quan trọng với kính?

Trong data center, gửi một frame lớn sang GPU không phải vấn đề quá nghiêm trọng.

Trên kính nặng vài chục gram, mỗi lần di chuyển dữ liệu đều có chi phí.

Memory access và data transfer thường tiêu tốn một phần năng lượng đáng kể trong workload AI. Nếu camera liên tục bơm toàn bộ frame qua bus tới processor chỉ để phát hiện rằng 95% scene không thay đổi, hệ thống đang dùng pin cho dữ liệu không có nhiều giá trị.

Neuromorphic vision theo nghĩa rộng giải bài toán này bằng nhiều cách.

Event camera chỉ phát sự kiện khi cường độ pixel thay đổi.

In-sensor convolution thực hiện lọc edge ngay trong focal plane.

Photonic synapse như EROS thêm khả năng lưu trạng thái và tiền xử lý ngay ở device.

Các hướng này khác nhau về cơ chế, nhưng cùng chia sẻ một triết lý: đừng chờ dữ liệu đi hết quãng đường tới processor rồi mới quyết định dữ liệu nào quan trọng.

EROS không phải event camera

“Neuromorphic camera” hiện là một thuật ngữ khá rộng và dễ gây nhầm.

Event-based camera thương mại như các sensor dynamic vision thường hoạt động bằng cách để mỗi pixel phát event độc lập khi độ sáng thay đổi.

Ưu điểm là latency rất thấp và lượng dữ liệu nhỏ trong scene ít thay đổi.

EROS đi theo hướng khác.

Nó mô phỏng synaptic plasticity và persistent memory bằng tính chất vật liệu của transistor. Ánh sáng không chỉ tạo ra một event tức thời mà còn thay đổi conductance theo history.

Hai kiến trúc đều lấy cảm hứng từ sinh học nhưng không nên gọi là cùng một loại sensor.

Một chiếc pixel biết “học” không có nghĩa camera tự học mọi thứ

Trong neuromorphic electronics, các từ như learning, memory, potentiation và forgetting thường mô tả hành vi điện tương tự synapse.

Chúng không có nghĩa từng pixel đang hiểu ngữ nghĩa như con người.

EROS có thể “nhớ” lịch sử kích thích quang học dưới dạng trạng thái conductance và được điều chỉnh như weight.

Nhưng để nhận ra “đây là người”, “đây là xe” hoặc “đây là một chướng ngại nguy hiểm”, hệ thống vẫn cần architecture neural network, training data và logic downstream.

Cách nói chính xác hơn là: sensor đang nhận một phần chức năng trước đây thuộc về memory và compute.

Nó chưa phải một camera có ý thức hay một AI agent độc lập.

Near-infrared cũng tạo ra bài toán nguồn sáng

Trong nhiều ứng dụng low-light, camera NIR thường đi kèm illuminator 850 nm hoặc 940 nm.

Điều này đặt ra một câu hỏi thực dụng: nếu sensor tiết kiệm điện nhưng cần chiếu NIR mạnh, tổng system power có thực sự thấp không?

Trong thí nghiệm device-level, nhóm sử dụng các mức kích thích quang học kiểm soát để đo photoconductance và synaptic response.

Một sản phẩm thực tế phải tối ưu cả hai phía:

độ nhạy sensor;
công suất illuminator;
khoảng cách quan sát;
eye-safety;
nhiệt;
và thời lượng pin.

Đây đặc biệt là vấn đề với AR glasses, vì nguồn sáng hồng ngoại thường nằm rất gần mặt người dùng.

Việc chứng minh transistor phản ứng với NIR trong lab mới chỉ là bước đầu của system design.

Thách thức lớn nhất: từ 12×12 lên megapixel

Một sensor thương mại cần nhiều hơn việc một pixel hoạt động đẹp.

Hàng triệu pixel phải có:

threshold gần nhau;
response ổn định;
drift thấp;
độ nhạy đồng đều;
readout đủ nhanh;
yield đủ cao;
khả năng calibration;
và tuổi thọ đủ dài.

Neuromorphic device còn khó hơn vì variation không chỉ làm ảnh sáng tối lệch nhau. Nó có thể làm từng synaptic weight cập nhật khác nhau.

Trong neural network analog, sai số nhỏ của hàng triệu phần tử có thể tích lũy thành accuracy loss.

Nghiên cứu EROS đã đo variation trên các device và dùng sai số thực nghiệm để mô phỏng inference, một bước quan trọng. Nhưng manufacturing-scale uniformity vẫn chưa được chứng minh.

IGZO là lựa chọn đáng chú ý vì đã quen thuộc với ngành display

Một lợi thế của công trình là không dựa hoàn toàn vào một semiconductor quá exotic.

IGZO đã có mặt trong transistor màng mỏng dùng cho display thương mại.

Nhóm nghiên cứu nhấn mạnh ưu điểm của metal-oxide semiconductor ở khả năng tạo màng đồng đều trên diện tích lớn và độ ổn định môi trường tốt hơn một số hệ vật liệu 2D hoặc organic.

Điều đó không có nghĩa fab display hiện tại có thể sản xuất EROS ngay ngày mai.

Chip còn cần tích hợp upconversion nanoparticle, multilayer stack và quy trình đọc neuromorphic riêng.

Nhưng việc bắt đầu từ một vật liệu có hệ sinh thái thin-film tương đối trưởng thành có thể giúp con đường scale-up thực tế hơn.

Tại sao 808 nm và 940 nm?

Hai wavelength này xuất hiện rất thường xuyên trong near-infrared sensing.

940 nm đặc biệt phổ biến trong hệ thống active NIR vì gần như vô hình với mắt người và được dùng trong depth sensing, face authentication, eye tracking và night imaging.

808 nm nằm gần hơn với biên visible và có nhiều nguồn laser/LED thương mại.

Trong EROS, hai bước sóng tạo response và đặc tính synaptic khác nhau, cho phép nhóm chứng minh platform có thể vận hành ở nhiều vùng NIR thay vì chỉ tại một điểm phổ đơn lẻ.

Với artificial vision, multi-spectral capability là lợi thế lớn: hai vật thể trông giống nhau ở visible đôi khi phản xạ NIR rất khác nhau.

Camera tương lai có thể không còn xuất ra “ảnh” theo nghĩa truyền thống

Đây có thể là thay đổi sâu nhất nếu in-sensor neuromorphic computing thành công.

Camera hiện tại chủ yếu xuất một tensor pixel để máy tính phía sau xử lý.

Sensor tương lai có thể xuất:

edge map;
event stream;
feature vector;
depth cue;
confidence map;
hoặc trực tiếp một tập activation đã được xử lý.

Ảnh RGB đầy đủ chỉ được tạo khi con người thực sự cần nhìn.

Đối với robot hoặc kính AR, nhiều workload không cần một bức ảnh đẹp. Hệ thống chỉ cần biết “một người đang bước vào vùng này”, “tay người dùng đang ở đây” hoặc “object này đã dịch chuyển”.

Neuromorphic sensor muốn biến camera từ một thiết bị chụp ảnh thành một perception front-end.

AR có thể hưởng lợi từ một “giác quan” mà con người không có

Augmented reality thường được hình dung là thêm vật thể ảo vào thế giới thật.

Một hướng rộng hơn là augmented perception: thêm thông tin mà mắt người vốn không thể thấy.

Thermal camera có thể biến nhiệt thành màu.

Depth sensor biến khoảng cách thành geometry.

Radar có thể phát hiện chuyển động qua một số vật liệu.

NIR có thể cung cấp contrast trong bóng tối hoặc xuyên qua những vật liệu phù hợp.

Nếu các sensor này trở nên đủ nhỏ và đủ tiết kiệm điện, kính AR có thể trở thành giao diện trực tiếp cho những giác quan nhân tạo đó.

EROS nằm trong bức tranh này: một artificial retina nhạy vùng phổ ngoài khả năng mắt người và có một phần processing nằm ngay trong hardware.

Nhưng muốn “xuyên vật cản” thực sự, AR có thể cần nhiều sensor hơn NIR

Một hệ thống muốn thấy người sau tường sẽ cần physics khác.

Radio-frequency sensing, radar millimeter-wave, UWB hoặc các kỹ thuật imaging dùng sóng có khả năng xuyên vật liệu dày tốt hơn NIR.

Muốn nhìn trong khói dày, thermal infrared hoặc radar có thể phù hợp hơn tùy tình huống.

Muốn đọc vật dưới da, wavelength và imaging modality lại khác.

Do đó, tương lai của AR “x-ray vision” có thể không dựa vào một camera thần kỳ, mà vào sensor fusion: visible + NIR + depth + radar + AI.

Neuromorphic hardware khi đó có vai trò xử lý nhiều kênh sensory với power budget thấp.

Robot có thể là nơi công nghệ này đến trước kính AR

Yonsei nhấn mạnh robotics như một ứng dụng tương lai.

Điều đó hợp lý vì robot chịu ít ràng buộc hơn kính người dùng ở giai đoạn đầu.

Một robot warehouse có thể mang camera lớn hơn, pin lớn hơn và hệ NIR illuminator mạnh hơn. Nó cũng có nhu cầu rõ ràng với low-light perception và latency thấp.

Nếu in-sensor preprocessing giúp robot nhận người hoặc obstacle trong kho tối mà không cần chuyển toàn bộ video về GPU, giá trị có thể đo trực tiếp bằng latency và năng lượng.

Sau khi vật liệu, readout và packaging trưởng thành trên robot hoặc industrial vision, phiên bản miniaturized mới có cơ hội đi vào wearable.

Một prototype nhỏ nhưng đặt đúng câu hỏi cho “always-on AI”

AI trên thiết bị đang gặp một nghịch lý.

Model ngày càng mạnh nhưng sensor liên tục tạo nhiều dữ liệu hơn.

Nếu mọi photon đều phải biến thành hàng byte dữ liệu, đi qua memory hierarchy rồi mới được AI quyết định có quan trọng hay không, phần cứng sẽ luôn trả một khoản “thuế data movement”.

Hệ thần kinh sinh học không hoạt động như vậy.

Nó xử lý ngay từ receptor, giữ lại trạng thái trong synapse và chỉ truyền những biểu diễn đã được biến đổi sâu.

EROS là một thử nghiệm đưa triết lý đó vào artificial vision.

Prototype 12×12 chưa đủ để làm camera.

NIR 940 nm chưa đủ để nhìn xuyên mọi vật cản.

Và kính AR neuromorphic vẫn chưa tồn tại dưới dạng sản phẩm từ nghiên cứu này.

Nhưng hướng đi rất rõ: camera tương lai có thể không còn là con mắt nối với một bộ não riêng biệt.

Một phần của “retina”, “memory” và “synapse” có thể nằm ngay nơi ánh sáng được thu nhận.

Khi đó, camera không chỉ chụp cảnh để một con chip khác suy nghĩ sau.

Nó bắt đầu suy nghĩ ngay trong lúc nhìn.