Brain implant đã đi qua thời “đọc vài từ”: Cuộc đua mới là trả lại một giọng nói đủ tự nhiên để sống cùng

Năm 2021, một brain implant của UCSF có thể giải mã 50 từ mà một người bị liệt cố nói. Tốc độ khoảng 15 từ mỗi phút, đủ để chứng minh tín hiệu speech vẫn còn trong cortex sau nhiều năm mất khả năng phát âm.

Năm năm sau, mục tiêu của lĩnh vực đã khác hẳn. Một hệ thống tại UC Davis đã được một người mắc ALS dùng hơn 3.800 giờ ở nhà, tạo gần 2 triệu từ với tốc độ trung bình 56 từ mỗi phút. Các prototype khác không còn chỉ in text lên màn hình: chúng tạo âm thanh gần như ngay khi người dùng cố nói, giữ nhịp điệu câu, thay đổi ngữ điệu và thậm chí cho phép hát một giai điệu ngắn.

Cuộc đua speech BCI vì thế đang dịch từ câu hỏi “não có thể được giải mã thành từ không?” sang một câu hỏi khó hơn nhiều: “một implant có thể trở thành một giọng nói mà con người thực sự dùng trong hội thoại hàng ngày hay không?”

Khác biệt nằm ở hàng loạt chi tiết tưởng nhỏ nhưng quyết định trải nghiệm: âm thanh xuất hiện trễ bao lâu sau ý định nói, câu có đúng nhịp không, hệ thống có biết khi nào người dùng muốn im lặng, giọng tổng hợp có giữ được cá tính, decoder có còn hoạt động sau nhiều tháng và một gia đình có tự khởi động nó mỗi sáng mà không cần đội nghiên cứu đứng cạnh hay không.

Từ 50 từ tới vốn từ gần như dùng được trong hội thoại

Speech neuroprosthesis hiện đại bắt đầu bằng một quan sát quan trọng: một người mất khả năng phát âm vì đường vận động bị tổn thương có thể vẫn tạo ra activity pattern trong vùng motor cortex khi họ cố nói.

Năm 2021, nhóm Edward Chang tại UCSF đặt một mảng điện cực ECoG trên speech motor cortex của một người bị anarthria sau brainstem stroke. Trong 22 giờ ghi tín hiệu, người tham gia cố nói các từ trong một vocabulary gồm 50 từ.

Deep-learning model nhận diện câu theo thời gian thực với tốc độ median 15,2 từ/phút và word error rate 25,6%. Với tiêu chuẩn hiện nay, 50 từ nghe rất ít. Nhưng thí nghiệm trả lời được câu hỏi nền tảng: cortex vẫn phát ra tín hiệu đủ có cấu trúc để máy suy ra những từ người dùng định nói, ngay cả khi miệng không còn tạo ra lời intelligible.

Chỉ hai năm sau, giới hạn vocabulary đã tăng mạnh. Hai paper xuất bản cạnh nhau trên Nature năm 2023 cho thấy speech BCI có thể tiến vào vùng hàng nghìn tới hàng trăm nghìn từ.

Một hệ thống của Stanford giải mã speech ở tốc độ trung bình 62 từ/phút với vocabulary 125.000 từ và word error rate 23,8%. Hệ UCSF/UC Berkeley dùng ECoG đạt median 78 từ/phút với vocabulary 1.024 từ và word error rate khoảng 25%, đồng thời tạo speech audio và điều khiển avatar khuôn mặt.

Đây là thời điểm speech BCI bắt đầu vượt khỏi demo “chọn một từ trong danh sách nhỏ”. Nhưng output vẫn còn một vấn đề lớn: đúng từ chưa đồng nghĩa với hội thoại tự nhiên.

Text chính xác vẫn có thể tạo ra một cuộc nói chuyện không tự nhiên

Hầu hết speech BCI ban đầu đi theo pipeline khá giống dictation: neural signal → phoneme/word → text → text-to-speech.

Cách này có một lợi thế lớn. Language model có thể sửa lỗi, mở rộng vocabulary và biến neural signal nhiễu thành câu dễ hiểu hơn. UC Davis năm 2024 cho thấy hướng này có thể đạt độ chính xác rất cao trên một người mắc ALS.

Trong buổi training đầu tiên, hệ thống đạt 99,6% word accuracy với vocabulary 50 từ sau 30 phút dữ liệu. Ngày thứ hai, vocabulary tăng lên 125.000 từ; sau thêm 1,4 giờ training, accuracy đạt 90,2%. Với thêm dữ liệu, paper trên New England Journal of Medicine báo cáo 97,5% accuracy và người dùng có thể giao tiếp tự điều chỉnh với tốc độ khoảng 32 từ/phút.

Nhưng text-first BCI có một độ trễ tự nhiên. Hệ thống thường phải chờ đủ neural evidence để đoán từ hoặc câu, sau đó mới đọc text ra loa. Đây giống gửi tin nhắn rồi nhấn “play”, không giống một cuộc gọi nơi âm thanh xuất hiện cùng lúc với việc người nói hình thành câu.

Độ trễ vài giây nghe có vẻ nhỏ trên benchmark, nhưng trong hội thoại nó thay đổi cả turn-taking. Người khác có thể tưởng người dùng đã nói xong và chen vào. Người dùng khó ngắt lời, khó nói một câu đệm ngắn, khó cười bằng giọng hay thay đổi nhịp câu theo phản ứng của người đối diện.

Đó là lý do các nhóm gần đây chuyển trọng tâm từ brain-to-text sang brain-to-voice.

Brain-to-voice cố bỏ qua bước “đợi cả câu rồi mới đọc”

Đầu năm 2025, nhóm UCSF–UC Berkeley công bố một streaming speech neuroprosthesis trên Nature Neuroscience. Người tham gia là một phụ nữ bị liệt nặng và mất khả năng nói sau brainstem stroke.

Thay vì chờ một câu hoàn chỉnh, hệ thống xử lý neural activity thành các chunk 80 mili-giây rồi liên tục phát acoustic unit tiếp theo. Voice-conversion model biến output thành giọng cá nhân hóa dựa trên một đoạn ghi âm trước chấn thương.

Kiến trúc này quan trọng vì nó biến speech synthesis thành một dòng liên tục. Inference cho mỗi chunk có median khoảng 11,8 ms và hơn 99% các bước hoàn tất dưới giới hạn 80 ms của pipeline.

Nhưng cần tách computational latency khỏi functional speech latency. Trong task vocabulary 1.024 từ, âm thanh bắt đầu xuất hiện median khoảng 1,67 giây sau cue. Tức model rất nhanh khi đã có đủ neural evidence, nhưng toàn bộ quá trình từ lúc người dùng bắt đầu cố nói tới lúc loa phát âm vẫn chưa ở mức vài chục mili-giây.

Đây là chi tiết dễ bị headline “real-time” che mất. Real-time có thể có nhiều nghĩa: decoder chạy liên tục, audio được stream thay vì chờ cả câu, hoặc sound xuất hiện gần như ngay lập tức. Không phải mọi hệ đang gọi là real-time đều đạt cả ba.

UC Davis đi theo hướng khó hơn: tổng hợp âm thanh gần như ngay từ neural activity

Tháng 6/2025, nhóm Maitreyee Wairagkar, Nicholas Card, Sergey Stavisky, David Brandman và cộng sự tại UC Davis công bố một brain-to-voice system khác trên Nature.

Thiết bị dùng bốn intracortical microelectrode array với tổng cộng 256 điện cực đặt ở ventral precentral gyrus của một người mắc ALS và severe dysarthria. Thay vì trước hết suy ra chuỗi từ rồi mới gọi text-to-speech, model học ánh xạ neural activity trực tiếp sang các đặc trưng âm thanh theo từng thời điểm.

Trong paper, brain-to-voice inference diễn ra trong khoảng 10 ms, còn UC Davis mô tả audio có thể xuất hiện khoảng 1/40 giây sau neural signal — gần với feedback loop tự nhiên khi một người nghe chính giọng mình.

Điều này thay đổi trải nghiệm quan trọng: người dùng nghe output khi đang cố nói, không phải sau khi đã hoàn tất câu. Hệ thống giữ cadence theo tốc độ người dùng và có thể tạo từ mới ngoài tập huấn luyện cố định.

Nhưng tốc độ không phải kết quả đáng chú ý duy nhất. Participant còn có thể thay đổi intonation để hỏi câu hỏi, nhấn mạnh một từ và điều chỉnh pitch đủ để hát các giai điệu ngắn. Đây là bước từ “truyền nội dung” sang truyền cách nói.

Một giọng nói không chỉ gồm phoneme

Nếu speech BCI chỉ tối ưu word error rate, nó có thể tạo một hệ thống rất chính xác nhưng nghe giống một terminal đọc text.

Giọng nói tự nhiên còn chứa prosody: pitch, stress, rhythm, pause và những biến đổi nhỏ báo hiệu câu hỏi, mỉa mai, cảm xúc hay mức chắc chắn. Hai câu có cùng từ nhưng intonation khác nhau có thể mang nghĩa xã hội khác hẳn.

UC Davis cho thấy một phần của những paralinguistic feature này vẫn xuất hiện trong neural activity liên quan tới attempted speech. Model có thể dùng chúng để điều khiển synthesized voice theo thời gian thực.

UCSF/UC Berkeley lại nhắm tới một khía cạnh khác của identity: voice personalization. Họ dùng audio từ trước chấn thương để biến synthesized speech thành giọng gần với người tham gia hơn thay vì một voice assistant generic.

Điều này có giá trị vượt ngoài mỹ học. Một người có thể nhận ra mình trong giọng nói qua accent, timbre và nhịp. Với người mất speech nhiều năm, generic TTS vẫn cho phép giao tiếp nhưng không nhất thiết trả lại cảm giác sở hữu giọng nói.

Tuy vậy, personalized voice cũng có giới hạn rõ ràng: nó cần recording cũ đủ chất lượng. Người mất speech từ nhỏ hoặc không có archive âm thanh có thể không có dữ liệu để clone giọng trước bệnh.

Năm 2026, tiêu chuẩn mới không còn chỉ là một buổi demo thành công

Một prototype có thể đạt accuracy cao trong lab nhưng vẫn không trở thành thiết bị giao tiếp nếu mỗi ngày cần ba researcher căn chỉnh electrode, calibrate model và sửa lỗi.

Đây là lý do paper Nature Medicine tháng 6/2026 của UC Davis có ý nghĩa khác với các kỷ lục latency.

Casey Harrell, người mắc ALS tham gia BrainGate2, đã dùng một intracortical BCI gần như hàng ngày tại nhà trong 19 tháng. Tổng thời gian sử dụng vượt 3.800 giờ. Anh tạo 183.060 câu, gần 1,96 triệu từ, với tốc độ trung bình khoảng 56 từ/phút.

Trong controlled copy task với vocabulary 125.000 từ, transformer decoder đạt 99,2% word accuracy. Trong sử dụng thực tế, Harrell đánh giá khoảng 92% câu là đúng hoặc phần lớn đúng.

Quan trọng hơn, research team không cần có mặt mỗi lần sử dụng. Care partner chủ yếu hỗ trợ gắn phần cứng ngoài và khởi động hệ thống. Harrell dùng speech decoding như bàn phím, cursor decoder như chuột để gửi email, nhắn tin, duyệt web, gọi video và tiếp tục làm việc toàn thời gian.

Đây chưa phải direct brain-to-voice system của paper 2025 được sử dụng độc lập suốt 3.800 giờ; nghiên cứu 2026 tập trung vào brain-to-text và cursor control. Nhưng nó giải quyết một câu hỏi mà benchmark lab không trả lời được: intracortical BCI có thể còn hữu ích sau hàng nghìn giờ ngoài phòng thí nghiệm hay không?

Độ chính xác 99% trong test chưa đồng nghĩa 99% trong mọi cuộc trò chuyện

Paper 2026 cũng cho thấy vì sao con số benchmark phải được đặt trong đúng context.

Accuracy trên prompted copy task vượt 99%, nơi hệ thống biết người dùng đang cố nói một từ được hiển thị. Trong free conversation, người dùng tự chọn chủ đề, vocabulary, nhịp, sửa câu giữa chừng và bị môi trường xung quanh tác động. Harrell đánh giá 92% câu là ít nhất mostly correct — vẫn rất tốt, nhưng khác với con số 99,2% headline.

Cùng một khác biệt xuất hiện trong brain-to-voice. UC Davis báo cáo người nghe naive hiểu gần 60% synthesized words trong thí nghiệm 2025, so với khoảng 4% khi nghe speech còn lại của participant mà không có BCI. Đây là cải thiện lớn, nhưng còn xa mức intelligibility của speech tự nhiên.

Ở hệ streaming UCSF/UC Berkeley, large-vocabulary synthesized speech cũng có word error rate đáng kể tùy task. Đầu ra “nghe giống một giọng nói” và output “truyền đúng từng từ” là hai metric khác nhau, và hiện lĩnh vực vẫn đang tối ưu cả hai.

Neural signal không đứng yên trong hai năm

Một brain implant không giống microphone được bắt vít cố định rồi cho signal giống nhau mãi.

Biên độ và số neuron ghi được có thể thay đổi theo thời gian. Tissue response, electrode micromotion, fatigue, disease progression và thay đổi chiến lược attempted speech đều có thể làm distribution của neural data drift.

Trong paper brain-to-voice 2025, UC Davis cho thấy một fixed decoder giảm performance đáng kể sau khoảng 15 ngày nếu không được cập nhật. Paper 2026 giải quyết phần nào bằng architecture ổn định hơn và continuous/background recalibration; người dùng có thể bắt đầu ngày với 0–20 prompted calibration sentence tùy nhu cầu.

Đây là một trong những khác biệt giữa một demo 20 phút và một prosthesis. Hệ thống hữu ích phải tự thích nghi mà không biến người dùng thành người vận hành machine-learning pipeline mỗi sáng.

Phần cứng vẫn là khoảng cách lớn nhất tới một “giọng nói mang theo người”

Các hệ tốt nhất hiện vẫn là investigational device.

Intracortical array của UC Davis xuyên vào cortex để ghi activity của neuron với độ phân giải cao. Hệ UCSF dùng ECoG đặt trên bề mặt cortex, ít xuyên mô hơn nhưng vẫn cần phẫu thuật sọ.

Trong setup hiện tại, connector và headstage vẫn đưa dữ liệu từ implant ra hệ máy tính bên ngoài. Người dùng ở nhà có thể tự vận hành nhiều phần của hệ thống, nhưng đây chưa phải một thiết bị wireless kín hoàn toàn giống cochlear implant.

Để speech BCI trở thành sản phẩm lâm sàng, phần cứng phải nhỏ hơn, kín hơn, ổn định nhiều năm, ít nhiễm trùng, ít yêu cầu bảo trì và đủ đơn giản để caregiver không chuyên có thể dùng.

Ngoài ra còn câu hỏi về số người phù hợp. Hầu hết những kết quả mạnh nhất hiện đến từ từng participant riêng lẻ. ALS, brainstem stroke và các nguyên nhân mất speech khác nhau có thể giữ hoặc làm thay đổi neural representation theo những cách không giống nhau. Một decoder train cho một người không đơn giản được copy sang người khác.

Cuộc đua mới có ít nhất năm metric, không phải một

Nhìn lại từ 2021 đến 2026, speech BCI đã đi qua nhiều benchmark từng được xem là nút thắt: vocabulary nhỏ, tốc độ thấp, accuracy kém và chỉ dùng trong lab.

Nhưng “giọng nói dùng được” sẽ phải đồng thời đạt nhiều yêu cầu:

• Intelligibility: người nghe hiểu đúng phần lớn lời nói mà không cần nhìn text;
• Latency: âm thanh xuất hiện đủ nhanh để giữ turn-taking tự nhiên;
• Expressivity: người dùng điều khiển pitch, stress, tốc độ, pause và các tín hiệu cảm xúc;
• Stability: decoder hoạt động qua nhiều tháng và nhiều năm với calibration tối thiểu;
• Autonomy: hệ thống có thể được sử dụng ở nhà, không cần một nhóm kỹ sư đứng cạnh.

Hiện chưa có một system duy nhất đứng đầu cả năm tiêu chí. UC Davis đã cho thấy near-instantaneous expressive voice trong một participant và independent long-term brain-to-text use trong cùng chương trình BrainGate2. UCSF/UC Berkeley cho thấy streaming speech từ ECoG, voice personalization và avatar control. Stanford đã đẩy tốc độ và large-vocabulary text decoding lên cao từ sớm.

Các mảnh ghép đang tồn tại. Phần khó tiếp theo là gom chúng vào một prosthesis duy nhất.

Thành công cuối cùng có thể được đo bằng việc người dùng quên mất decoder đang ở đó

Trong phòng lab, một graph word error rate giảm vài phần trăm là tiến bộ rõ ràng. Trong đời sống, tiêu chuẩn khác hơn.

Một speech prosthesis tốt phải đủ nhanh để người dùng chen vào một cuộc nói chuyện, đủ ổn định để họ không sợ hệ thống hỏng giữa cuộc họp, đủ biểu cảm để một câu đùa nghe như câu đùa và đủ cá nhân để người thân nhận ra giọng của họ.

Năm 2021, câu hỏi là liệu cortex của một người không thể nói có còn chứa những từ mà máy đọc được hay không. Đến 2026, dữ liệu đã cho câu trả lời khá rõ: có.

Bây giờ bài toán khó hơn là biến những tín hiệu đó thành một kênh giao tiếp có tốc độ, nhịp điệu và độ tin cậy đủ để chen vào đời sống bình thường. Khi speech BCI đạt tới điểm đó, thành tựu lớn nhất có thể không phải người dùng nói được bao nhiêu từ mỗi phút.

Nó sẽ là lúc người đối diện không còn phải chờ chiếc máy nói xong.

Nguồn: NEJM — Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria (2021); Nature — A high-performance speech neuroprosthesis (2023); Nature — A high-performance neuroprosthesis for speech decoding and avatar control (2023); NEJM — An Accurate and Rapidly Calibrating Speech Neuroprosthesis (2024); Nature Neuroscience — A streaming brain-to-voice neuroprosthesis to restore naturalistic communication (2025); Nature — An instantaneous voice-synthesis neuroprosthesis (2025); Nature Medicine — Long-term independent use of an intracortical brain–computer interface for speech and cursor control (2026); UC Davis Health — First-of-its-kind technology helps man with ALS ‘speak’ in real time.