Sau brain-to-text có thể là brain-to-avatar: Computer bắt đầu đọc cả cách con người muốn biểu đạt

Với một hệ giao tiếp thông thường, câu “được thôi” không chỉ nằm trong hai từ đó. Nó có thể đi cùng một cái gật đầu, một nụ cười, giọng lên ở cuối câu hoặc một cái nhún vai khiến toàn bộ ý nghĩa thay đổi.

Brain–computer interface dành cho người bị liệt trong nhiều năm chủ yếu nhắm tới phần dễ định lượng nhất của giao tiếp: biến tín hiệu não thành ký tự hoặc từ trên màn hình. Cách đó đã tiến rất nhanh. Năm 2021, một hệ của UCSF mới giải mã được vocabulary 50 từ với tốc độ median 15,2 từ/phút. Đến 2023–2024, các nhóm đã tiến tới vocabulary hàng nghìn hoặc hơn 100.000 từ với tốc độ gần hội thoại.

Nhưng text chỉ giữ lại nội dung. Nó làm mất giọng, nét mặt, nhịp nói và phần lớn ngôn ngữ cơ thể.

Một chuỗi nghiên cứu từ UCSF, UC Berkeley và UC Davis đang thử khôi phục chính lớp thông tin đó. Năm 2023, một brain implant đã điều khiển giọng nói tổng hợp và khuôn mặt avatar. Năm 2025, một hệ intracortical khác cho phép người dùng thay đổi ngữ điệu, nhấn từ và hát các giai điệu ngắn. Và ngày 14/9/2026, UCSF công bố một BCI dùng cùng implant để giải mã speech và upper-body gesture đồng thời, rồi dùng hai dòng tín hiệu để điều khiển một avatar toàn thân.

Nếu brain-to-text hỏi “người này muốn nói từ gì?”, brain-to-avatar đặt câu hỏi rộng hơn: người này muốn biểu đạt câu đó như thế nào?

Brain-to-text là một bước lớn — nhưng cũng là một phép nén rất mạnh

Năm 2021, nhóm của Edward Chang tại UCSF công bố trên New England Journal of Medicine hệ speech neuroprosthesis đầu tiên giải mã trực tiếp các từ và câu từ attempted speech ở một người bị anarthria sau brainstem stroke. Participant được cấy một mảng ECoG mật độ cao trên sensorimotor cortex và cố nói các từ trong bộ 50 từ.

Hệ thống giải mã câu theo thời gian thực ở median 15,2 từ/phút, với word error rate 25,6%. Ở thời điểm đó, điều quan trọng không phải tốc độ tuyệt đối. Thí nghiệm cho thấy sau nhiều năm không thể phát âm, cortex vẫn tạo ra pattern đủ ổn định để máy nhận biết ý định nói.

Những hệ sau đó mở rộng vocabulary mạnh hơn. Năm 2023, Stanford báo cáo 62 từ/phút trên vocabulary 125.000 từ. Cùng năm, nhóm UCSF–UC Berkeley đạt median 78 từ/phút với vocabulary 1.024 từ và median word error rate 25%.

Nhưng một câu được in đúng trên màn hình vẫn giống phụ đề hơn một con người đang nói. Text không chứa cường độ giọng, tốc độ, intonation, chuyển động môi hay một cái nhướng mày.

Với communication prosthesis, đó không phải chi tiết trang trí. Giao tiếp xã hội phụ thuộc mạnh vào những tín hiệu song song này để người nghe biết câu đang là câu hỏi, lời đùa, sự do dự hay một phản ứng tức thời.

Năm 2023: cùng tín hiệu speech bắt đầu điều khiển cả một khuôn mặt

Công trình UCSF–UC Berkeley năm 2023 trên Nature là bước chuyển rõ đầu tiên từ brain-to-text sang một hệ output đa kênh.

Participant, được UCSF gọi là Ann, bị liệt nặng sau brainstem stroke. Nhóm đặt một mảng 253 điện cực ECoG trên vùng cortex liên quan tới điều khiển môi, lưỡi, hàm, thanh quản và khuôn mặt. Khi Ann cố nói thầm, hệ thống không chỉ chạy một decoder.

Một pipeline tạo text. Một pipeline khác tổng hợp speech audio. Một pipeline thứ ba giải mã các chuyển động articulatory để animate một khuôn mặt ảo.

Avatar có thể mở và khép hàm, thay đổi hình dạng môi, mô phỏng chuyển động lưỡi và thực hiện các biểu cảm không phải speech như vui, buồn hay ngạc nhiên. Nhóm dùng công nghệ facial animation của Speech Graphics, nhưng tín hiệu điều khiển đến từ neural activity khi participant cố thực hiện các chuyển động tương ứng.

Giọng nói tổng hợp còn được cá nhân hóa bằng đoạn ghi âm của Ann trước khi bị stroke. Đây là một bước khác với text-to-speech generic: mục tiêu không chỉ để người khác hiểu câu, mà để output mang một phần identity của người nói.

Cần hiểu đúng điều hệ thống “đọc”. Implant không quan sát một cảm xúc bí mật rồi tự quyết định avatar nên cười. Với các biểu cảm không lời, participant được cue để cố thực hiện một số movement/expression đã định trước; classifier nhận dạng neural pattern rồi kích hoạt animation tương ứng. Đây là attempted motor decoding, không phải mind reading.

Năm 2025: giọng nói bắt đầu giữ lại cách câu được nói

Khuôn mặt avatar giải quyết phần hình ảnh, nhưng một giọng máy đều đều vẫn làm mất nhiều biểu cảm.

Tháng 6/2025, nhóm UC Davis công bố trên Nature một brain-to-voice neuroprosthesis dùng bốn microelectrode array với tổng cộng 256 điện cực cấy vào ventral precentral gyrus của một người mắc ALS và severe dysarthria.

Khác pipeline text-first, model học ánh xạ neural activity trực tiếp sang các đặc trưng speech theo thời gian. Voice samples được tạo từ neural activity trong khoảng 10 ms, sau đó phát liên tục để người dùng nghe output khi đang cố nói.

Quan trọng hơn, hệ thống không chỉ giữ phoneme. Neural activity còn mang thông tin về paralinguistic features. Participant có thể thay đổi intonation để biến một câu thành câu hỏi, nhấn mạnh từ đã chọn và điều khiển pitch để hát các melody ba nốt ngắn.

Đây là bước quan trọng vì “giọng nói” không đồng nghĩa với “chuỗi từ được đọc thành âm thanh”. Một communication prosthesis tự nhiên cần khôi phục cả rhythm, stress và pitch — những thứ text thường xóa sạch.

Tuy vậy, speech tổng hợp năm 2025 vẫn chưa đạt intelligibility của giọng người bình thường. Trong một đánh giá bằng người nghe, word error rate của voice tổng hợp từ neural signal còn khoảng 43,6% ở một tập thử được paper báo cáo. Hệ thống chứng minh expressive control là khả thi, không phải bài toán speech đã được giải xong.

Năm 2026: avatar có thêm vai, đầu và bàn tay

Nghiên cứu mới nhất của UCSF mở rộng từ khuôn mặt sang phần thân trên.

Paper trên Nature Neuroscience ngày 14/9/2026 dùng một mảng ECoG mật độ cao 253 điện cực để ghi activity trong sensorimotor cortex ở ba participant bị liệt với mức độ khác nhau. Nhóm trước hết kiểm tra nhiều movement type: orofacial movement, tay, đầu và mắt.

Sau đó, hai participant tiếp tục phần thử nghiệm avatar. Hệ thống chạy hai decoder song song: một cho speech, một cho gesture. Speech được hiển thị thành text; gesture điều khiển animation của avatar toàn thân.

Với Bravo-1r, bộ thử gồm 5 utterance, 4 gesture và 12 cặp kết hợp được chọn. Với Bravo-6, nhóm dùng 10 utterance, 10 gesture và toàn bộ 100 tổ hợp speech–gesture. Thiết kế 10 × 10 rất quan trọng: nếu “hello” luôn đi với wave, model có thể gian lận bằng cách dùng tín hiệu speech để đoán gesture. Khi mọi câu được ghép với mọi gesture, decoder buộc phải học hai modality riêng hơn.

Các gesture gồm những hình thức giao tiếp phần thân trên như hand wave, thumbs-up, nod, shrug và fist pump tùy participant và task.

Trong real-time simultaneous copy task của Bravo-6, hệ thống đạt 70% accuracy cho speech và 66% cho gesture, với chance level 9,1% cho mỗi decoder. Trong một conversational proof of concept nhỏ gồm năm block, accuracy trung bình là 75% cho speech và 85% cho gesture.

Bravo-1r đạt median 100% cho cả hai decoder trong ba conversational block, nhưng sample quá nhỏ để xem con số này như một benchmark tổng quát. Chính paper mô tả phần hội thoại là proof of concept.

Điểm khó bất ngờ: “nói + vẫy tay” không bằng “nói” cộng “vẫy tay”

Một cách thiết kế đơn giản sẽ là train speech decoder khi participant chỉ nói, train gesture decoder khi participant chỉ làm gesture, rồi chạy hai model cùng lúc.

Nhóm UCSF cho thấy cách đó không hoạt động tốt bằng tưởng tượng.

Khi con người thực hiện hai hành vi cùng lúc, neural representation không chỉ là phép cộng tuyến tính của hai pattern riêng. Activity trong sensorimotor cortex có phần chồng lấp giữa speech và upper-body movement, và distribution của signal thay đổi theo behavioral context.

Model chỉ được train trên isolated task có false-negative rate tăng mạnh khi gặp simultaneous behavior. Khi nhóm đưa cả trial isolated lẫn simultaneous vào training, speech và gesture decoder ổn định hơn ở cả hai context.

Kết quả này có ý nghĩa lớn hơn một benchmark. Nếu BCI cuối cùng được dùng trong hội thoại tự nhiên, người dùng sẽ không lần lượt “nói xong rồi mới gesture”. Họ sẽ làm cả hai cùng lúc. Training data vì vậy cũng phải phản ánh communication thật, chứ không chỉ những task phòng lab được tách sạch.

“Full-body avatar” hiện chưa phải motion capture từ não

Từ “brain-to-avatar” dễ tạo hình ảnh một hệ thống tái dựng liên tục toàn bộ cơ thể từ cortex. Công nghệ hiện chưa làm được như vậy.

Trong paper 2026, full-body avatar là giao diện hiển thị. Gesture decoder chủ yếu chọn giữa một số class rời rạc đã train trước. Khi model dự đoán “wave”, Unreal Engine chạy animation tương ứng.

Nó không liên tục giải mã từng góc vai, khuỷu tay, cổ tay và ngón tay để dựng trajectory giống một motion-capture suit.

Tương tự, paper 2023 có thể animate các orofacial gesture và một số emotional expression, nhưng không chứng minh hệ thống tự suy ra toàn bộ emotional state của participant. Paper 2025 giải mã intonation và pitch do người dùng chủ động điều khiển, không phải một máy “đọc cảm xúc” vô thức.

Ranh giới này quan trọng về cả khoa học lẫn đạo đức. Những BCI hiện tại hoạt động tốt nhất khi giải mã ý định vận động hoặc attempted speech cụ thể, sau khi model được train với người dùng. Chúng không đọc một dòng suy nghĩ tự do đang diễn ra bên trong đầu.

Avatar giải quyết một vấn đề mà accuracy của text không đo được

Hai hệ brain-to-text có thể có cùng word error rate nhưng tạo trải nghiệm rất khác.

Một hệ chỉ in text yêu cầu người đối diện nhìn màn hình. Một hệ có giọng nói cho phép giao tiếp bằng tai. Một hệ có khuôn mặt và gesture tạo thêm gaze target, nhịp hội thoại và tín hiệu phản hồi mà con người quen dùng từ nhỏ.

Điều này đặc biệt có ý nghĩa trong turn-taking. Một cái gật đầu có thể cho người đối diện biết “tôi đang nghe” mà không cần tạo cả câu. Một cái thumbs-up có thể thay cho vài từ. Một cái nhún vai có thể truyền uncertainty mà text phải diễn đạt vòng hơn.

Nói cách khác, một số bandwidth giao tiếp không nằm trong ngôn ngữ viết. Brain-to-avatar cố khôi phục bandwidth đó.

Nhưng avatar cũng thêm một lớp thiết kế chủ quan. Hình dáng avatar, giọng tổng hợp, animation và timing đều có thể ảnh hưởng việc người khác hiểu persona của người dùng. Nếu animation quá cường điệu hoặc giọng không giống người dùng, prosthesis có thể vô tình “nói hộ” theo một phong cách mà người dùng không chọn.

Vì vậy personalization không chỉ là cosmetic feature. Nó có thể trở thành một phần của quyền kiểm soát identity trong neuroprosthetics.

Phần cứng vẫn còn rất xa một avatar có thể mang theo cả ngày

Các demonstration hiện nay vẫn phụ thuộc phần cứng nghiên cứu.

Hệ UCSF dùng ECoG cần phẫu thuật đặt electrode trên bề mặt cortex. Trong study 2026, implant nối qua hệ dây tới external processing unit. Một máy Linux xử lý neural data và decoder, trong khi máy Windows riêng chạy Unreal Engine để render avatar; average TCP transmission latency giữa hai máy chỉ khoảng 7,5 ms, nhưng tổng setup vẫn là một hệ lab cồng kềnh.

NIH cho biết nhóm Chang dự định thử một phiên bản fully implantable và wireless. Nếu thành công, đây sẽ là bước cần thiết để chuyển từ demonstration sang daily communication.

Sample size cũng còn rất nhỏ. Paper 2023 chủ yếu xoay quanh một participant. Brain-to-voice 2025 cũng là một participant. Study speech + gesture 2026 có ba người ở giai đoạn mapping và chỉ hai người ở phần avatar.

ALS, brainstem stroke và các nguyên nhân liệt khác nhau có thể để lại neural representation khác nhau. Mỗi user hiện vẫn cần data collection và decoder được cá nhân hóa; chưa có một “foundation model cho brain-to-avatar” có thể cắm vào ai cũng dùng ngay.

Cuộc đua tiếp theo không phải thêm nhiều animation hơn

Một avatar với 100 gesture sẽ không tự động tự nhiên hơn một avatar với 10 gesture nếu người dùng phải đợi nhiều giây, model kích hoạt sai hoặc decoder không hoạt động ổn định qua nhiều tháng.

Để brain-to-avatar trở thành communication prosthesis thực tế, ít nhất năm vấn đề phải tiến cùng lúc:

• Speech: vocabulary lớn, word error rate thấp và latency đủ ngắn cho hội thoại;
• Prosody: pitch, stress, tốc độ và các paralinguistic cue phải nằm dưới quyền chủ động của người dùng;
• Movement: chuyển từ một số gesture class sang control liên tục và linh hoạt hơn;
• Reliability: model phải chịu neural drift và hoạt động nhiều tháng với calibration tối thiểu;
• Hardware: implant phải wireless, kín, an toàn và đủ đơn giản để sử dụng ngoài phòng lab.

Điểm thú vị là các mảnh riêng lẻ đã bắt đầu xuất hiện. Brain-to-text đã tiến xa về vocabulary và accuracy. Brain-to-voice đã chứng minh prosody có thể được giải mã. Facial avatar đã hoạt động từ 2023. Upper-body gesture vừa được ghép vào cùng implant năm 2026.

Thách thức giờ không còn là chứng minh não chứa tín hiệu cho từng kênh riêng lẻ. Nó là ghép chúng thành một interface trong đó người dùng có thể nói, nhấn giọng, gật đầu hoặc vẫy tay mà không phải nghĩ xem decoder nào đang chạy.

Từ khôi phục “lời nói” tới khôi phục “sự hiện diện”

Brain-to-text từng là mục tiêu hợp lý vì text dễ đo: hoặc từ đúng, hoặc từ sai. Nhưng communication giữa người với người không chỉ là chuỗi token.

Công trình năm 2023 cho thấy cortex có thể điều khiển một khuôn mặt ảo trong lúc tạo speech. Năm 2025 cho thấy neural signal chứa đủ thông tin để thay đổi intonation và pitch. Năm 2026 cho thấy cùng một implant có thể tách speech và body gesture khi chúng xảy ra đồng thời.

Không kết quả nào đồng nghĩa một avatar kỹ thuật số đã thay thế được cơ thể. Vocabulary gesture còn nhỏ, movement còn là class-based animation, phần cứng còn nối dây và số participant còn quá ít.

Nhưng hướng phát triển đã rõ hơn. Neuroprosthesis không còn chỉ cố gửi đúng câu mà người dùng muốn nói. Nó đang tiến tới một mục tiêu khó định lượng hơn: trả lại đủ giọng, nét mặt và chuyển động để người đối diện nhận ra cách người đó muốn hiện diện trong cuộc trò chuyện.

Nguồn: New England Journal of Medicine — Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria (2021); Nature — A high-performance neuroprosthesis for speech decoding and avatar control (2023); UCSF — How Artificial Intelligence Gave a Paralyzed Woman Her Voice Back; Nature — An instantaneous voice-synthesis neuroprosthesis (2025); Nature Neuroscience — Simultaneous speech and gesture decoding for multimodal communication in paralysis (2026); NIH — Neuroprosthesis for paralysis enables simultaneous speech and body language.