Устройство за имплантиране на мозъци позволява на хората с увреждания на речта да общуват със своите умове Нов интерфейс на мозъка и компютъра превежда неврологични сигнали в пълни изречения

image: https://thumbs-prod.si-cdn.com/TBmX8Lv-5cA-IPnn9uWiXb2aZBI=/800x600/filters:no_upscale()/https://public-media.si-cdn.com/filer/02/4b/024b4192-6d66-48e7-8997-03763abe3e46/demo_video_still_1b.jpg

Използвайки мозъчен имплант с редица електроди, учените могат да четат неврологични сигнали и да превеждат мозъчната активност на говоримия език.

 (Chang Lab / UCSF отдел по неврохирургия) От Мади Бураков SMITHSONIAN.COM 
24 АПРИЛ 2019 Г.

С напредъка в областта на електрониката и неврологията изследователите са успели да постигнат забележителни неща с устройства за имплантиране на мозъци, като например възстановяване на видимостта на слепите . В допълнение към възстановяването на физическите сетива, учените търсят и иновативни начини за улесняване на комуникацията за тези, които са загубили способността си да говорят. Нов "декодер", който получава данни от електроди, имплантирани в черепа, например, може да помогне на парализираните пациенти да говорят, използвайки само техните умове.

 

Изследователи от Калифорнийския университет в Сан Франциско (UCSF) разработиха двуетапен метод за превръщане на мозъчните сигнали в компютърно синтезирана реч. Техните резултати, публикувани тази седмица в научното списание Nature , осигуряват възможен път към по-течна комуникация за хора, които са загубили способността си да говорят.

От години учените се опитват да впрегнат невронните входове, за да дадат глас на хората, чиито неврологични увреждания им пречат да говорят - като оцелели от инсулт или пациенти с АЛС. Досега много от тези интерфейси между мозъка и компютъра са използвали подход „писмо-по-писмо“, при който пациентите придвижват очите си или лицевите си мускули, за да изразят мислите си. (Стивън Хокинг е насочил речевия си синтезатор чрез малки движения в бузата си.)

Но тези видове интерфейси са бавни - най-макс от тях произвеждат 10 думи в минута, като част от средната скорост на говорене от 150 думи на минута. За по-бърза и по-течна комуникация изследователите от UCSF са използвали дълбоки алгоритми за обучение, за да превърнат невронните сигнали в изречени изречения.

 

„Мозъкът е непокътнат при тези пациенти, но невроните - пътищата, които водят до ръцете, устата или краката - са разбити. Тези хора имат високо познавателно функциониране и способности, но не могат да изпълняват ежедневни задачи като преместване или казване на нещо ”, казва Гопала Ануманчипали, съпредседател на новото проучване и асоцииран изследовател, специалист по неврологична хирургия в UCSF. "По същество ние заобикаляме пътя, който е счупен."

Изследователите започнаха с данни за активността на мозъка с висока резолюция, събрани от пет доброволци в продължение на няколко години. Тези участници - всички от които имаха нормална говорна функция - вече преминаха през процес на наблюдение за лечение на епилепсия, който включваше имплантиране на електроди директно в техните мозъци. Екипът на Чан използваше тези електроди за проследяване на активността в зоните, свързани с речта на мозъка, докато пациентите четяха стотици изречения.

Оттам екипът на UCSF разработи двуетапен процес за пресъздаване на изречените изречения. Първо, те създали декодер, който да интерпретира записаните модели на мозъчна активност като инструкции за движещи се части на виртуалния вокален тракт (включително устните, езика, челюстта и ларинкса). След това те разработиха синтезатор, който използва виртуалните движения за създаване на език.

Други изследвания са се опитали да декодират думи и звуци директно от нервните сигнали, като прескочат средната стъпка на декодиращото движение. Въпреки това, проучване, публикувано от изследователите от UCSF миналата година, показва, че речният център на мозъка се фокусира върху това как да се движи вокалният тракт, за да произвежда звуци, а не какви ще са звуците в резултат на това.

"Моделите на мозъчната активност в речевите центрове са специално насочени към координиране на движенията на вокалния тракт и само косвено свързани със самите речеви звуци", Едуард Чанг, професор по неврологична хирургия в UCSF и съавтор на новия документ. Това каза на брифинг тази седмица. "Изрично се опитваме да декодираме движенията, за да създадем звуци, а не директно да декодираме звуците."

image: https://thumbs-prod.si-cdn.com/JP7FU7cWrmaqym1rclyoWom0qDc=/fit-in/1072x0/https://public-media.si-cdn.com/filer/bc/d8/bcd8fe86-ba19-4d1d-bb78-1480711db85d/ecog-electrode-array-1.jpg

Пример за имплантиране на мозъчни маси от интракраниални електроди от типа, използван за регистриране на мозъчната активност. (UCSF)

Използвайки този метод, изследователите успешно успяват да пренастроят думите и изреченията от мозъчната дейност, които приблизително съответстват на аудио записите на речта на участниците. Когато те попитаха доброволци в онлайн платформа за краудсорсинг, за да се опитат да идентифицират думите и да наложат изречения, използвайки дума банка, много от тях можеха да разберат симулираната реч, въпреки че тяхната точност беше далеч от съвършена. От 101 синтезирани изречения около 80% бяха перфектно транскрибирани от поне един слушател, използвайки банка от 25 думи (този процент се понижи до около 60%, когато думата размер на банката се удвои).

Трудно е да се каже как тези резултати се сравняват с други синтезирани речеви изпитания, казва Марк Слъцки, невролог от Северозападния регион, който не е участвал в новото проучване. Slutzky наскоро работи по подобно изследване, което произвежда синтезирани думи директно от сигналите на мозъчната кора, без да се декодира движението на вокален тракт, и смята, че произтичащото качество на речта е сходно - макар разликите в показателите за производителността дават възможност за директно сравнение.

Един от вълнуващите аспекти на проучването на UCSF е, че декодерът може да обобщи някои резултати между участниците, казва Slutzky. Основно предизвикателство за този тип изследвания е, че обучението на алгоритмите за декодиране обикновено изисква участниците да говорят, но технологията е предназначена за пациенти, които вече не могат да говорят. Възможността да се обобщи някои от алгоритъмните тренировки може да позволи по-нататъшна работа с парализирани пациенти.

За да се справят с това предизвикателство, изследователите също така тестваха устройството с участник, който мълчаливо имитираше изреченията, вместо да ги изговаря на глас. Въпреки че произтичащите от това изречения не бяха толкова точни, авторите казват, че фактът, че синтезирането е възможно дори и без вокализирана реч, има вълнуващи последици.

"Беше наистина забележително да открием, че все още можем да генерираме аудио сигнал от акт, който изобщо не генерира звук", заяви Джош Чартие, съпредседател на студента в UCSF за обучение и биоинженерство. ,

image: https://thumbs-prod.si-cdn.com/AWJe1T-WgxMIqj8Rg2pog0k-sQs=/fit-in/1072x0/https://public-media.si-cdn.com/filer/b7/53/b7531427-3560-42e5-b348-1cc91832529f/gopala-ecog-electrode-array-2.jpg

Изображение на автора на изследването д-р Гопала Ануманчипали, притежаваща редица интракраниални електроди от типа, използван за записване на мозъчната активност в настоящото изследване. (UCSF)

Друга цел на бъдещите изследвания е да се проведат демонстрации в реално време на декодера, казва Anumanchipalli. Настоящото изследване е предназначено като доказателство за концепцията - декодерът е разработен отделно от процеса на събиране на данни и екипът не е тествал скоростта на превеждане на мозъчната активност в синтезирана реч в реално време, въпреки че това би било крайната цел на клинично устройство.

Този синтез в реално време е нещо, което се нуждае от подобрение, за да бъде такова устройство полезно в бъдеще, казва Джейми Хендерсън, неврохирург от Станфорд, който не е участвал в проучването. Все пак той казва, че двустепенният метод на авторите е вълнуващ нов подход, а използването на дълбоки технологии за обучение може да предостави нови прозрения за това как речта наистина работи.

„За мен е много вълнуваща само идеята за започване на изследване на основата за това как речта се произвежда в хората”, казва Хендерсън. "[Това проучване] започва да изследва един от нашите най-човешки способности на фундаментално ниво."

Read more: https://www.smithsonianmag.com/science-nature/brain-implant-device-allows-people-with-speech-impairments-communicate-with-minds-180972030/#vl0cIpjZyefBJIl2.99
Give the gift of Smithsonian magazine for only $12! http://bit.ly/1cGUiGv
Follow us: @SmithsonianMag on Twitter