Ученые изучают ряд способов общения людей с ограниченными возможностями своими мыслями. Самое новое и быстрое возвращается к старинным средствам самовыражения: почерку.
Впервые исследователи расшифровали активность мозга, связанную с попытками писать буквы от руки. Работая с участником с параличом, которому в мозг имплантированы датчики, команда использовала алгоритм для идентификации букв, когда он пытался их написать. Затем система отображала текст на экране в реальном времени.
По словам соавтора исследования Кришны Шеноя, исследователя из Медицинского института Говарда Хьюза при Стэнфордском университете, который совместно руководил работой с Джейми Хендерсоном, нейрохирургом из Стэнфорда, нововведение может, при дальнейшем развитии, позволить людям с параличом быстро печатать, не используя руки.
Пытаясь писать от руки, участник исследования набирал 90 символов в минуту, что более чем вдвое превышает предыдущий рекорд для набора текста с таким « интерфейсом мозг-компьютер », сообщают Шеной и его коллеги в журнале Nature 12 мая 2021 года.
«Эта и другие подобные технологии могут помочь людям с различными формами инвалидности», — говорит Хосе Кармена, нейроинженер из Калифорнийского университета в Беркли, который не принимал участия в исследовании. Хотя результаты предварительные, по его словам, «это большой прогресс в этой области».
По словам Кармена, интерфейсы мозг-компьютер превращают мысль в действие. «Этот документ является прекрасным примером: интерфейс декодирует мысль о письме и производит действие».
Два крошечных массива имплантированных электродов передавали информацию из области мозга, которая управляет руками и руками, алгоритму, который переводил ее в буквы, отображаемые на экране. Предоставлено: Ф. Виллетт и др. / Nature 2021 / Эрика Вудрам / Медицинский институт Говарда Хьюза.
Коммуникация, основанная на мысли
Когда травма или болезнь лишают человека способности двигаться, нервная активность мозга, связанная с ходьбой, захватом чашки кофе или произнесением предложения, сохраняется. Исследователи могут воспользоваться этим занятием, чтобы помочь людям с параличом или ампутацией восстановить утраченные способности.
Потребность зависит от характера инвалидности. Некоторые люди, потерявшие способность пользоваться руками, все еще могут использовать компьютер с функцией распознавания речи и другим программным обеспечением. Для тех, кто испытывает трудности с речью, ученые разрабатывают другие способы помочь людям общаться.
В последние годы команда Шеноя расшифровала нейронную активность, связанную с речью, в надежде воспроизвести ее. Они также разработали способ, позволяющий участникам с имплантированными датчиками использовать свои мысли, связанные с попытками движений рук, для перемещения курсора по экрану. Указание и нажатие на буквы таким образом позволяет людям печатать около 40 символов в минуту, что является предыдущим рекордом скорости набора текста с помощью интерфейса мозг-компьютер (BCI).
Однако на почерк никто не смотрел. Фрэнк Уиллетт, нейробиолог из группы Шеноя, задавался вопросом, можно ли использовать сигналы мозга, вызванные прикосновением ручки к бумаге. «Мы хотим найти новые способы, позволяющие людям общаться быстрее», — говорит он. Его также мотивировала возможность попробовать что-то другое.
Команда работала с участником клинического испытания под названием BrainGate2, которое проверяет безопасность BCI, которые передают информацию непосредственно из мозга участника в компьютер. (Директором испытания является Ли Хохберг, невролог и нейробиолог из Массачусетской больницы общего профиля, Университета Брауна и Медицинского центра Провиденс, штат Вирджиния.) Хендерсон имплантировал два крошечных датчика в ту часть мозга, которая контролирует руку и руку, что позволило человек, например, перемещает роботизированную руку или курсор на экране, пытаясь переместить свою парализованную руку.
Когда участник представлял, что пишет букву или символ, датчики, имплантированные в его мозг, улавливают образцы электрической активности, которые интерпретируются алгоритмом, чтобы проследить путь его воображаемого пера. Предоставлено: Ф. Виллетт и др. / Nature 2021 / Медицинский институт Говарда Хьюза.
Участник, которому на момент исследования было 65 лет, имел травму спинного мозга, в результате которой он был парализован от шеи до низа. Используя сигналы датчиков, полученные от отдельных нейронов, когда человек воображал письмо, алгоритм машинного обучения распознавал шаблоны, создаваемые его мозгом с каждой буквой. С помощью этой системы мужчина мог копировать предложения и отвечать на вопросы с той же скоростью, что и человек его возраста, печатающий на смартфоне.
Этот так называемый BCI «мозг-текст» работает так быстро, потому что каждая буква вызывает четко выраженный паттерн активности, что позволяет алгоритму относительно легко отличать одно от другого, говорит Виллетт.
Новая система
Команда Шеноя предполагает использовать попытки рукописного ввода для ввода текста как часть более комплексной системы, которая также включает навигацию по принципу «укажи и щелкни», очень похожую на ту, что используется на современных смартфонах, и даже попытки декодирования речи. «Мы естественным образом делаем эти два или три режима и переключение между ними», — говорит он.
Затем, говорит Шеной, команда намеревается работать с участником, который не может говорить, например, с кем-то с боковым амиотрофическим склерозом, дегенеративным неврологическим расстройством, которое приводит к потере движения и речи.
Новая система потенциально может помочь тем, кто страдает параличом, вызванным рядом заболеваний, добавляет Хендерсон. К ним относится инсульт ствола головного мозга, от которого пострадал Жан-Доминик Боби, автор книги «Водолазный колокол и бабочка». «Он смог написать эту трогательную и красивую книгу, тщательно выбирая персонажей по одному, используя движение глаз», — говорит Хендерсон. «Представьте, что он мог бы сделать с рукописным интерфейсом Фрэнка!»