Исследователи из Стэнфордского университета продемонстрировали, что внутреннюю речь – мысленное проговаривание слов без их произнесения вслух – можно декодировать в реальном времени с помощью нейроинтерфейса, записывающего активность моторной коры головного мозга.
Ученые создали систему, способную распознавать воображаемые предложения из словаря в 125.000 слов с точностью до 74%, что позволяет восстановить коммуникации людям с параличом. Работа, опубликованная в журнале Cell, также решает важную этическую проблему – как защитить приватность мыслей пользователей нейроинтерфейсов.
Внутренняя речь активирует схожие с обычной речью области мозга, включая моторную кору. Исследователи уже многие годы пытаются приблизиться к наиболее чистой и быстрой декодировке и достигают на этом пути определенных успехов, о которых мы на писали портале неоднократно (например, про нейроинтерфейс с аватаром). В предыдущих исследованиях с помощью электрокортикографии декодировали внутреннюю речь из отдельных регионов коры, но результаты различались относительно того, какие именно области наиболее важны. Недавно одна из научных групп продемонстрировала декодирование внутренней речи из супрамаргинальной извилины, выявив общие репрезентации для внутренней, произносимой и воспринимаемой речи.
В нынешнем исследовании участвовали четыре человека с тетраплегией — параличом всех четырех конечностей (T12, T15, T16, T17), которым имплантировали микроэлектродные матрицы в премоторную и моторную кору. Три участника страдали имели тяжелую дизартрию из-за БАС или инсульта, четвертый был полностью лишен речи. Исследователи использовали задачу с отсроченной инструкцией, где участникам требовалось произносить, воображать или воспринимать на слух семь односложных слов. Для декодирования применялись наивный байесовский классификатор и рекуррентные нейронные сети.
Ключевым открытием стало то, что внутренняя речь, восприятие речи и чтение про себя представлены в тех же областях моторной коры, что и попытки произнесения – в средней (область 55b) и наиболее вентральной (область i6v) частях прецентральной извилины (как раз моторная кора). Нейронные представления различных типов речевого поведения высоко коррелировали между собой, но внутренняя и воспринимаемая речь оказались как бы «масштабированными» версиями попыток разговаривать, но с меньшей амплитудой активации.
На основе этой информации исследователи создали нейроинтерфейс для декодирования внутренней речи в реальном времени. При использовании словаря из 50 слов точность составила 67-86%, а с большим словарем в 125.000 слов – 46-74%. Участники отмечали, что использование внутренней речи требует меньше усилий и выглядит более естественно по сравнению с попытками произнесения.
Неожиданно оказалось, что некоторый процент непроизвольной внутренней речи можно декодировать даже тогда, когда участники не получали специальных инструкций. В задаче запоминания последовательности стрелок участники спонтанно использовали внутреннее проговаривание («вверх, вправо, вверх»), что успешно декодировалось. При счете геометрических фигур декодер предсказывал возрастающие числа, соответствующие процессу подсчета.
Критически важным открытием стало обнаружение «моторно-интенционального» измерения – нейронного сигнала, различающего попытки произнесения от внутренней речи. Это измерение отражает различия в базовой активности нейронов между двумя типами поведения и присутствует даже у полностью анартричного участника, что указывает на сохранение моторных намерений в моторной коре.
Для решения этических вопросов приватности исследователи разработали две стратегии защиты. Первая – обучение декодера распознавать внутреннюю речь как «тишину», что позволяет полностью предотвратить ее декодирование при сохранении точности для попыток говорить внутри себя. Вторая – система «ключевых слов», где декодирование активируется только после мысленного произнесения специального слова-пароля, что продемонстрировало 98,75% точности.
Авторы подчеркивают, что работа открывает новые возможности для нейроинтерфейсов речи, особенно для людей с полным параличом, которым физически трудно или невозможно попытаться произнести слова. Внутренняя речь может стать более комфортной альтернативой, потенциально позволяющей достичь скорости, сравнимой с нормальной речью.
Однако текущее исследование имеет ограничения: малый размер выборки, возможная вариабельность использования внутренней речи разными людьми, и то, что полноценные предложения во время свободного мышления пока декодировать не удается. Также необходимо придумать дополнительные меры защиты приватности при широком внедрении речевых нейроинтерфейсов. Пока также остается открытым вопрос, насколько далеко способно зайти декодирование внутреннего монолога, который может сильно различаться между людьми и не всегда формулироваться в конкретные слова.
Текст: Анна Хоружая