Российские ученые предложили новый алгоритм для автоматической расшифровки и интерпретации сигналов активности головного мозга, который можно использовать как в интерфейсах «мозг-компьютер», так и в фундаментальных исследованиях.
Интерфейсы «мозг-компьютер» необходимы для создания роботизированных протезов и нейроимплантов, тренажеров для реабилитации и устройств, которыми можно управлять «силой мысли». Такие гаджеты помогают людям, перенесшим инсульт или получившим травмы, передвигаться (в случае роботизированного кресла или протезов), общаться, управлять компьютером и бытовыми приборами. Кроме того, нейроинтерфейсы в комбинации с методами машинного обучения помогут разобраться, как работает человеческий мозг.
Как правило, нейрокомпьютерные интерфейсы используют данные об электрической активности нейронов мозга, полученные, например, с помощью электро- или магнитоэнцефалографии. Однако для того, чтобы перевести сигналы нейронов в команды, их нужно обработать и декодировать. Традиционные методы обработки сигналов требуют кропотливой работы по выделению информативных признаков – характеристик сигнала, которые с точки зрения исследователя наиболее важны для решения задачи декодирования.
Первоначально авторы статьи сосредоточились на данных электрокортикографии (ЭКоГ) – записи нейронной активности, при которой датчики (электроды) расположены под твердой оболочкой, непосредственно на поверхности коры головного мозга, – и разработали архитектуру искусственной нейронной сети, которая позволяет автоматизировать выделение интерпретируемых признаков.
По задумке ученых, нейросетевой алгоритм должен быть не слишком сложным с точки зрения количества параметров, автоматически настраиваемым и обеспечивать возможность интерпретации выученных параметров. Последнее требование особенно важно: если оно выполняется, нейронную сеть можно использовать не только для декодирования сигналов, но и для получения новых знаний о работе нейронов, которые очень пригодятся ученым и врачам. Поэтому, помимо новой нейросети для обработки сигналов, авторы работы предложили (и обосновали теоретически) метод интерпретации результатов для целого класса сетей с похожей архитектурой.
Нейронная сеть, предложенная авторами статьи, состоит из нескольких схожих по строению ветвей, каждая из которых автоматически настраивается на анализ сигналов отдельной нейронной популяции в определенном диапазоне частот и отстраивается от помех. Для этого в них используются сверточные слои, похожие на те, из которых состоят нейросети, заточенные под анализ изображений, и которые выполняют роли пространственного и частотного фильтров. Зная веса пространственного фильтра, можно определить, где находится нейронная популяция, а веса частотного фильтра показывают, как активность нейронов меняется во времени, а также косвенно свидетельствуют о размере популяции.
Чтобы оценить качество работы нейросети в сочетании с новым методом интерпретации ее параметров, ученые сначала сгенерировали набор реалистичных модельных данных – 20 минут активности 44 популяций нейронов. К данным добавили шум, имитирующий помехи при записи сигналов в реальных условиях. Вторым набором данных для проверки стал датасет с соревнования BCI Competition IV, содержащий ЭКоГ-данные нескольких испытуемых, которые периодически спонтанно шевелили пальцем руки.
Еще один набор ЭКоГ-данных был собран самими учеными на территории Московского государственного медико-стоматологического университета им. А.И. Евдокимова, который служит клинической базой Центра биоэлектрических интерфейсов НИУ ВШЭ. В отличие от предыдущих данных, записи, собранные учеными, содержали полную геометрическую информацию о расположении ЭКоГ электродов на поверхности коры головного мозга каждого пациента. Это позволило интерпретировать веса пространственных фильтров, выученные нейронной сетью, и разглядеть соматотопию (зависимость положения нейронной популяции на коре головного мозга от части тела, за работу которой она отвечает) в расположении популяций нейронов, которые оказались ключевыми в декодировании движения каждого из пальцев.
Нейросеть продемонстрировала хорошие результаты: на датасете BCI Competition IV она сработала наравне с решением, предложенным победителями соревнования, но, в отличие от него, использовала автоматически выделенные признаки. Во время работы как с реальными, так и с модельными данными ученые доказали, что можно детально и корректно интерпретировать параметры весов, причем интерпретация дает физиологически обоснованные результаты. Также разработчики применили новую методику к классификации воображаемых движений на основе неинвазивных (полученных с поверхности головы, без вживления электродов) ЭЭГ-данных. Как и в случае с ЭКоГ, нейронная сеть обеспечила высокую точность декодирования и интерпретируемость признаков.
“Мы уже используем наш подход для построения инвазивных интерфейсов мозг-компьютер, а также для решения задач предоперационного картирования коры, необходимого, чтобы гарантировать сохранение ключевых поведенческих функций после операции на головном мозге, — комментирует руководитель исследования, директор Центра биоэлектрических интерфейсов НИУ ВШЭ Алексей Осадчий — В ближайшем будущем разработанная методика может быть применена для автоматического извлечения знаний о принципах реализации поведенческих функций в головном мозге”.
В исследовании приняли участие сотрудники Центра биоэлектрических интерфейсов НИУ ВШЭ и Московского государственного медико-стоматологического университета им. А.И. Евдокимова. Результаты исследования опубликованы в Journal of Neural Engineering.
Источник: пресс-служба НИУ ВШЭ