Исследователи из Университета Кобе научили алгоритм компьютерного зрения предсказывать, движется мышь или нет, по данным функциональной визуализации мозга.
Ученые разработали метод определения того, какие входные данные могут быть для ИИ релевантными, проливая свет на проблему «черного ящика». Эта работа становится еще одним шагом к более совершенным интерфейсам мозг-компьютер, а подробности ее опубликованы в журнале PLOS Computational Biology.
Одна из основных проблем в нейробиологии – это сопоставление работы отдельных единиц мозга, которую можно измерить, с комплексным и сложным поведением. Для создания эффективных интерфейсов мозг-компьютер необходимо понимать, как именно сигналы мозга и следующие за ними действия соотносятся друг с другом. Этот процесс называется нейронным декодированием, и большинство исследований в этой области посвящено расшифровке электрической активности клеток головного мозга, которая измеряется электродами, имплантированными в мозг.
С другой стороны, технологии функциональной визуализации, такие как функциональная МРТ (фМРТ) или кальциевая визуализация, могут «покрывать» весь мозг и обнаруживать активные области по косвенным данным. Плюс фМРТ – еще и неинвазивный метод.
Из этих двух методов кальциевая визуализация выполняется быстрее и обеспечивает лучшее пространственное разрешение. Но для нейронного декодирования она почти не используется из-за того, что нужно предварительно обрабатывать данные: например, удалять шум или выделять интересующие области. Это затрудняет задачу по обобщению с помощью информации, полученной после нейронного декодирования, множества различных видов поведения.
Команда нейробиологов и разработчиков из Университета Кобе объединилась, чтобы решить эту проблему. Опыт работы с визуализацией мозга в режиме реального времени при отслеживании движений мышей, а также с методами глубокого обучения позволил ученым попробовать в действии «сквозные» методы глубокого обучения. Данные, использующиеся для них, не требуют предварительной обработки с заранее заданными точками интереса, и, таким образом, для нейронного декодирования собирается информация об активности всей коры головного мозга.
Команда объединила два различных алгоритма глубокого обучения, один из которых использовался для декодирования пространственной, а другой – для временной части паттернов (рисунков активности). Они обучались на данных видеосъемки всей коры головного мозга мышей, отдыхающих или бегающих на беговой дорожке. Таким образом, модель искусственного интеллекта научилась определять по косвенным рисункам активности головного мозга, движется мышь или стоит на месте.
Ученые отмечают, что их модель с точностью до 95% предсказывает истинное поведенческое состояние животного без необходимости удалять шум или заранее определять область интереса. Кроме того, обработка по времени минимальна и занимает лишь 0,17 секунды, что означает, что достичь скорости, близкой к скорости реального времени, возможно. Кроме того, модель справилась одинаково хорошо с активностью мозга пяти разных животных, что говорит о ее возможности учитывать некоторые индивидуальные характеристики сигнала (или же о высокой межиндивидуальной схожести сигналов такого рода).
Ученые пошли дальше и определили то, какие именно части изображений в основном отвечали за прогноз, удаляя их и наблюдая за производительностью модели. Чем хуже становился прогноз, тем важнее были эти данные. Таким образом они решили проблему «черного ящика», показав, по каким конкретно областям мозга ИИ классифицировал поведение. Это важный аспект глубокого обучения.
В совокупности исследователи разработали методику идентификации поведения по данным функциональной визуализации всей коры головного мозга, которую можно обобщать и распространять на другие типы действий. Дополнительно к этому они еще разработали и методику определения того, на каких частях данных основаны прогнозы.
«Это исследование закладывает основу для дальнейшего совершенствования интерфейсов мозг-компьютер, способных декодировать поведение практически в режиме реального времени с использованием неинвазивной визуализации мозга», — считают авторы.
Текст: Анна Хоружая