Исследователи из Университета Пердью смогли создать своеобразную технологию чтения мыслей. Они научили искусственный интеллект декодировать сигналы фМРТ во время того, пока люди смотрели какое-либо видео.
Критически важную роль здесь сыграл тип алгоритма, называемый сверточной нейронной сетью, с помощью которого сейчас появилась возможность распознавать лица и объекты.
Сверточные нейронные сети – это специфический алгоритм глубокого обучения, который позволяет изучать то, как мозг обрабатывает статические изображения и другие зрительные стимулы. В этой работе они впервые использовались для того, чтобы обрабатывать динамичные сцены, что стало ещё одним шагом к расшифровке мыслей.
Исследователи изучили 11,5 часов фМР-сканирования мозга трёх женщин, которые просмотрели 972 видеоклипа с присутствием людей или животных в городской или природной среде. Эти данные использовались для того, чтобы обучить свёрточную сеть прогнозировать в процессе просмотра видео активность зрительной коры головного мозга.
Затем на основе этого учёные создали модель, которая смогла точно декодировать данные фМРТ в определённые категории изображений. После этого настоящие видео запускались вместе с интерпретацией компьютером мозговой активности. Стоит сказать, что итог компьютерной обработки оказался не слишком качественным, но это только начало.
Исследователи также смогли использовать эту модель для того, чтобы на основании данных, полученных от одного человека, предсказать и декодировать мозговую деятельность другого человека, так называемое кодирование и декодирование по перекрёстным темам. Этот вывод важен, поскольку он демонстрирует потенциал для широкого применения таких моделей как в изучении функций мозга, так и в помощи людям с нарушением зрения.
«Мы полагаем, что вступаем в новую эру машинного интеллекта и нейронаук, где исследования фокусируются на пересечении этих двух важных областей. Наша миссия в целом заключается в продвижении искусственного интеллекта с использованием концепций, вдохновлённых самим мозгом. В свою очередь, мы хотим использовать искусственный интеллект, чтобы лучше понять мозг», — отмечают авторы работы.
Статья с описанием технологии и результатами исследования опубликована в журнале Cerebral Cortex.
Текст: Анна Хоружая