В работе, опубликованной в Nature Neuroscience, обнаружили новый принцип работы зрительной коры, объясняющий то, как мозг разделяет объект и фон. Это исследование открывает путь к созданию более совершенных систем компьютерного зрения.
Долгое время считалось, что нейроны первичной зрительной коры (V1) работают по принципу, открытому еще Хьюбелом и Визелем, за которое они получили Нобелевскую премию: существуют простые и сложные клетки первичной зрительной коры, которые по разному распознают объект. Если перед нами белый экран на котором есть черная линия, то простые клетки реагируют на ориентацию линии в конкретном месте (низкая инвариантность к сдвигу), а сложные – «замечают» линию в любом месте экрана (высокая инвариантность к сдвигу). Эта идея простых и сложных клеток была революционной в свое время (1960-е годы), но она была основана на экспериментах с кошками и простыми стимулами (световые полосы, решетки). До сих пор оставалось неясным, есть ли в V1 другие типы инвариантности и как они устроены.
В этом исследовании мышам показывали тысячи изображений, одновременно записывая активность десятков тысяч нейронов V1 с помощью двухфотонной микроскопии. На основе этих данных обучали нейросеть, которая становилась «цифровым двойником» зрительной коры мыши, точно предсказывая реакцию нейронов на любой новый образ. Затем этот цифровой двойник использовали для синтеза принципиально новых стимулов –«вариативных возбуждающих входов» (VEIs): были созданы изображения, которые гарантированно вызывают максимальную реакцию у целевого нейрона, но при этом максимально не похожи друг на друга. На основе VEIs установили сдвиговую инвариантность нейронов V1.
Авторы обнаружили новый механизм для обнаружения границ, основанный на разнице в текстуре и пространственной частоте. Одна из характеристик изображения, которая воспринимается глазом – это пространственная частота, то есть как быстро меняется яркость. Низким частотам (плавное изменение яркости) соответствуют однородные области, фон, небо, стена, размытые контуры, а высоким частотам (резкое изменение яркости) соответствуют мелкие детали, текстуры, границы, шерсть, трава, песок.
Та часть рецептивного поля нейрона, которая инвариантна к сдвигам (реагирует на текстуру, не заботясь о том, где он находится), называется вариативным субполем. А та часть рецептивного поля, которая реагирует только на конкретный объект в конкретном месте (не инвариантна к сдвигам), называется фиксированным субполем. Авторы предположили, что именно такая настройка помогает нейрону различать границы объектов, то есть нейроны V1 могут различать объект и фон на основе различий в их текстурных свойствах (пространственных частотах).
У мышей острота зрения невысока, но они отлично выживают в природе. Для них способность быстро отделить хищника (или добычу) от фона может быть критически важной. Возможно, этот механизм распознавания фона и объекта можно считать общим для многих млекопитающих, включая человека.
Текст: Юлия Баимова