Специалисты из компании Google продемонстрировали микроскоп с дополненной реальностью. Разработку, которая предназначена для гистологов, работающих с материалами биопсии, представили в виде доклада и статьи на ежегодной конференции Американской ассоциации по исследованию рака.
Важной особенностью разработки стало то, что для неё не обязательно строить новое «железо» — сам микроскоп. Новой нейросетью можно дополнить программное обеспечение цифровых микроскопов, уже имеющихся в наличии в клиниках и в исследовательских учреждениях. Во время изучения образца нейросеть сама анализирует изображение и обводит подозрительные области зелёным цветом на экране дополненной реальности.
Свёрточная нейросеть анализирует поле зрения микроскопа со скоростью 10 кадров в секунду, что позволяет ей «успевать», когда образец движется при смене увеличения. Прототип, получивший название «Микроскоп дополненной реальности» — Augmented Reality Microscope, ARM – работает при увеличениях 4-40х).
Тренировка нейросети проходила на размеченных изображениях двух типов: гистологических образцах рака предстательной железы и метастазах в лимфатических узлах. Первых типов картинок в тренировочном наборе было 285, вторых – 399. В итоге прототип научился определять метастазы в лимфатических узлах с вероятностью в 0,98, а рак простаты – с вероятностью 0,96 – то есть, с точностью 98 и 96 процентов соответственно.
Текст: Алексей Паевский