Хотя нейросети уже умеют успешно различать фотографии, интерпретировать тексты и находить космические радиовсплески, их «внутренний мир» остается загадкой.
Даже создатели нейросети не всегда могут сказать, почему она приняла то или иное решение. Некоторые исследователи и вовсе называют нейросети «черными ящиками».
А если нейросети поручат принимать важные решения, от которых зависят жизни людей? Тогда она тем более не должна ошибаться, но чтобы избежать ошибок, мы должны знать, на какие именно детали она обращает внимание. Райан Сокласки (Ryan Soklaski) и его коллеги из Лаборатории Линкольна при Массачусетском технологическом институте предложили сделать шаг назад и вернуться к нейросетям, которые выполняют задачу за несколько приемов. Исследователи создали сеть, которая находит нужные предметы на фотографиях – например, она может отличить маленький блестящий красный шар от цилиндров или кубов.
Сначала нейросеть выискивала все маленькие предметы, затем среди маленьких находила все блестящие и т. д. Иногда нейросеть ошибалась, тогда исследователи вручную вносили коррективы. В итоге удалось добиться уникального результата – нейросеть давала правильные и быстрые ответы в 99,1% случаев, сообщают авторы в публикации на arXiv.org.
Тем временем специалисты из Мерилендского университета обнаружили, что нейросети ошибаются из-за запрограммированной самоуверенности. Они изучили поведение нейросети, способной находить ответы в частях текста или фразах. Обычно резоны таких сетей изучают, исключая слова в вопросе. Если ответ изменился, то это слово для искусственного интеллекта важно.
На сей раз поступили наоборот: стали исключать из вопроса малозначимые, по мнению электронного интеллекта, слова. В одной из фраз говорилось о командах по американскому футболу Panthers и Broncos. На вопрос о том, где тренировались Broncos, нейросеть отвечала правильно – «на стадионе Стэнфордского университета». После того, как специалисты убрали из вопроса слово «Broncos», ответ остался прежним. Нейросеть продолжала однообразно отвечать и тогда, когда в вопросе остались всего три английских слова, и когда на человеческий взгляд это была уже просто бессмыслица, говорят авторы в опубликованном докладе. По их мнению, искусственный интеллект, станет более точным, если научить его по примеру людей определять абсурдные вопросы и требовать уточнений.
Автор: Сергей Сурженко