Японские разработчики научили смартфоны подстраивать интерфейс под расположение пальца, даже если он не касается экрана.
Оказалось, что разрешения камер в современных смартфонах достаточно, чтобы распознать палец, экран и их взаимное расположение по отражению в глазах. Статья была представлена на конференции CHI 2022.
Почти все современные смартфоны имеют такой большой экран, что дотянуться до всех его краев пальцем сложно. В мобильных операционных системах и некоторых приложениях есть режим управления одной рукой, который перемещает основные элементы интерфейса ближе к большому пальцу, чтобы до них было проще дотянуться. Но если поворот экрана смартфоны умеют определять самостоятельно, подстраивая интерфейс под горизонтальную или вертикальную ориентацию, то режим использования одной рукой приходится включать самостоятельно, потому что определять расположение рук достаточно сложно.
В 2016 году исследователи из Microsoft показали, что расположение кисти и пальца над экраном можно определить без прикосновения к нему по изменению параметров сенсорного экрана в разных его областях. Группа инженеров под руководством Юты Сигиура (Yuta Sugiura) из Университета Кэйо предложила необычный способ определения расположения пальцев над экраном и показала на практике, как это можно использовать, чтобы сделать интерфейс удобнее для человека.
Идея инженеров заключается в том, что когда пользователь держит смартфон, как правило, его палец висит над экраном и заслоняет свет от него. И поскольку в практически каждом смартфоне есть фронтальная камера, эту картину в виде яркого экрана и тени от пальца можно увидеть в отражении от глаза. Потенциально для этого можно использовать почти любой смартфон без каких-либо аппаратных модификаций.
Разработанный авторами алгоритм делает снимок на фронтальную камеру, затем вырезает область с глазом, а после этого еще раз вырезает уже область зрачка, в которой находится отражение. После этого изображение подается на сверточную нейросеть, которая распознает в ней один из шести вариантов расположения пальцев:
Для обучения алгоритма авторы попросили 13 добровольцев собрать данные: требовалось сделать по 12 снимков для каждого варианта расположения рук. Чтобы алгоритм был устойчив к различным условиям, во время съемки смартфон использовал разную яркость, а уже сделанные снимки дополнили их слегка повернутыми или увеличенными копиями, чтобы собрать более объемный датасет. Тестирование обученной модели на незнакомых данных (кросс-валидация с исключением данных одного участника) показало среднюю точность классификации в 41 процент. Если же в обучающей и тестовой выборке были данные от всех добровольцев, то точность повышалась до 85 процентов — но при реальном использовании это означает, что человеку необходимо откалибровать алгоритм под себя, сделав несколько десятков снимков, что довольно неудобно.
В качестве практического применения разработчики показали три примера. В одном смартфон подстраивает кнопки в приложении под расположение пальцев. В другом от этого зависит то, как располагается клавиатура — по центру или ближе к одному из краев. А в третьем примере смартфон предупреждает человека, что он слишком долго держит смартфон в одной руке.
Инженеры не первый раз показывают возможности камер в современных смартфонах. Например, Google научилась определять по камере частоту сердцебиения и дыхания, а другая группа инженеров показала, что по видео с камеры можно измерить даже кровяное давление.
Автор: Григорий Копиев