Инженеры из исследовательского подразделения компании Toyota разработали мягкие контактные площадки, которые можно использовать с обычными параллельными робозахватами. Они состоят из надувных камер с точками на внутренней поверхности.
При контакте с предметами поверхность искривляется, и робот с высокой точностью определяет направление смещения, а также узнает предметы знакомых типов. Статья о разработке опубликована на arXiv.org.
Классическое устройство для взаимодействия роботов с предметами — это параллельный захват. Он состоит из двух параллельных пластин, которые робот подносит к интересующему его предмету и сдвигает. Обычно пластины делают из стали, а силу сжатия отслеживают напрямую датчиками давления или по уровню тока на моторах. Но для работы с хрупкими предметами или с людьми такие роботы непригодны, потому что могут их повредить.
Инженеры из Исследовательского института Toyota под руководством Расса Тедрейка (Russ Tedrake) создали новый параллельный захват, способный работать с хрупкими предметами и распознавать их при помощи осязания. Захват состоит из двух одинаковых пальцев, расположенных друга напротив друга. Главная часть пальцев — это эластичная латексная мембрана. Она прикреплена к полому корпусу, который по трубке присоединен к датчику давления.
Несмотря на то, что захват может измерять изменение давления при прикосновении к предметам, эти данные используются только для того, чтобы определить по разнице давлений, а также скорости движения пальцев, что произошел стабильный захват двумя пальцами. За расчет направление сдвига предмета вдоль мембраны и распознавание типа предмета отвечает камера. Она расположена внутри пальца, в нижней его части. Инженеры использовали камеру глубины, выдающую два потока одинакового разрешения: карту глубины и инфракрасный кадр.
Во время контакта камера помогает рассчитать его характеристики по деформации мембраны. Но сама по себе мембрана гомогенная и однотонная, поэтому в исходном виде она не годится для этой задачи. Разработчики решили эту проблему с помощью нанесенных на внутреннюю поверхность мембраны черных точек, причем расположены они не в виде четкой сетки, а в псевдослучайных положениях, что позволяет более стабильно отслеживать смещения точек.
При смещении предмета относительно мембраны смещаются и положения точек на кадре, поэтому по данным с камеры можно легко и точно определить направление смещения, применяя стандартные методы расчета оптического потока. Определение смещения позволяет захвату понять, что передвигаемый предмет с чем-то столкнулся. Авторы продемонстрировали это, показав, как робот построил башню из четырех бокалов, стоящих друг на друге.
Также инженеры использовали визуальную систему в пальцах для распознавания предметов. Они использовали метод автоматического обучения, при котором робот последовательно поднимал предмет и ронял его, после чего тот падал случайным образом. Благодаря этому за несколько сотен хватаний робот получал данные о том, как выглядит предмет с разных сторон.
При контакте используется нейросеть ResNet-18, которая получает на вход инфракрасные кадры и карты глубины с обоих пальцев, а в ответ выдает класс объекта. Кроме того, алгоритм позволяет распознать положение предмета в руке. Авторы показали потенциальное применение робота в быту, научив его сортировать предметы в раковине: кружки робот клал на стол, а бутылки складывал для сдачи на переработку.
В прошлом году инженеры из MIT создали робота, который сортирует мусор, определяя тип предмета на ощупь, используя для этого пальцы с датчиками растяжения и давления.
Автор: Григорий Копиев