27.07.2019

Специальный механизм

Недавно разработчиками из США был представлен для pizzaGAN специальный механизм, с помощью которого по шагам рисуется пицца. При этом в случае необходимости какие-то компоненты добавляются либо убираются. В частности, с пиццы можно убрать ненужные части ананаса. В основе такой архитектуры находится генеративно-состязательная нейросеть. В этом случае добавление каждого последующего слоя приводит к смене предыдущего изображения. После этого накладывается очередной компонент. Вся необходимая информация о том, как работает алгоритм, была записана в препринте.

В данный момент алгоритмы, в основе которых находится работа нейросетей, с лёгкостью делают качественные снимки объектов. В качестве основы для этого применяется текстовое описание. В частности это распространяется на рецепты блюд. Так, подобного рода алгоритм в начале 2019 года был представлен учёными из Израиля. На самом деле, даже если понятно, что представляет собой готовое блюдо, никто не будет гарантировать, что все поймут, как готовится блюдо. Так как в этом случае стоит понимать всё по шагам. Это правильное приготовление блюда, что случится в случае отсутствия какого-то компонента и замены его каким-то другим. Также интересно, как будет меняться цвет, когда продукт будет подвергаться термической обработке, что произойдёт с консистенцией.

Проект пиццы

Данный алгоритм был разработан исследователями технологического университета, которым руководит Dim Papadopoulos. Во время эксперимента было решено сконцентрироваться на пицце. Почему выбрали именно это блюдо? Так как оно готовится в весьма простой последовательности, а в его состав входит несколько компонентов. И как следствие появилась pizzaGAN. В этом случае для нового компонента предусмотрен очередной слой. Также слои различаются в разных этапах приготовления пиццы. С помощью архитектуры в пицце появляются новые компоненты. Но если так выйдет, что какой-то из выполненных шагов в приготовлении пиццы не будет устраивать – можно будет отметить этот шаг. При этом в качестве примера используется картинка пиццы без выполнения этого шага.

Чтобы обучить модель – было решено создать датасет. Это такое цифровое изображение пиццы, в котором предусмотрены разные начинки. По правилам, их помещают на пиццу в определённой последовательности. Что важно, для каждой начинки предусмотрена специальная маска с компонентами. Она отвечает за их порядок их размещения на блюде и их количество. А чтобы получить конечный снимок пиццы применили настоящие снимки блюда. По итогу данный алгоритм правильно добавляет компоненты в блюдо и убирает лишние. Также можно увидеть, что случится с определённой пиццей после того как она будет приготовлена в печи и до того как она будет готовиться. Чтобы посмотреть изображения датасетов, посвящённых «синтетической» и реальной пицце, варианты пиццы до и после её приготовления – стоит посетить сайт проекта.