Светлана Габдуллина

Использование “больших” современных генеративных моделей поможет быстро собрать MVP или baseline, но текущее состояние технологий не позволяет получить высокое качество результата. Об этом как будто бы не часто говорят, но если хочется решать задачу хорошо, нужно ее дробить и вникать в процессы, которые автоматизируем. И скорее всего – искать более простые, иногда классические, инструменты.

Мы делаем продукт для автоматической ретуши фотографий товаров. Один из шагов ретуши – наложение тени.

Дано:

- большое разрешение фотографий;

- три ракурса съемки товаров;

- высокие требования к реалистичности тени;

- ограниченный объем данных для обучения.

Попробовали:

- тень по контуру;

- image-editing с помощью диффузии;

- предсказывание слоя с тенью по картинке/маске.

На примере этой задачи продемонстрируем особенности и недостатки генеративных подходов, поговорим о возникающих ограничениях и проблемах, расскажем, как от сложной задачи генерации перешли к, внезапно, более простой задаче сегментации, и что из этого вышло.