Поводом для разработки послужила одна неудачная свадебная фотосессия: в кадр с женихом и невестой попали птицы, мусорные урны и прочие неромантические объекты. Программист отдела автоматизации ЮУрГУ Татьяна Долгих решила устранить проблему раз и навсегда: написать компьютерную программу для быстрого и бесследного удаления посторонних предметов. Причем, у челябинской разработки есть принципиальные отличия от работы фотошопа.
«В фотошопе можно удалять объекты и в качестве заплатки брать фон, на котором они изображены, – объясняет Татьяна Долгих. – Но, если, к примеру, птица сфотографирована так, что задевает небо и дерево, в фотошопе на месте ее удаленного силуэта будет только небо. А у меня частично будет и дерево, и все будет выглядеть естественно».
В своей работе Татьяна Долгих использовала нейронную сеть U-Net, для её обучения взяла из открытого доступа набор данных PASCAL VOC 2012, в котором представлены четыре категории людей, животных, транспортных средств и мебели для помещений. Искусственная нейросеть удаляет выбранные изображения на фото практически мгновенно, достаточно ткнуть курсором на объект, не выделяя его. Это еще одно отличие от всех существующих сервисов.
«В сервисах, которые используются сейчас, нужно именно выделять ненужный объект, иногда приходится делать это по несколько раз, – рассказывает Татьяна Долгих. – Зачастую идеально выделить предмет не удается, можно задеть какие-то соседние части. То есть, волшебную кисть ты должен водить сам. А в моей программе просто кликнул и всё. Я заранее обучила нейронную сеть сопоставлять объекты. Когда мы загружаем оригинальное исходное изображение, она показывает полученную сегментацию, то есть все объекты, которые нашла. А затем уже работает с объектом, который необходимо удалить».
Программа, которую разработала Татьяна Долгих, уникальна для России. На изобретение оформлен патент. Потенциально она может быть интересна всем профессиональным фотографам, дизайнерам и людям, работающим с изображениями. Масштабировать уникальную программу и сделать доступной для всех желающих можно уже сейчас, для этого нужны заинтересованные партнеры.
Разработчик планирует усовершенствовать продукт, и обучить нейронную сеть вычислять и удалять около ста категорий объектов – от дамской сумочки и зонтика до велосипедов и автомобилей. Технически можно совершить и следующий шаг: научить искусственный интеллект удалять нежелательные движущиеся объекты на видео.