开发该程序的原因是一次失败的婚礼照片拍摄:鸟、垃圾桶和其他不浪漫的物体进入了新娘和新郎的画面。南乌拉尔国立大学自动化系的程序员塔蒂亚娜·多尔吉克决定一劳永逸地解决这个问题:编写一个计算机程序来快速彻底地去除异物。此外,车里雅宾斯克的开发与 Photoshop 有着根本的不同。
“在 Photoshop 中,你可以删除对象并使用它们被描绘的背景作为补丁,”塔蒂亚娜·多尔吉克解释道。“但是,例如,如果一只鸟被拍摄成触及天空和树木的方式,那么在 Photoshop 中,它被删除的轮廓将只剩下天空。但我将有一部分树,一切看起来都很自然。”
塔季扬娜·多尔吉克在工作中使用了 U-Net 神经网络,她使用开放获取的 PASCAL VOC 2012 数据集进行训练,该数据集包含四类:人物、动物、车辆和室内家具。人工神经网络几乎可以立即删除照片中的选定图像;只需将光标放在对象上而不选择它即可。这是与所有现有服务的另一个不同之处。
“在当前使用的服务中,您需要选择不必要的对象,有时您必须多次执行此操作,”塔季扬娜·多尔吉克说。“通常,不可能完美地选择对象;您可以触摸一些相邻部分。也就是说,您必须自己移动魔术刷。但在我的程序中,您只需单击即可。我预先训练了神经网络以匹配对象。当我们加载原始源图像时,它会显示结果分割,即它找到的所有对象。然后它处理需要删除的对象。”
塔季扬娜·多尔吉克开发的程序在俄罗斯是独一无二的。这项发明已申请专利。它可能会引起所有专业摄影师、设计师和从事图像工作的人们的兴趣。可以扩大这个独特的程序,现在就让每个人都可以使用;为此需要感兴趣的合作伙伴。
开发人员计划改进产品,训练神经网络计算和删除大约一百类物体——从手提包和雨伞到自行车和汽车。从技术上讲,可以采取下一步行动:教人工智能删除视频中不需要的移动物体。