В NVIDIA уже научились профессионально подделывать видео с помощью методов машинного обучения, а теперь инженеры компании взялись за фотографии. Новая система искусственного интеллекта умеет не только убирать лишние объекты из кадра, но и восстанавливать изображение, добавляя недостающие детали на «замазанных» участках.
В NVIDIA уже научились профессионально подделывать видео с помощью методов машинного обучения, а теперь инженеры компании взялись за фотографии. Новая система искусственного интеллекта умеет не только убирать лишние объекты из кадра, но и восстанавливать изображение, добавляя недостающие детали на «замазанных» участках.
Как это работает?
Слева направо: «испорченный» портрет, традиционные методы, алгоритм NVIDIA и оригинал
Инструмент Deep Fill напоминает функцию заливки с учётом содержимого в Photoshop, но вариант NVIDIA — это качествнно новый уровень. По словам авторов проекта, аналоги обычно фокусируются на обработке прямоугольных фрагментов ближе к центру картинки. Новая система анализирует всё изображение, а потому может работать с дефектами любой формы и размера, независимо от расстояния до границы. Для обучения ИИ команда использовала более 55 тысяч шаблонов, в соответствии с которыми на фото удаляли случайные области.
Слабым местом алгоритмов остаются «свободные» структуры с большим расстоянием между элементами. Например, воссоздать форму здания им не всегда удаётся. Зато с книжными полками и восстановлением лиц они неплохо справляются. И даже могут убрать парочку морщин:
О практическом применении технологии в сервисах NVIDIA пока речи не идёт.
Источники: DPReview, arXiv
