Синтез визуального контента, отвечающего потребностям пользователей, часто требует гибкого и точного управления позой, формой, выражением и композицией созданных объектов. Существующие подходы к управлению генеративными противоборствующими сетями (GAN) достигают управляемости путем ручной аннотации обучающих данных или использования предварительной 3D-модели, что часто не обладает гибкостью, точностью и обобщаемостью. В данной работе мы изучаем мощный, но гораздо менее изученный способ управления GAN, а именно,

Перейти на сайт
Перетащите свой GAN: интерактивное точечное воздействие на генеративное изображение манифольда

Введение

Что такое DragGAN?

DragGAN - это мощный инструмент для интерактивной точечной манипуляции на генеративном изображении. Он позволяет пользователям "тянуть" любые точки изображения, чтобы точно достичь целевых точек в интерактивном режиме.

Как работает DragGAN?

DragGAN состоит из двух основных компонентов: 1) надзор за движением на основе признаков, который заставляет точку рукоятки двигаться к целевой позиции, и 2) новый подход к отслеживанию точек, который использует дискриминативные признаки GAN для постоянного определения позиции точек рукоятки.

Особенности DragGAN

  • Точный контроль над тем, куда идут пиксели, позволяющий манипулировать позой, формой, выражением и композицией различных категорий, таких как животные, автомобили, люди, пейзажи и т. д.
  • Возможность деформировать изображение с реалистичными результатами даже для сложных сценариев, таких как генерация скрытого контента и деформация форм, которые последовательно следуют за жесткостью объекта.
  • Может использоваться для задач манипуляции изображениями и отслеживания точек.

Цена

Статья и код доступны бесплатно, а изображения, текст и видеофайлы на сайте предоставляются бесплатно для некоммерческого использования в соответствии с лицензией Creative Commons CC BY-NC 4.0.

Перетащите - Альтернатива

Stability.ai:Stable Animation SDK: Текстовый инструмент для разработчиков от Stability AI

Stability AI: Стабильный анимационный SDK от Stability AI дает возможность художникам и разработчикам создавать захватывающие анимации, используя передовые модели стабильного диффузии, включая Stable Diffusion 2.0 и Stable Diffusion XL, на основе подсказок, исходных изображений или исходных видеороликов, открывая уникальные творческие возможности.

--
Stability AI представляет StableStudio: Открытое будущее DreamStudio

Stability.ai: Stability AI представляет StableStudio, открытое приложение для преобразования текста в изображение, с акцентом на развитие сообщества и продвижение генеративного искусственного интеллекта. Присоединяйтесь к будущему искусственного интеллекта с StableStudio для генерации фотореалистичных изображений, языковых моделей и многого другого.

--
Stability.ai:Output: Искусственный интеллект модели изображений революционизируют компьютерное зрение

Stability.ai: Stable Diffusion XL и SDXL Turbo от Stability.ai революционизируют генерацию изображений с помощью более коротких подсказок, создавая описательные изображения с улучшенной композицией и реалистичной эстетикой, открывая безграничные творческие возможности.

--
Больше тегов о: Перетащите свой GAN: интерактивное точечное воздействие на генеративное изображение манифольда