Generative AI in Premiere Pro powered by Adobe Firefly

В прошлом году Adobe запустила Firefly — свою новейшую модель генеративного ИИ, основанную на предыдущей SenseiAI, и теперь компания показала, как она будет использоваться в её приложении для редактирования видео Premiere Pro. В раннем превью были продемонстрированы несколько ключевых функций, которые появятся в конце этого года, включая добавление и удаление объектов, генеративное расширение и преобразование текста в видео. Новые функции будут популярными, так как подгонка видео — это частая и утомительная задача. Первая функция, Generative Extend, решает проблему, с которой редакторы сталкиваются практически при каждом монтаже: — слишком короткие клипы. Adobe объяснила, что при помощи генеративного расширения можно увеличить продолжительность клипов, упрощая идеальную подгонку и добавление плавных переходов. Ещё одна распространённая проблема — нежелательный мусор в кадре, который сложно удалить, или добавление желаемого объекта. Функция добавления и удаления объектов в Premiere Pro решает эту задачу, снова используя генеративный ИИ Firefly. Просто выберите и отслеживайте объекты, а затем заменяйте их. Удаляйте ненужные предметы, меняйте гардероб актёра или быстро добавляйте декорации, такие как картина или фотореалистичные цветы на столе. Adobe показала пару примеров, добавляя кучу бриллиантов в портфель с помощью текстового запроса. Он также удаляет распределительную коробку, меняет циферблат часов и добавляет галстук к костюму персонажа. Компания также продемонстрировала способ импорта пользовательских моделей ИИ. Одна из них, называемая Pika, питает Generative Extend, а другая (Sora от OpenAI) может автоматически генерировать B-Roll. Последнее, скорее всего, вызовет споры, поскольку потенциально может уничтожить тысячи рабочих мест, но всё ещё находится “на ранней стадии исследований“. Компания отмечает, что добавит “контент-сертификаты“ к таким кадрам, чтобы было видно, какие части были сгенерированы ИИ, включая компанию, стоящую за моделью. Подобная функция также доступна в “Text to Video“, позволяя генерировать совершенно новые кадры прямо в приложении. Просто введите текст в подсказку или загрузите эталонные изображения. Эти клипы можно использовать для разработки идей и создания раскадровок или для создания B-roll, дополняющих отснятый материал. Похоже, компания довольно быстро выводит функционал, учитывая, что качественное генеративное ИИ-видео впервые появилось всего несколько месяцев назад. Эти функции появятся позже в этом году, но в мае Adobe также представляет обновления для всех пользователей.