Вот держите гибридный пайплайн от генерации 3D-модели персонажа
Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга.
Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту.
Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук.
Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken!
Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff.
Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки.
Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д.
Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo.
P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян.
Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии.
. Была такая поговорка у продакшенов - “на посте все поправят“. Теперь на посте сидят такие: “зачем моделить правильно, на нейрорендеринге все поправится“.
Короче, расслабляем булки, ИИ все поправит. За вас.
Автор обещает полный тутор тут:
270 views
19
10
5 months ago 00:02:29 5
️ ️ ️ Решили показать вам, как сейчас холодно в Центральной России. Снег, град, ледяной дождь
5 months ago 00:00:05 13
Решили показать вам, как сейчас холодно в Центральной России. Снег, град, ледяной дождь
5 months ago 00:18:07 1
ГДЕ САМАЯ ЛУЧШАЯ СОЛЬ В РОСИИ? - StandUp Импровизация | Александр Копченов | Стендап 2024
5 months ago 00:03:38 1
Антон Зацепин. Книжки о любви
5 months ago 00:00:43 2
“Вы мне кивали?“. Фрагмент из фильма Страсти по Владимиру (1990)
5 months ago 00:37:37 1
Вот что держит мир! Отец Андрей Ткачёв
5 months ago 00:04:16 1
Павел Пламенев и FIZICA - Уважай нашу власть! (16+)
5 months ago 00:13:54 1
Поэт Роберт Рождественский. Встань, лейтенант! Способность человека на подвиг. Robert Rozhdestvensky
5 months ago 00:11:28 1
“Она случайно уронила ложку...“ стихи про МАМУ до слёз!...