Вау! Real-time генерация видео стала ближе к реальности. Челики ускорили диффузию для видеогенерации в 10x раз! Утверждают

️Вау! Real-time генерация видео стала ближе к реальности. Челики ускорили диффузию для видеогенерации в 10x раз! Утверждают, что качество при этом не теряется. На видео пример того, как они ускорили Open-Sora, например. Генерация со скоростью 21 fps на 8 видеокартах. Для сравнения, до этого из восьми видеокарт с помощью tensor parallelism можно было выжать ускорение не более чем в 3-4 раза по сравнению с одной. Если сейчас 60-сек генерации модели уровня Соры занимает по моим прикидкам от 20 минут до нескольких часов, то в ближайший год мы увидим ускорение этого процеса на 1 или 2 порядка. Pyramid Attention Broadcast делает шаг в этом направлении. Ссылка на проект - Real-Time Video Generation with Pyramid Attention Broadcast Статьи пока нет, но код уже есть