全新视频模型LTXV 在 ComfyUI 中提供原生支持
最近Comfy团队的更新不断,两天前继Flux Tools支持后,接着又宣布Lightricks 的突破性视频生成模型LTX Video (LTXV)得到了ComfyUI 的原生支持!
 
LTXV 是一个基于 DiT 的20 亿参数视频生成模型,能够实时生成高质量视频。它以 768x512 的分辨率生成 24 FPS 的视频,速度比观看速度还快。
 
ComfyUI 中 LTXV 的亮点
一.实时生成速度
LTXV 仅用 4 秒便可制作出 5 秒 24 FPS 视频(768x512),比观看视频的速度还快。
 
LTXV 旨在保持精度和视觉质量,同时不影响速度或内存效率。它针对 RTX 4090 等广泛使用的 GPU 进行了优化,并利用 bfloat16 精度实现高效内存使用,同时不牺牲质量。
 
二. 高视频质量
LTXV 的速度无与伦比,仅用 20 个扩散步骤,即可在短短四秒内制作出一段时长五秒的视频(121 帧,分辨率为 768x512) 。其扩散变换器架构可确保流畅的运动,并消除物体变形等常见问题,从而提供卓越的运动一致性。此外,该模型具有高度可扩展性,能够生成质量一致的长视频,使创作者能够突破讲故事的界限。
 
三. ComfyUI 中的原生支持
最新的 ComfyUI 现已原生支持 LTXV。Lightricks 还专门为 ComfyUI 开发了自定义节点,名为“ LTXVideo ”。这些节点可在ComfyUI Manager中使用。只需搜索“LTXVideo”即可!
 
 
LTX 视频入门
一. ComfyUI 原生工作流程
可以直接尝试在 ComfyUI 中运行 LTXV 模型,性能会稍微好一些。
 
尝试以下步骤,并记住您的提示需要长而具有描述性:
 
1. 更新至 ComfyUI 最新版本
2. 下载ltx-video-2b-v0.9.safetensors到models/checkpoints文件夹中
 
3. 确保t5xxl_fp16在你的models/clip文件夹中
 
4. 从官方示例工作流程页面获取工作流程并深入创作!
 
二. 尝试 LTXVideo 自定义节点
LTXVideo 自定义节点也可访问,由 Lightricks 不断更新,并具有图像到视频等附加功能。
 
文字转视频
 
图像转视频
 
要使用 LTXVideo 自定义节点运行 LTXV 模型,请尝试以下步骤:
 
1. 更新至 ComfyUI 最新版本
2. 在 ComfyUI Manager 中搜索“ LTXVideo ”并安装
3. 下载ltx-video-2b-v0.9.safetensors到models/checkpoints文件夹中
 
4. 将模型克隆PixArt-XL-2-1024-MS到 models/text_encoders文件夹
 
5. 下载文本转视频和图像转视频工作流程
 
LTXV 为实时视频生成开辟了令人兴奋的新可能性,ComfyUI突破可能的界限,来享受创作吧!
 
2024-11-24
浏览119
📜行业资讯
登录后评论
评论
1