Fastvideo
目标受众为视频处理领域的研究人员和开发者,特别是那些需要处理大型视频扩散模型并寻求提高推理速度和效率的专业人士。FastVideo通过提供高效的视频扩散模型和蒸馏技术,帮助用户在资源有限的情况下实现高性能的视频处理任务。
总访问量: 474,564,576
占比最多地区: US(19.34%)
1,068
简介
FastVideo是一个开源框架,旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型,实现了8倍推理速度提升。FastVideo基于PCM(Phased-Consistency-Model)提供了首个开放的视频DiT蒸馏配方,支持对最先进的开放视频DiT模型进行蒸馏、微调和推理,包括Mochi和Hunyuan。此外,FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练,以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中,技术高度实验性,未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。
截图
产品特色
• 支持FastHunyuan和FastMochi两种视频扩散模型,实现8倍推理速度提升
• 提供基于PCM的视频DiT蒸馏配方
• 支持对Mochi和Hunyuan等最先进的视频DiT模型进行蒸馏、微调和推理
• 支持FSDP、序列并行和选择性激活检查点进行可扩展训练
• 支持使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调
• 提供预处理数据和预训练模型权重下载,简化用户操作
• 提供对抗性损失的可选脚本,尽管对抗性损失并未观察到显著改进
使用教程
1. 安装FastVideo:按照GitHub页面上的说明,运行`./env_setup.sh fastvideo`来设置环境。
2. 下载模型权重:使用提供的脚本来下载FastHunyuan或FastMochi的模型权重。
3. 运行推理:根据模型的不同,运行对应的推理脚本,例如`sh scripts/inference/inference_hunyuan.sh`进行FastHunyuan模型的推理。
4. 蒸馏模型:按照文档指示,下载原始模型权重,并使用`bash scripts/distill/distill_mochi.sh`或`bash scripts/distill/distill_hunyuan.sh`进行模型蒸馏。
5. 微调模型:确保数据已准备好并预处理,然后使用`bash scripts/finetune/finetune_mochi.sh`进行Mochi模型的微调。
6. 查看开发计划和更新:定期查看FastVideo的GitHub页面,了解最新的开发计划和代码更新。
流量来源
直接访问51.61%外链引荐33.46%邮件0.04%
自然搜索12.58%社交媒体2.19%展示广告0.11%
最新流量情况
月访问量
4.92m
平均访问时长
393.01
每次访问页数
6.11
跳出率
36.20%
总流量趋势图
地理流量分布情况
美国
19.34%
中国
13.25%
印度
9.32%
俄罗斯
4.28%
德国
3.63%
地理流量分布全球图
同类开源产品
AI Dance Generator
VideoPlus.ai是一款AI舞蹈生成器,利用AI技术快速生成引人注目的舞蹈视频,用户可定制舞蹈风格、人物和主题,无水印,适用于舞蹈爱好者、社交媒体影响者等。
视频生成#AI
Veo3video
Veo3 Video是一款利用Google Veo3模型生成高质量视频的平台。
视频生成#AI技术
Veo3
Veo 3是最新的AI视频生成工具,可添加音效、对话和环境噪音,将您的故事栩栩如生。
视频生成#AI
Veo 3
国外精选
Veo 3 是最新的视频生成模型,旨在通过更高的现实主义和音频效果,提供 4K 输出,能更准确地遵循用户的提示。
视频生成#深度学习
Flow AI
Flow 是一个为创作者打造的 AI 电影制作工具,利用 Google DeepMind 的先进模型,用户可以轻松创建出色的电影片段、场景和故事。
视频生成#视频制作
Index AniSora
优质新品
Index-AniSora是由B站开源的顶尖动画视频生成模型,基于AniSora技术实现,支持多种二次元风格视频镜头的一键生成,如番剧、国创、漫改动画、VTuber、动画PV和鬼畜动画等。
视频生成
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架,能够与浏览器交互,支持深度研究、自动规划等功能,适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
Scrapybara
Scrapybara为开发者提供统一的API,以执行任何模型的代理,并访问浏览器、文件系统和代码沙箱等低级控制。
开发与工具#AI代理
Tokenomy.ai
Tokenomy是一款高级AI令牌计算器和成本估算工具,可用于LLMs。
开发与工具#令牌管理
替代品
Index AniSora
优质新品
Index-AniSora是由B站开源的顶尖动画视频生成模型,基于AniSora技术实现,支持多种二次元风格视频镜头的一键生成,如番剧、国创、漫改动画、VTuber、动画PV和鬼畜动画等。
视频生成
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架,能够与浏览器交互,支持深度研究、自动规划等功能,适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
Hunyuancustom
中文精选
HunyuanCustom 是一个多模态定制视频生成框架,旨在根据用户定义的条件生成特定主题的视频。
视频生成#多模态
Agent As A Judge
Agent-as-a-Judge 是一种新型的自动化评估系统,旨在通过代理系统的互相评估来提高工作效率和质量。
开发与工具#奖励信号
Firecrawl MCP Server
Firecrawl MCP Server 是一款集成了强大网页抓取功能的插件,支持多种 LLM 客户端如 Cursor 和 Claude。
开发与工具#数据提取
MCP SuperAssistant
MCP SuperAssistant 是一个 Chrome 扩展,集成了模型上下文协议(MCP)工具,使用户能够直接从 AI 平台执行 MCP 工具,并将结果插入对话中。
开发与工具#AI 助手
Pixverse MCP
PixVerse-MCP 是一个工具,允许用户通过支持模型上下文协议(MCP)的应用程序访问 PixVerse 最新的视频生成模型。
视频生成#AI 工具
Avatarfx
国外精选
AvatarFX 是一个尖端的 AI 平台,专注于互动故事讲述。
视频生成#视频生成
Xcodebuildmcp
XcodeBuildMCP 是一个实现模型上下文协议(MCP)的服务器,旨在通过标准化接口与 Xcode 项目进行程序化交互。
开发与工具#开发工具