简介
video-analyzer是一个视频分析工具,它结合了Llama的11B视觉模型和OpenAI的Whisper模型,通过提取关键帧、将它们输入视觉模型以获取细节,并结合每个帧的细节和可用的转录内容来描述视频中发生的事情。这个工具代表了计算机视觉、音频转录和自然语言处理的结合,能够生成视频内容的详细描述。它的主要优点包括完全本地运行无需云服务或API密钥、智能提取视频关键帧、使用OpenAI的Whisper进行高质量音频转录、使用Ollama和Llama3.2 11B视觉模型进行帧分析,以及生成自然语言描述的视频内容。
截图

产品特色
完全本地运行,无需云服务或API密钥
利用openrouter的LLM服务提高速度和规模
从视频中智能提取关键帧
使用OpenAI的Whisper进行高质量音频转录
使用Ollama和Llama3.2 11B视觉模型进行帧分析
生成自然语言描述的视频内容
自动处理音质不佳的音频
详细JSON输出分析结果
通过命令行参数或配置文件高度可配置
使用教程
1. 克隆仓库:git clone https://github.com/byjlw/video-analyzer.git
2. 进入项目目录:cd video-analyzer
3. 创建并激活虚拟环境:python3.11 -m venv .venv
4. 激活虚拟环境:source .venv/bin/activate (Windows用户使用.venv\Scripts\activate)
5. 安装包:pip install . (常规安装)或 pip install -e . (开发安装)
6. 安装FFmpeg:根据操作系统使用相应的命令安装FFmpeg
7. 安装Ollama并拉取默认视觉模型:ollama pull llama3.2-vision
8. 启动Ollama服务:ollama serve
9. 使用video-analyzer分析视频:video-analyzer path/to/video.mp4
10. (可选)如果使用OpenRouter,获取API密钥并配置使用
流量来源
直接访问 | 51.61% | 外链引荐 | 33.46% | 邮件 | 0.04% |
自然搜索 | 12.58% | 社交媒体 | 2.19% | 展示广告 | 0.11% |
最新流量情况
月访问量
4.92m
平均访问时长
393.01
每次访问页数
6.11
跳出率
36.20%
总流量趋势图
地理流量分布情况
美国
19.34%
中国
13.25%
印度
9.32%
俄罗斯
4.28%
德国
3.63%
地理流量分布全球图
同类开源产品

优秘企业智脑
中文精选
优秘企业智脑是一个综合性的 AIGC SaaS 平台,旨在通过融合 AI 技术、知识库和智能体平台,提升企业内外部的工作效率及客户获取能力。
AI信息平台#SaaS

Livideo AI
Livideo是一个提供无限面部交换视频的平台,使用AI技术,无需订阅费用,保护用户隐私。
视频编辑#无限

Tiktok AI Alive
AI Alive是TikTok推出的创新功能,利用智能编辑工具将静态照片转换为生动的视频,为用户提供丰富多彩的创作可能性,强调简单易用,提升视觉叙事体验。
视频编辑#照片

I10x
AI Agent Marketplace是一个集成了各种AI代理的在线市场,用户可以通过该平台轻松获取各种AI服务,包括语音识别、自然语言处理、图像识别等。
AI信息平台#在线市场

当贝 AI
中文精选
当贝AI,一款由当贝公司研发的智能助手,当贝AI整合DeepSeek-R1 671B满血版,DeepSeek V3、豆包、通义等优质大模型。
AI信息平台#写作助手

Twelvelabs
TwelveLabs是一个强大的视频智能平台,通过能够看、听、推理的人工智能,发现深度见解,分析、重组和自动化工作流程。
视频编辑#人工智能

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理

Novastart
NovaStart利用先进的AI技术分析市场趋势,基于您的地理位置、技能和预算,秒速生成定制的创新业务想法。
AI信息平台#创新

Morning Expert
Morning Expert提供AI驱动的个性化财经科技新闻,旨在消除信息噪音,为用户提供有价值的资讯,并保持领先竞争。
AI信息平台#科技
替代品

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理

Bilive
bilive 是一个专为 B 站直播录制而设计的工具,支持自动切片、弹幕渲染与字幕生成,兼容低配置设备,适合广泛用户群体。
视频编辑#B 站

AI 视频图文创作助手
AI 视频图文创作助手是一个开源工具,旨在将视频和音频内容转化为多种格式的文档,帮助用户进行二次阅读和思考。
视频编辑#视频处理

Awesome GPT 4o Images
Awesome GPT-4o Images 是一个展示 OpenAI 最新多模态模型 GPT-4o 生成的图片和提示的集合。
AI信息平台#图像生成

AGI News
优质新品
AGI News 是一个开源项目,利用自主 AI 代理技术收集并发送最新的 AI 新闻。
AI信息平台#新闻

VACE
优质新品
VACE(Video All-in-One Creation and Editing)是由 Tongyi Lab 团队开发的一款多功能视频创作与编辑模型。
视频编辑#视频创作

Videopainter
VideoPainter 是一款基于深度学习的视频修复和编辑工具,采用预训练的扩散变换器模型,结合轻量级背景上下文编码器和 ID 重采样技术,能够实现高质量的视频修复和编辑。
视频编辑#文本引导

Trajectorycrafter
TrajectoryCrafter 是一种先进的相机轨迹重定向工具,利用扩散模型技术,将单目视频中的相机运动重新设计,提升视频的表现力和视觉吸引力。
视频编辑#相机轨迹

Smolvlm2
SmolVLM2 是一种轻量级的视频语言模型,旨在通过分析视频内容生成相关的文本描述或视频亮点。
视频编辑#文本生成
精选AI产品推荐

Nocode
中文精选
NoCode 是一款无需编程经验的平台,允许用户通过自然语言描述创意并快速生成应用,旨在降低开发门槛,让更多人能实现他们的创意。
开发平台#应用开发
912

Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具,支持中文和英语,基于前沿 AI 技术,能够快速生成用户感兴趣的播客内容。
音频生成#AI
348

Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理,能够将创意提示转化为艺术作品,支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理开源
564

Smart PDFs
国外精选
Smart PDFs 是一个在线工具,利用 AI 技术快速分析 PDF 文档,并生成简明扼要的总结。
文章摘要#AI
984

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
480

Anyvoice
AnyVoice是一款领先的AI声音生成器,采用先进的深度学习模型,将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k

Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k