简介
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白,为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频,并针对MLLMs的核心能力进行了评估。
截图

产品特色
提供短、中、长视频的准确度评分
包含6个主要领域和30个子类别的视频类型
全面覆盖视频长度和任务类型
新收集并由人工标注的数据,非现有视频数据集
提供视频类别层级和视频时长及任务类型分布的统计信息
与其他基准测试进行比较,突出Video-MME的独特优势
使用教程
访问Video-MME的官方网站
了解不同视频长度和任务类型的评估标准
选择感兴趣的MLLMs模型进行性能测试
提交模型并获取在不同视频子类别中的表现结果
分析结果,与其他模型或基准进行比较
利用评估结果优化和改进MLLMs模型
流量来源
直接访问 | 48.40% | 外链引荐 | 27.67% | 邮件 | 0.04% |
自然搜索 | 6.28% | 社交媒体 | 16.60% | 展示广告 | 0.99% |
最新流量情况
月访问量
12.51k
平均访问时长
13.15
每次访问页数
1.10
跳出率
60.45%
总流量趋势图
地理流量分布情况
美国
86.53%
韩国
8.99%
印度
1.61%
德国
1.06%
新加坡
0.95%
地理流量分布全球图
同类开源产品

SWE Bench Verified
优质新品
SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集,旨在更可靠地评估AI模型解决现实世界软件问题的能力。
AI模型评测#软件工程

Turtle Benchmark
Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试,专注于评估大型语言模型(LLMs)的逻辑推理和上下文理解能力。
AI模型评测#逻辑推理

Video MME
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。
AI视频分析#视频分析

Scale Leaderboard
国外精选
Scale Leaderboard是一个专注于AI模型性能评估的平台,提供专家驱动的私有评估数据集,确保评估结果的公正性和无污染。
AI模型评测#专家评审

Open LLM Leaderboard
Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。
AI模型评测#性能比较

Opencompass 2.0 Large Language Model Leaderboard
OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。
AI模型评测#排行榜

Mmstar
MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。
AI模型评测#基准测试

MLE Bench
MLE-bench是由OpenAI推出的一个基准测试,旨在衡量AI代理在机器学习工程方面的表现。
AI模型评测#AI代理

Multi Modal Large Language Models
该工具旨在通过对最新专有和开源MLLMs进行定性研究,从文本、代码、图像和视频四个模态的角度,评估其泛化能力、可信度和因果推理能力,以提高MLLMs的透明度。
AI模型评测#评估工具
替代品

Turtle Benchmark
Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试,专注于评估大型语言模型(LLMs)的逻辑推理和上下文理解能力。
AI模型评测#逻辑推理

Video MME
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。
AI视频分析#视频分析

Open LLM Leaderboard
Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。
AI模型评测#性能比较

Mmstar
MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。
AI模型评测#基准测试

Multi Modal Large Language Models
该工具旨在通过对最新专有和开源MLLMs进行定性研究,从文本、代码、图像和视频四个模态的角度,评估其泛化能力、可信度和因果推理能力,以提高MLLMs的透明度。
AI模型评测#评估工具

Gpteval3d
GPTEval3D是一个开源的3D生成模型评价工具,基于GPT-4V实现了对文本到3D生成模型的自动评测。
AI模型评测#GPT

Deepmark AI
Deepmark AI 是一款用于评估大型语言模型(LLM)的基准工具,可在自己的数据上对各种任务特定指标进行评估。
AI模型评测#大型语言模型

Deepeval
DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。
AI模型评测#度量
精选AI产品推荐

Nocode
中文精选
NoCode 是一款无需编程经验的平台,允许用户通过自然语言描述创意并快速生成应用,旨在降低开发门槛,让更多人能实现他们的创意。
开发平台#应用开发
912

Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具,支持中文和英语,基于前沿 AI 技术,能够快速生成用户感兴趣的播客内容。
音频生成#AI
348

Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理,能够将创意提示转化为艺术作品,支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理开源
564

Smart PDFs
国外精选
Smart PDFs 是一个在线工具,利用 AI 技术快速分析 PDF 文档,并生成简明扼要的总结。
文章摘要#AI
984

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
480

Anyvoice
AnyVoice是一款领先的AI声音生成器,采用先进的深度学习模型,将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k

Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k