Video MME
Video-MME的目标受众是人工智能领域的研究者和开发者,特别是那些专注于视频理解和多模态交互的专业人士。它为这些用户提供了一个标准化的测试平台,帮助他们评估和改进自己的MLLMs模型。
总访问量: 3,558
占比最多地区: US(86.53%)
1,584
简介
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白,为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频,并针对MLLMs的核心能力进行了评估。
截图
产品特色
提供短、中、长视频的准确度评分
包含6个主要领域和30个子类别的视频类型
全面覆盖视频长度和任务类型
新收集并由人工标注的数据,非现有视频数据集
提供视频类别层级和视频时长及任务类型分布的统计信息
与其他基准测试进行比较,突出Video-MME的独特优势
使用教程
访问Video-MME的官方网站
了解不同视频长度和任务类型的评估标准
选择感兴趣的MLLMs模型进行性能测试
提交模型并获取在不同视频子类别中的表现结果
分析结果,与其他模型或基准进行比较
利用评估结果优化和改进MLLMs模型
流量来源
直接访问48.40%外链引荐27.67%邮件0.04%
自然搜索6.28%社交媒体16.60%展示广告0.99%
最新流量情况
月访问量
12.51k
平均访问时长
13.15
每次访问页数
1.10
跳出率
60.45%
总流量趋势图
地理流量分布情况
美国
86.53%
韩国
8.99%
印度
1.61%
德国
1.06%
新加坡
0.95%
地理流量分布全球图
同类开源产品
SWE Bench Verified
优质新品
SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集,旨在更可靠地评估AI模型解决现实世界软件问题的能力。
AI模型评测#软件工程
Turtle Benchmark
Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试,专注于评估大型语言模型(LLMs)的逻辑推理和上下文理解能力。
AI模型评测#逻辑推理
Video MME
Video-MME是一个专注于多模态大型语言模型(MLLMs)在视频分析领域性能评估的基准测试。
AI视频分析#视频分析
Scale Leaderboard
国外精选
Scale Leaderboard是一个专注于AI模型性能评估的平台,提供专家驱动的私有评估数据集,确保评估结果的公正性和无污染。
AI模型评测#专家评审
Open LLM Leaderboard
Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。
AI模型评测#性能比较
Opencompass 2.0 Large Language Model Leaderboard
OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。
AI模型评测#排行榜
Mmstar
MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。
AI模型评测#基准测试
MLE Bench
MLE-bench是由OpenAI推出的一个基准测试,旨在衡量AI代理在机器学习工程方面的表现。
AI模型评测#AI代理
Multi Modal Large Language Models
该工具旨在通过对最新专有和开源MLLMs进行定性研究,从文本、代码、图像和视频四个模态的角度,评估其泛化能力、可信度和因果推理能力,以提高MLLMs的透明度。
AI模型评测#评估工具