Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

The Prompt Report 是一份系统性调研报告，专注于生成式人工智能（GenAI）的提示技术。它通过结合人类和机器的努力，从多个数据库中处理了4797条记录，提取出1565篇相关论文。报告提供了58种基于文本的技术，并补充了多模态和多语言技术的广泛集合。其目标是提供一个易于理解和实施的提示技术目录，并回顾了作为提示扩展的代理，包括评估输出和设计有助于安全性和安全性的提示的方法。此外，报告还应用提示技术在两个案例研究中进行了实践。

Open LLM Leaderboard是一个由Hugging Face提供的空间，旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台，可以查看不同模型在特定任务上的表现，从而帮助用户选择最适合自己需求的模型。

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

该工具旨在通过对最新专有和开源MLLMs进行定性研究，从文本、代码、图像和视频四个模态的角度，评估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我们相信这些属性是定义MLLMs可靠性的几个代表性因素，支持各种下游应用。具体而言，我们评估了闭源的GPT-4和Gemini以及6个开源LLMs和MLLMs。总体上，我们评估了230个手动设计的案例，定性结果总结为12个分数（即4个模态乘以3个属性）。总共，我们揭示了14个实证发现，有助于了解专有和开源MLLMs的能力和局限性，以更可靠地支持多模态下游应用。

GPTEval3D是一个开源的3D生成模型评价工具,基于GPT-4V实现了对文本到3D生成模型的自动评测。它可以计算生成模型的ELO分数,并与现有模型进行对比排名。该工具简单易用,支持用户自定义评测数据集,可以充分发挥GPT-4V的评测效果,是研究3D生成任务的有力工具。

Deepmark AI 是一款用于评估大型语言模型（LLM）的基准工具，可在自己的数据上对各种任务特定指标进行评估。它与 GPT-4、Anthropic、GPT-3.5 Turbo、Cohere、AI21 等领先的生成式 AI API 进行预集成。

DeepEval提供了不同方面的度量来评估LLM对问题的回答,以确保答案是相关的、一致的、无偏见的、非有毒的。这些可以很好地与CI/CD管道集成在一起,允许机器学习工程师快速评估并检查他们改进LLM应用程序时,LLM应用程序的性能是否良好。DeepEval提供了一种Python友好的离线评估方法,确保您的管道准备好投入生产。它就像是“针对您的管道的Pytest”,使生产和评估管道的过程与通过所有测试一样简单直接。

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

SWE-bench Verified是OpenAI发布的一个经过人工验证的SWE-bench子集，旨在更可靠地评估AI模型解决现实世界软件问题的能力。它通过提供代码库和问题描述，挑战AI生成解决所描述问题的补丁。这个工具的开发是为了提高模型自主完成软件工程任务的能力评估的准确性，是OpenAI准备框架中中等风险级别的关键组成部分。

Turtle Benchmark是一款基于'Turtle Soup'游戏的新型、无法作弊的基准测试，专注于评估大型语言模型（LLMs）的逻辑推理和上下文理解能力。它通过消除对背景知识的需求，提供了客观和无偏见的测试结果，具有可量化的结果，并且通过使用真实用户生成的问题，使得模型无法被'游戏化'。

The Prompt Report 是一份系统性调研报告，专注于生成式人工智能（GenAI）的提示技术。它通过结合人类和机器的努力，从多个数据库中处理了4797条记录，提取出1565篇相关论文。报告提供了58种基于文本的技术，并补充了多模态和多语言技术的广泛集合。其目标是提供一个易于理解和实施的提示技术目录，并回顾了作为提示扩展的代理，包括评估输出和设计有助于安全性和安全性的提示的方法。此外，报告还应用提示技术在两个案例研究中进行了实践。

Open LLM Leaderboard是一个由Hugging Face提供的空间，旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台，可以查看不同模型在特定任务上的表现，从而帮助用户选择最适合自己需求的模型。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

该工具旨在通过对最新专有和开源MLLMs进行定性研究，从文本、代码、图像和视频四个模态的角度，评估其泛化能力、可信度和因果推理能力，以提高MLLMs的透明度。我们相信这些属性是定义MLLMs可靠性的几个代表性因素，支持各种下游应用。具体而言，我们评估了闭源的GPT-4和Gemini以及6个开源LLMs和MLLMs。总体上，我们评估了230个手动设计的案例，定性结果总结为12个分数（即4个模态乘以3个属性）。总共，我们揭示了14个实证发现，有助于了解专有和开源MLLMs的能力和局限性，以更可靠地支持多模态下游应用。