简介
Elimination Game 是一种创新的基准测试框架,用于评估大语言模型(LLMs)在复杂社交环境中的表现。它模拟了类似‘狼人杀’的多玩家竞争场景,通过公开讨论、私下交流和投票淘汰机制,测试模型的社交推理、策略选择和欺骗能力。该框架不仅为研究 AI 在社交博弈中的智能性提供了重要工具,还为开发者提供了洞察模型在现实社交场景中潜力的机会。其主要优点包括多轮互动设计、动态联盟与背叛机制以及详细的评估指标,能够全面衡量 AI 的社交能力。
截图

产品特色
模拟多玩家竞争环境,测试模型在社交博弈中的综合能力。
支持公开讨论和私下交流,模拟真实社交场景中的信息传递。
通过投票淘汰机制,评估模型的策略性决策和社交推理能力。
提供详细的评估指标,包括背叛率、陪审团说服力等,全面衡量模型表现。
支持多种语言模型参与测试,为 AI 研究提供丰富的实验数据。
使用教程
1. 访问 Elimination Game 的官方网站或 GitHub 仓库,了解测试框架的基本信息和使用指南。
2. 准备参与测试的语言模型,确保其能够与测试框架兼容并进行交互。
3. 在测试环境中运行 Elimination Game,设置玩家数量、游戏轮数等参数。
4. 观察模型在游戏中的表现,记录公开讨论、私下交流和投票淘汰等环节的数据。
5. 根据测试结果,分析模型的社交推理、策略选择和欺骗能力,并根据评估指标进行优化。
流量来源
直接访问 | 51.61% | 外链引荐 | 33.46% | 邮件 | 0.04% |
自然搜索 | 12.58% | 社交媒体 | 2.19% | 展示广告 | 0.11% |
最新流量情况
月访问量
4.92m
平均访问时长
393.01
每次访问页数
6.11
跳出率
36.20%
总流量趋势图
地理流量分布情况
美国
19.34%
中国
13.25%
印度
9.32%
俄罗斯
4.28%
德国
3.63%
地理流量分布全球图
同类开源产品

MIT MAIA
优质新品
MAIA(Multimodal Automated Interpretability Agent)是由MIT计算机科学与人工智能实验室(CSAIL)开发的一个自动化系统,旨在提高人工智能模型的解释性。
研究工具#自动化

Dmind
DMind-1 和 DMind-1-mini 是针对 Web3 任务的领域专用大型语言模型,提供比其他通用模型更高的领域准确性、指令跟随能力及专业理解。
AI模型#人工智能

Arxiv Summarizer
该产品是一个 Python 脚本,利用 Gemini API 从 arXiv 获取和总结研究论文。
研究工具#论文摘要

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理

Surfsense
SurfSense 是一款开源的 AI 研究助手,它将多种外部资源(如搜索引擎、Slack、Notion 等)整合在一起,帮助用户高效地进行研究和信息管理。
研究工具#信息管理

Zerosearch
ZeroSearch 是一种新颖的强化学习框架,旨在激励大型语言模型(LLMs)的搜索能力,而无需与实际搜索引擎进行交互。
AI模型#搜索能力

Deerflow
DeerFlow 是一个深度研究框架,旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具,以推动深入研究工作。
研究工具#开源

Notellm
NoteLLM 是一款专注于用户生成内容的可检索大型语言模型,旨在提升推荐系统的性能。
AI模型#多模态处理

Deepseek Prover V2 671B
DeepSeek-Prover-V2-671B 是一个先进的人工智能模型,旨在提供强大的推理能力。
AI模型#开源
替代品

Arxiv Summarizer
该产品是一个 Python 脚本,利用 Gemini API 从 arXiv 获取和总结研究论文。
研究工具#论文摘要

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理

Surfsense
SurfSense 是一款开源的 AI 研究助手,它将多种外部资源(如搜索引擎、Slack、Notion 等)整合在一起,帮助用户高效地进行研究和信息管理。
研究工具#信息管理

Zerosearch
ZeroSearch 是一种新颖的强化学习框架,旨在激励大型语言模型(LLMs)的搜索能力,而无需与实际搜索引擎进行交互。
AI模型#搜索能力

Deerflow
DeerFlow 是一个深度研究框架,旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具,以推动深入研究工作。
研究工具#开源

Notellm
NoteLLM 是一款专注于用户生成内容的可检索大型语言模型,旨在提升推荐系统的性能。
AI模型#多模态处理

Deepseek Prover V2 671B
DeepSeek-Prover-V2-671B 是一个先进的人工智能模型,旨在提供强大的推理能力。
AI模型#开源

Camerabench
CameraBench 是一个用于分析视频中相机运动的模型,旨在通过视频理解相机的运动模式。
研究工具#相机运动

Xiaomi MiMo
优质新品
Xiaomi MiMo是小米公司开源的首个推理大模型,专为推理任务设计,具备卓越的数学推理和代码生成能力。
AI模型
精选AI产品推荐

Nocode
中文精选
NoCode 是一款无需编程经验的平台,允许用户通过自然语言描述创意并快速生成应用,旨在降低开发门槛,让更多人能实现他们的创意。
开发平台#应用开发
912

Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具,支持中文和英语,基于前沿 AI 技术,能够快速生成用户感兴趣的播客内容。
音频生成#AI
348

Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理,能够将创意提示转化为艺术作品,支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128

Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理开源
564

Smart PDFs
国外精选
Smart PDFs 是一个在线工具,利用 AI 技术快速分析 PDF 文档,并生成简明扼要的总结。
文章摘要#AI
984

Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
480

Anyvoice
AnyVoice是一款领先的AI声音生成器,采用先进的深度学习模型,将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k

Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k