Aimo Progress Prize
Aimo Progress Prize
该产品适用于数学和计算机科学领域的研究人员和学生,特别是那些对AI在解决复杂数学问题中的应用感兴趣的人。它可以帮助他们理解如何使用深度学习模型来提高解决数学问题的能力。
总访问量: 474,564,576
占比最多地区: US(19.34%)
912
简介
这个GitHub仓库包含了训练和推理代码,用于复制我们在AI数学奥林匹克(AIMO)进展奖1中的获胜解决方案。我们的解决方案由四个主要部分组成:一个用于微调DeepSeekMath-Base 7B以使用工具集成推理(TIR)解决数学问题的配方;两个约100万个数学问题和解决方案的高质量训练数据集;一个自洽解码算法,用于生成具有代码执行反馈的解决方案候选项(SC-TIR);四个来自AMC、AIME和MATH的精心选择的验证集,以指导模型选择并避免对公共排行榜的过拟合。
截图
产品特色
微调DeepSeekMath-Base 7B模型以解决数学问题
使用两个高质量的数学问题和解决方案数据集进行训练
自洽解码算法生成解决方案候选项
使用来自AMC、AIME和MATH的验证集指导模型选择
使用开源库TRL、PyTorch、vLLM和DeepSpeed训练模型
模型训练分为两个阶段:CoT训练和TIR训练
使用教程
1. 创建Python虚拟环境并激活。
2. 安装特定版本的PyTorch以确保可重复性。
3. 安装其他必要的包依赖。
4. 安装Flash Attention 2。
5. 登录Hugging Face账户。
6. 安装Git LFS以推送模型到Hugging Face Hub。
7. 根据MuMath-Code配方进行两阶段训练:CoT训练和TIR训练。
8. 训练完成后,使用AutoGPTQ进行模型的8位量化(可选)。
流量来源
直接访问51.61%外链引荐33.46%邮件0.04%
自然搜索12.58%社交媒体2.19%展示广告0.11%
最新流量情况
月访问量
4.92m
平均访问时长
393.01
每次访问页数
6.11
跳出率
36.20%
总流量趋势图
地理流量分布情况
美国
19.34%
中国
13.25%
印度
9.32%
俄罗斯
4.28%
德国
3.63%
地理流量分布全球图