Expert Parallelism Load Balancer (EPLB)是一种用于深度学习中专家并行（EP）的负载均衡算法。

DualPipe是一种创新的双向流水线并行算法，由DeepSeek-AI团队开发。

LLaSA_training 是一个基于 LLaMA 的语音合成训练项目，旨在通过优化训练时间和推理时间的计算资源，提升语音合成模型的效率和性能。

Memory Layers at Scale 是一种创新的内存层实现方式，通过可训练的键值查找机制，在不增加浮点运算次数的情况下为模型增加额外的参数。

PrimeIntellect-ai/prime是一个用于在互联网上高效、全球分布式训练AI模型的框架。

INTELLECT-1-Instruct是一个由Prime Intellect训练的10亿参数语言模型，从零开始在1万亿个英文文本和代码token上进行训练。

Meta Lingua 是一个轻量级、高效的大型语言模型（LLM）训练和推理库，专为研究而设计。

Prime Intellect是一个致力于AI开发规模化民主化的平台，提供全球计算资源的发现、模型训练以及共同拥有智能创新的能力。

OpenDiLoCo是一个开源框架，用于实现和扩展DeepMind的分布式低通信(DiLoCo)方法，支持全球分布式AI模型训练。

Zero Bubble Pipeline Parallelism是大规模分布式训练的关键组成部分之一，其效率受到管道泡沫的影响。