FlexHeadFA 是一个基于 FlashAttention 的改进模型，专注于提供快速且内存高效的精确注意力机制。

FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA 解码内核，专为变长序列服务设计。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。

EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。