ModernBERT-large是一个现代化的双向编码器Transformer模型（BERT风格），在2万亿个英文和代码数据上预训练，具有长达8192个token的原生上下文长度。

ModernBERT是由Answer.AI和LightOn共同发布的新一代编码器模型，它是BERT模型的全面升级版，提供了更长的序列长度、更好的下游性能和更快的处理速度。

ModernBERT-base是一个现代化的双向编码器Transformer模型，预训练于2万亿英文和代码数据，原生支持长达8192个token的上下文。