Infini Attention
Infini Attention
适用于处理要求对长序列数据进行高效建模和推理的NLP任务。
总访问量: 20,415,616
占比最多地区: US(29.22%)
672
简介
Google开发的“Infini-attention”技术旨在扩展基于Transformer的大语言模型以处理无限长的输入,通过压缩记忆机制实现无限长输入处理,并在多个长序列任务上取得优异表现。技术方法包括压缩记忆机制、局部与长期注意力的结合和流式处理能力等。实验结果显示在长上下文语言建模、密钥上下文块检索和书籍摘要任务上的性能优势。
截图
产品特色
压缩记忆机制
局部与长期注意力结合
流式处理能力
支持快速流式推理
模型扩展性
流量来源
直接访问35.41%外链引荐48.58%邮件0.07%
自然搜索14.44%社交媒体1.48%展示广告0.02%
最新流量情况
月访问量
21214.13k
平均访问时长
255.38
每次访问页数
3.22
跳出率
43.63%
总流量趋势图
地理流量分布情况
美国
29.22%
中国
17.09%
印度
4.83%
韩国
4.75%
英国
4.42%
地理流量分布全球图