Skywork MoE Base
Skywork MoE Base
Skywork-MoE-Base模型适用于需要处理大规模语言模型推理的开发者和研究人员。其高性能和创新技术使其成为进行复杂文本生成和分析任务的理想选择。
总访问量: 29,742,941
占比最多地区: US(17.94%)
660
简介
Skywork-MoE-Base是一个具有1460亿参数的高性能混合专家(MoE)模型,由16个专家组成,并激活了220亿参数。该模型从Skywork-13B模型的密集型检查点初始化而来,并引入了两种创新技术:门控逻辑归一化增强专家多样化,以及自适应辅助损失系数,允许针对层特定调整辅助损失系数。Skywork-MoE在各种流行基准测试中表现出与参数更多或激活参数更多的模型相当的或更优越的性能。
截图
产品特色
具有1460亿参数的大规模混合专家模型
16个专家和220亿激活参数
引入门控逻辑归一化和自适应辅助损失系数两种创新技术
在多个基准测试中表现优越
支持Hugging Face模型推理
提供基于vLLM的快速部署方法
支持本地环境和Docker部署
使用教程
步骤1: 安装必要的依赖项
步骤2: 克隆Skywork提供的vllm代码库
步骤3: 编译并安装vllm
步骤4: 根据需要选择本地环境或Docker部署
步骤5: 设置模型路径和工作目录
步骤6: 使用vllm运行Skywork MoE模型进行文本生成
流量来源
直接访问48.39%外链引荐35.85%邮件0.03%
自然搜索12.76%社交媒体2.96%展示广告0.02%
最新流量情况
月访问量
25296.55k
平均访问时长
285.77
每次访问页数
5.83
跳出率
43.31%
总流量趋势图
地理流量分布情况
美国
17.94%
中国
17.08%
印度
8.40%
俄罗斯
4.58%
日本
3.42%
地理流量分布全球图