Nemotron Mini 4B Instruct
简介 :
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答(RAG QA)和功能调用进行了优化,支持 4096 个令牌的上下文长度,已准备好用于商业用途。
需求人群 :
目标受众为需要在设备上快速部署和运行语言模型的开发者和企业,特别是在需要角色扮演、检索增强问答和功能调用的应用场景中。
总访问量: 29.7M
占比最多地区: US(17.94%)
本站浏览量 : 62.7K
使用场景
在视频游戏中集成模型,以提供角色扮演对话
用于商业用途,如客户服务聊天机器人
在需要快速响应和设备部署的场景中使用
产品特色
角色扮演响应生成
检索增强生成
功能调用
优化以提高速度和设备部署
支持 4096 个令牌的上下文长度
通过蒸馏、剪枝和量化技术优化
使用教程
1. 从 Hugging Face 导入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 预训练模型加载 tokenizer 和 model。
3. 使用推荐的 prompt 模板进行消息格式化。
4. 调用 model.generate 函数生成响应。
5. 使用 tokenizer.decode 函数将生成的令牌转换为文本。
6. (可选)使用 pipeline 进行文本生成,但需要手动分配 tokenizer 对象。
AIbase
智启未来,您的人工智能解决方案智库
简体中文