

Nemotron Mini 4B Instruct
简介 :
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。它是从 Nemotron-4 15B 通过 NVIDIA 的大型语言模型压缩技术剪枝和蒸馏得到的 nvidia/Minitron-4B-Base 的微调版本。此指令模型针对角色扮演、检索增强问答(RAG QA)和功能调用进行了优化,支持 4096 个令牌的上下文长度,已准备好用于商业用途。
需求人群 :
目标受众为需要在设备上快速部署和运行语言模型的开发者和企业,特别是在需要角色扮演、检索增强问答和功能调用的应用场景中。
使用场景
在视频游戏中集成模型,以提供角色扮演对话
用于商业用途,如客户服务聊天机器人
在需要快速响应和设备部署的场景中使用
产品特色
角色扮演响应生成
检索增强生成
功能调用
优化以提高速度和设备部署
支持 4096 个令牌的上下文长度
通过蒸馏、剪枝和量化技术优化
使用教程
1. 从 Hugging Face 导入 AutoTokenizer 和 AutoModelForCausalLM。
2. 使用 'nvidia/Nemotron-Mini-4B-Instruct' 预训练模型加载 tokenizer 和 model。
3. 使用推荐的 prompt 模板进行消息格式化。
4. 调用 model.generate 函数生成响应。
5. 使用 tokenizer.decode 函数将生成的令牌转换为文本。
6. (可选)使用 pipeline 进行文本生成,但需要手动分配 tokenizer 对象。
精选AI产品推荐

Deepmind Gemini
Gemini是谷歌DeepMind推出的新一代人工智能系统。它能够进行多模态推理,支持文本、图像、视频、音频和代码之间的无缝交互。Gemini在语言理解、推理、数学、编程等多个领域都超越了之前的状态,成为迄今为止最强大的AI系统之一。它有三个不同规模的版本,可满足从边缘计算到云计算的各种需求。Gemini可以广泛应用于创意设计、写作辅助、问题解答、代码生成等领域。
AI模型多模态
11.4M
中文精选

Liblibai
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。平台提供海量免费AI创作模型,用户可以搜索使用模型进行图像、文字、音频等创作。平台还支持用户训练自己的AI模型。平台定位于广大创作者用户,致力于创造条件普惠,服务创意产业,让每个人都享有创作的乐趣。
AI模型图像生成
8.0M
智启未来,您的人工智能解决方案智库
简体中文