# 量化
Qwq 32B Preview Gptqmodel 4bit Vortex V3
该产品是一个基于Qwen2.5-32B的4位量化语言模型,通过GPTQ技术实现高效推理和低资源消耗。
聊天机器人#量化开源
816
Internlm3
InternLM3 是由 InternLM 团队开发的一系列高性能语言模型,专注于文本生成任务。
AI模型#文本生成开源
432
Voyage 3 Large
Voyage-3-large 是 Voyage AI 推出的最新多语言通用嵌入模型。
AI模型#嵌入模型
1,080
1.58 Bit FLUX
1.58-bit FLUX是一种先进的文本到图像生成模型,通过使用1.58位权重(即{-1, 0, +1}中的值)来量化FLUX.1-dev模型,同时保持生成1024x1024图像的可比性能。
图片生成#量化开源
1,656
Llama 3 Patronus Lynx 8B V1.1 Instruct Q8 GGUF
PatronusAI/Llama-3-Patronus-Lynx-8B-v1.1-Instruct-Q8-GGUF是一个基于Llama模型的量化版本,专为对话和幻觉检测设计。
聊天机器人#量化开源
264
Qwen2.5 Coder 32B Instruct GGUF
Qwen2.5-Coder 是针对代码生成的模型,在代码生成等方面显著提升,参数规模多样,支持量化。
#代码推理开源
420
Quantized Llama
Llama模型是Meta公司推出的大型语言模型,通过量化技术,使得模型体积更小、运行速度更快,同时保持了模型的质量和安全性。
模型训练与部署#量化
396
Torchao
优质新品
torchao是PyTorch的一个库,专注于自定义数据类型和优化,支持量化和稀疏化权重、梯度、优化器和激活函数,用于推理和训练。
AI开发助手#量化开源
648
Cog Flux
Cog inference for flux models 是一个用于FLUX.1 [schnell] 和 FLUX.1 [dev] 模型的推理引擎,由Black Forest Labs开发。
AI图像生成#模型推理开源
912
Nemotron Mini 4B Instruct
Nemotron-Mini-4B-Instruct 是 NVIDIA 开发的一款小型语言模型,通过蒸馏、剪枝和量化优化,以提高速度和便于在设备上部署。
AI模型#蒸馏开源
828
Comfyui GGUF
ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。
AI模型#量化开源
2,820
Vllm
国外精选
vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。
开发与工具#推理
1,080
Moodmap
MoodMap是一个用于测量ADHD症状和干预措施的在线工具。
健康与医疗#量化
624