EXAONE 3.5 32B Instruct GGUF
EXAONE 3.5 32B Instruct GGUF
目标受众为需要高性能语言模型的研究人员、开发者和企业,特别是在需要处理大量数据和长上下文信息的场景中。EXAONE-3.5-32B-Instruct-GGUF因其强大的性能和多语言支持,适合于进行自然语言处理、文本生成、机器翻译等任务,帮助
总访问量: 29,742,941
占比最多地区: US(17.94%)
372
简介
EXAONE-3.5-32B-Instruct-GGUF是LG AI Research开发的一系列指令调优的双语(英语和韩语)生成模型,包含2.4B至32B参数的不同版本。这些模型支持长达32K令牌的长上下文处理,展现了在真实世界用例和长上下文理解中的最前沿性能,同时在与近期发布的类似规模模型相比,在通用领域保持竞争力。该模型系列通过技术报告、博客和GitHub提供了详细信息,并且包含了多种精度的指令调优32B语言模型,具有以下特点:参数数量(不含嵌入)为30.95B,层数为64,注意力头数为GQA,包含40个Q头和8个KV头,词汇量为102,400,上下文长度为32,768令牌,量化包括Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS等GGUF格式(也包括BF16权重)。
截图
产品特色
支持长上下文处理,上下文长度可达32K令牌。
包含不同精度的模型,如Q8_0、Q6_0、Q5_K_M、Q4_K_M、IQ4_XS和BF16。
优化了模型部署,包括2.4B模型针对小型或资源受限设备优化。
提供预量化模型,使用AWQ和多种量化类型。
支持多种部署框架,如TensorRT-LLM、vLLM、SGLang、llama.cpp和Ollama。
模型训练考虑了系统提示的使用,提高了对话和交互的效率。
模型生成的文本不反映LG AI Research的观点,确保了内容的中立性。
使用教程
1. 安装llama.cpp,具体安装指南请参考llama.cpp的GitHub仓库。
2. 下载EXAONE 3.5模型的GGUF格式文件。
3. (可选)如果使用BF16精度,可能需要合并分割的文件。
4. 使用llama.cpp运行模型,并在对话模式下进行测试。
5. 遵循系统提示的使用建议,以获得最佳的模型性能。
流量来源
直接访问48.39%外链引荐35.85%邮件0.03%
自然搜索12.76%社交媒体2.96%展示广告0.02%
最新流量情况
月访问量
25296.55k
平均访问时长
285.77
每次访问页数
5.83
跳出率
43.31%
总流量趋势图
地理流量分布情况
美国
17.94%
中国
17.08%
印度
8.40%
俄罗斯
4.58%
日本
3.42%
地理流量分布全球图
同类开源产品
Dmind
DMind-1 和 DMind-1-mini 是针对 Web3 任务的领域专用大型语言模型,提供比其他通用模型更高的领域准确性、指令跟随能力及专业理解。
AI模型#人工智能
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架,能够与浏览器交互,支持深度研究、自动规划等功能,适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
Scrapybara
Scrapybara为开发者提供统一的API,以执行任何模型的代理,并访问浏览器、文件系统和代码沙箱等低级控制。
开发与工具#AI代理
Tokenomy.ai
Tokenomy是一款高级AI令牌计算器和成本估算工具,可用于LLMs。
开发与工具#令牌管理
Bugster
Bugster是一款AI驱动的测试解决方案,能够将用户流程转化为自动化测试,帮助开发人员快速发布无bug的软件。
开发与工具#AI测试
Mendel Lab
Mendel利用AI优化工作流程,自动化代码审查,跟踪团队绩效,提高部署效率。
开发与工具#工程指标
Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理
Zerosearch
ZeroSearch 是一种新颖的强化学习框架,旨在激励大型语言模型(LLMs)的搜索能力,而无需与实际搜索引擎进行交互。
AI模型#搜索能力
Plugin Pal
Plugin Pal是一个AI驱动的WordPress插件生成器,为自由职业者、机构和WordPress从业者提供了简化开发流程、记录时间内建立MVP和提升技能的终极工具。
开发与工具#WordPress插件生成器
替代品
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架,能够与浏览器交互,支持深度研究、自动规划等功能,适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
Fastvlm
FastVLM 是一种高效的视觉编码模型,专为视觉语言模型设计。
AI模型#图像处理
Zerosearch
ZeroSearch 是一种新颖的强化学习框架,旨在激励大型语言模型(LLMs)的搜索能力,而无需与实际搜索引擎进行交互。
AI模型#搜索能力
Notellm
NoteLLM 是一款专注于用户生成内容的可检索大型语言模型,旨在提升推荐系统的性能。
AI模型#多模态处理
Agent As A Judge
Agent-as-a-Judge 是一种新型的自动化评估系统,旨在通过代理系统的互相评估来提高工作效率和质量。
开发与工具#奖励信号
Firecrawl MCP Server
Firecrawl MCP Server 是一款集成了强大网页抓取功能的插件,支持多种 LLM 客户端如 Cursor 和 Claude。
开发与工具#数据提取
MCP SuperAssistant
MCP SuperAssistant 是一个 Chrome 扩展,集成了模型上下文协议(MCP)工具,使用户能够直接从 AI 平台执行 MCP 工具,并将结果插入对话中。
开发与工具#AI 助手
Deepseek Prover V2 671B
DeepSeek-Prover-V2-671B 是一个先进的人工智能模型,旨在提供强大的推理能力。
AI模型#开源
Xiaomi MiMo
优质新品
Xiaomi MiMo是小米公司开源的首个推理大模型,专为推理任务设计,具备卓越的数学推理和代码生成能力。
AI模型