AIbase

Llmstxt Generator
Llmstxt Generator
该产品适合需要进行LLM训练和推理的开发者、研究人员和数据科学家，帮助他们快速获取和整合用于模型训练的文本数据。
开发与工具模型训练与部署#LLM#文本生成#网站爬取#数据整合#编程工具普通产品开源
总访问量： 474,564,576
占比最多地区： US(19.34%)
564
产品介绍
网站流量
同类开源产品
替代品
简介
llmstxt-generator 是一个用于生成LLM（大型语言模型）训练和推理所需的网站内容整合文本文件的工具。它通过爬取网站内容，将其合并成一个文本文件，支持生成标准的llms.txt和完整的llms-full.txt版本。该工具由firecrawl_dev提供支持进行网页爬取，并使用GPT-4-mini进行文本处理。其主要优点包括无需API密钥即可使用基本功能，同时提供Web界面和API访问，方便用户快速生成所需的文本文件。
截图
产品特色
爬取网站内容并整合成单个文本文件
生成标准和完整版本的llms.txt文件
提供Web界面和API访问
无需API密钥即可使用基本功能
支持多种网站类型和内容格式
快速生成用于LLM训练和推理的文本数据
支持本地开发和部署
使用教程
访问 https://llmstxt.firecrawl.dev 使用Web界面生成文件。
通过API访问：GET https://llmstxt.firecrawl.dev/[YOUR_URL_HERE]。
在本地开发环境中，创建.env文件并配置相关环境变量。
运行npm install安装依赖，然后使用npm run dev启动本地服务器。
通过浏览器访问本地服务器，输入目标网站URL生成文本文件。
流量来源
直接访问51.61%外链引荐33.46%邮件0.04%
自然搜索12.58%社交媒体2.19%展示广告0.11%
最新流量情况
月访问量
4.92m
平均访问时长
393.01
每次访问页数
6.11
跳出率
36.20%
总流量趋势图
地理流量分布情况
美国
19.34%
中国
13.25%
印度
9.32%
俄罗斯
4.28%
德国
3.63%
地理流量分布全球图
同类开源产品
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架，能够与浏览器交互，支持深度研究、自动规划等功能，适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
Scrapybara
Scrapybara为开发者提供统一的API，以执行任何模型的代理，并访问浏览器、文件系统和代码沙箱等低级控制。
开发与工具#AI代理
Tokenomy.ai
Tokenomy是一款高级AI令牌计算器和成本估算工具，可用于LLMs。
开发与工具#令牌管理
Bugster
Bugster是一款AI驱动的测试解决方案，能够将用户流程转化为自动化测试，帮助开发人员快速发布无bug的软件。
开发与工具#AI测试
Mendel Lab
Mendel利用AI优化工作流程，自动化代码审查，跟踪团队绩效，提高部署效率。
开发与工具#工程指标
MNN LLM Android App
MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。
模型训练与部署#人工智能
Plugin Pal
Plugin Pal是一个AI驱动的WordPress插件生成器，为自由职业者、机构和WordPress从业者提供了简化开发流程、记录时间内建立MVP和提升技能的终极工具。
开发与工具#WordPress插件生成器
Agent As A Judge
Agent-as-a-Judge 是一种新型的自动化评估系统，旨在通过代理系统的互相评估来提高工作效率和质量。
开发与工具#奖励信号
Packfiles Warp
Packfiles是一个旨在帮助企业加快迁移速度并简化配置管理任务的工具。
开发与工具#迁移
替代品
Minion Agent
优质新品
Minion Agent 是一个简单而强大的代理框架，能够与浏览器交互，支持深度研究、自动规划等功能，适用于需要进行复杂任务和研究的用户。
开发与工具#深度研究
MNN LLM Android App
MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。
模型训练与部署#人工智能
Agent As A Judge
Agent-as-a-Judge 是一种新型的自动化评估系统，旨在通过代理系统的互相评估来提高工作效率和质量。
开发与工具#奖励信号
Firecrawl MCP Server
Firecrawl MCP Server 是一款集成了强大网页抓取功能的插件，支持多种 LLM 客户端如 Cursor 和 Claude。
开发与工具#数据提取
MCP SuperAssistant
MCP SuperAssistant 是一个 Chrome 扩展，集成了模型上下文协议（MCP）工具，使用户能够直接从 AI 平台执行 MCP 工具，并将结果插入对话中。
开发与工具#AI 助手
Search R1
Search-R1 是一个强化学习框架，旨在训练能够进行推理和调用搜索引擎的语言模型（LLMs）。
模型训练与部署#自然语言处理
Xcodebuildmcp
XcodeBuildMCP 是一个实现模型上下文协议（MCP）的服务器，旨在通过标准化接口与 Xcode 项目进行程序化交互。
开发与工具#开发工具
Easevoice Trainer
EaseVoice Trainer 是一个后端项目，旨在简化和增强语音合成与转换训练过程。
开发与工具#机器学习
Fastapi MCP
FastAPI-MCP是一个专为FastAPI设计的工具，旨在无缝集成模型上下文协议（MCP）。
开发与工具#MCP
精选AI产品推荐
Nocode
中文精选
NoCode 是一款无需编程经验的平台，允许用户通过自然语言描述创意并快速生成应用，旨在降低开发门槛，让更多人能实现他们的创意。
开发平台#应用开发
912
Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具，支持中文和英语，基于前沿 AI 技术，能够快速生成用户感兴趣的播客内容。
音频生成#AI
348
Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理，能够将创意提示转化为艺术作品，支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128
Fastvlm
FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。
AI模型#图像处理开源
564
Smart PDFs
国外精选
Smart PDFs 是一个在线工具，利用 AI 技术快速分析 PDF 文档，并生成简明扼要的总结。
文章摘要#AI
984
Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
480
Anyvoice
AnyVoice是一款领先的AI声音生成器，采用先进的深度学习模型，将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k
Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k