%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20none;%20}%20.st1%20{%20fill:%20%235ce6cf;%20}%20.st2%20{%20fill:%20%230080ff;%20}%20.st3%20{%20clip-path:%20url(%23clippath);%20}%20%3c/style%3e%3cclipPath%20id='clippath'%3e%3crect%20class='st0'%20y='0'%20width='120'%20height='32'/%3e%3c/clipPath%3e%3c/defs%3e%3cg%20class='st3'%3e%3cg%3e%3cpath%20class='st1'%20d='M22.4,32H3.2c-1,0-2-.5-2.6-1.4-.6-.9-.7-2-.4-2.9L9.8,2.1C10.3.8,11.5,0,12.8,0s2.5.8,3,2.1l9.6,25.6c.4,1,.2,2.1-.4,2.9-.6.9-1.6,1.4-2.6,1.4ZM7.8,25.6h10l-5-13.3-5,13.3Z'/%3e%3cpath%20class='st2'%20d='M33.6,32c-1.3,0-2.5-.8-3-2.1L21,4.3c-.6-1.7.2-3.5,1.9-4.1,1.7-.6,3.5.2,4.1,1.9l9.6,25.6c.6,1.7-.2,3.5-1.9,4.1-.4.1-.8.2-1.1.2h0Z'/%3e%3cpath%20d='M71.8,9.1h-6.9v4.6h6.9c2.5,0,4.6,2,4.6,4.6h-6.9c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h2.3c1.7,0,3.2-.4,4.6-1.2v1.2h4.6v-13.7c0-5-4.1-9.1-9.1-9.1h0ZM71.8,27.4h-2.3c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h6.9c0,2.5-2,4.6-4.6,4.6h0Z'/%3e%3cpath%20d='M52.3,9.1h-4.6V0h-4.6V32h9.1c5,0,9.1-4.1,9.1-9.1v-4.6c0-5.1-4.1-9.1-9.1-9.1h0ZM56.9,22.9c0,2.5-2,4.6-4.6,4.6h-4.6v-13.7h4.6c2.5,0,4.6,2,4.6,4.6v4.6h0Z'/%3e%3cpath%20d='M110.9,13.7h9.1v-4.6h-9.1c-5.1,0-9.1,4.1-9.1,9.1v4.6c0,5.1,4.1,9.1,9.1,9.1h9.1v-4.6h-9.1c-2.5,0-4.6-2-4.6-4.6h13.7v-4.6h-13.7c0-2.5,2-4.6,4.6-4.6h0Z'/%3e%3cpath%20d='M93.6,18.3h-4.6c-1.3,0-2.3-1-2.3-2.3s1-2.3,2.3-2.3h10.3v-4.6h-10.3c-3.8,0-6.9,3.1-6.9,6.9s3.1,6.9,6.9,6.9h4.6c1.3,0,2.3,1,2.3,2.3s-1,2.3-2.3,2.3h-10.3v4.6h10.3c3.8,0,6.9-3.1,6.9-6.9s-3.1-6.9-6.9-6.9Z'/%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
简介
x-crawl 是一款基于 Node.js 的 AI 辅助爬虫库，它通过强大的 AI 辅助功能，使得爬虫工作变得更加高效、智能和便捷。它支持对动态页面、静态页面、接口数据以及文件数据的爬取，同时提供了自动化操作、键盘输入、事件操作等控制页面的能力。此外，它还具备设备指纹、异步同步、间隔爬取、失败重试、轮换代理、优先队列和记录爬取等功能，以适应不同的爬取需求。x-crawl 拥有类型，通过泛型实现完整的类型，基于 MIT 许可发布，适合需要进行数据爬取的开发者和企业。
截图
产品特色
AI 辅助：强大的 AI 辅助功能，提升爬虫效率。
写法灵活：单个爬取 API 适配多种配置，提供多样化的解决方案。
功能丰富：支持动态页面、静态页面、接口数据和文件数据的爬取。
控制页面：自动化操作、键盘输入、事件操作等，控制动态页面爬取。
设备指纹：零配置或自定义配置，避免被跟踪。
异步同步：无需切换 API，即可进行异步或同步爬取。
间隔爬取：无间隔、固定间隔、随机间隔爬取模式。
失败重试：自定义重试次数，避免短暂问题影响爬取。
轮换代理：自动轮换代理，提高爬取成功率。
优先队列：根据目标优先级进行爬取。
记录爬取：终端输出彩色字符串信息，记录爬取过程。
TypeScript：拥有类型，通过泛型实现完整的类型系统。
使用教程
步骤一：在项目中安装 x-crawl 库。
%20--%3e%3cdefs%3e%3cstyle%3e%20.st0%20{%20fill:%20%230080ff;%20}%20%3c/style%3e%3c/defs%3e%3cpath%20class='st0'%20d='M16.2,11.1c.4.5.4,1.2,0,1.8l-4.7,7.1h-3.8l5.3-8L7.6,4h3.8l4.7,7.1Z'/%3e%3c/svg%3e)
步骤二：配置爬虫任务，包括目标网址、爬取规则等。
步骤三：编写爬虫逻辑，利用 x-crawl 提供的 API 实现数据抓取。
步骤四：设置爬虫的运行参数，如爬取间隔、重试次数等。
步骤五：启动爬虫任务，监控爬取过程和结果。
步骤六：根据需要对爬取到的数据进行处理和存储。
步骤七：定期检查和更新爬虫规则，以适应网站的变化。
流量来源
| 直接访问 | 0.00% | 外链引荐 | 0.00% | 邮件 | 0.00% |
| 自然搜索 | 0.00% | 社交媒体 | 0.00% | 展示广告 | 0.00% |
最新流量情况
月访问量
0
平均访问时长
0.00
每次访问页数
0.00
跳出率
0
总流量趋势图
同类开源产品
Codeant AI
优质新品
CodeAnt AI 是一款AI代码审查工具，旨在通过人工智能技术帮助开发人员提高代码审查的效率和准确性。
AI开发助手#AI
Prisma Optimize
Prisma Optimize是一个利用人工智能技术来分析和优化数据库查询的工具。
AI开发助手#AI分析
Packmind
国外精选
Packmind是一个旨在通过人工智能技术提升团队学习速度和工程性能的平台。
AI开发助手#编码实践
Agentstack
AgentStack是一个用于快速创建AI代理项目的命令行工具。
AI开发助手#代理
Batteries Included
Batteries Included是一个为现代服务开发设计的全功能平台，提供源代码可用的一站式解决方案。
AI开发助手#安全性
Gait
gait是一个AI原生版本控制工具，它通过存储提示、上下文和代码的结合，帮助团队更容易理解和编辑AI生成的代码。
AI开发助手#版本控制
Llmware
LLMWare.ai是一个为金融、法律、合规和监管密集型行业设计的AI工具，专注于私有云中的小型专业化语言模型和专为SLMs设计的AI框架。
AI开发助手#企业
Dezbor
Dezbor是一个无需编码的仪表板创建工具，它通过人工智能技术帮助用户轻松创建和管理数据仪表板。
AI开发助手#无需编码
Devkit
国外精选
DevKit是一个专为开发者设计的AI助手，它结合了世界领先的大型语言模型（LLMs）和超过30个迷你工具，帮助开发者快速构建软件，显著提升开发效率。
AI开发助手#开发者工具
替代品
Agentstack
AgentStack是一个用于快速创建AI代理项目的命令行工具。
AI开发助手#代理
Aicommits
是命令行工具，利用 AI 生成 Git 提交信息，减少工作量，支持多种规范和自定义选项，免费，面向开发者。
AI开发助手#AI
Clinebot
Cline是一个集成在IDE中的自主编码代理，它利用人工智能技术帮助开发者进行代码编写、编辑、文件创建和命令执行。
AI开发助手#IDE插件
Fragments
Fragments是一个基于Next.js的开源模板，用于构建完全由AI生成的应用。
AI开发助手#AI
Realtime Playground
realtime-playground是一个基于LiveKit Agents构建的交互式平台，允许用户在浏览器中直接体验OpenAI的实时API。
AI开发助手#OpenAI
Gptme
gptme是一个运行在终端的个人AI助手，它装备了本地工具，可以编写代码、使用终端、浏览网页、视觉识别等。
AI开发助手#chatbot
Firecrawl Openai Realtime
firecrawl-openai-realtime是一个集成了Firecrawl的OpenAI实时API控制台，旨在为开发者提供一个交互式的API参考和检查器。
AI开发助手#实时API
Robotfingerprint
RobotFingerPrint是一种用于多种机械手抓取合成的统一坐标空间的创新表示方法。
AI开发助手#自动化
O1 Engineer
o1-engineer 是一个命令行工具，旨在帮助开发者通过 OpenAI 的 API 高效地管理和交互项目。
AI开发助手#代码生成
精选AI产品推荐
Nocode
中文精选
NoCode 是一款无需编程经验的平台，允许用户通过自然语言描述创意并快速生成应用，旨在降低开发门槛，让更多人能实现他们的创意。
开发平台#应用开发
912
Listenhub
优质新品
ListenHub 是一款轻量级的 AI 播客生成工具，支持中文和英语，基于前沿 AI 技术，能够快速生成用户感兴趣的播客内容。
音频生成#AI
348
Lovart
国外精选
Lovart 是一款革命性的 AI 设计代理，能够将创意提示转化为艺术作品，支持从故事板到品牌视觉的多种设计需求。
AI设计工具#创意工具
1,128
Fastvlm
FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。
AI模型#图像处理开源
564
Smart PDFs
国外精选
Smart PDFs 是一个在线工具，利用 AI 技术快速分析 PDF 文档，并生成简明扼要的总结。
文章摘要#AI
984
Keysync
KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。
视频编辑#视频处理开源
480
Anyvoice
AnyVoice是一款领先的AI声音生成器，采用先进的深度学习模型，将文本转换为与人类无法区分的自然语音。
音频生成#文本转语音
26.38k
Liblibai
中文精选
LiblibAI是一个中国领先的AI创作平台,提供强大的AI创作能力,帮助创作者实现创意。
AI模型#图像生成
344.42k