产品简介
xianyu_spider 这是一个基于FastAPI构建的闲鱼商品搜索接口，能自动从闲鱼网页端抓取商品数据，支持关键词搜索、分页爬取，并智能去重存储到数据库。解决手动搜索效率低、数据重复的问题，适合需要高效获取闲鱼商品数据的市场研究人员、开发者和数据分析师用于学习研究。
核心功能
- 关键词商品搜索，支持分页
- 异步高性能爬取，使用Playwright无头浏览器
- 智能数据去重，基于链接特征哈希值
- 数据持久化存储，使用关系数据库
- 返回新增记录统计信息
快速开始
- 安装依赖：运行pip install -r requirements.txt和playwright install chromium
- 配置环境：创建.env文件并设置DATABASE_URL
- 启动服务：运行python spider.py
界面预览
与其他方案对比
| 对比项 | 本工具 | 同类商业软件 | 在线服务 |
|---|---|---|---|
| 费用 | 开源免费 | 通常收费或含广告 | 可能有订阅或上传限制 |
| 隐私 | 本地运行，数据自持 | 依赖厂商政策 | 需上传数据到服务器 |
| 可定制性 | 源码开放，社区活跃 | 受限于官方功能 | 功能固定 |
适合谁用
- 市场研究人员，用于分析闲鱼平台商品趋势
- 软件开发者，用于集成商品数据到学习项目
- 数据分析师，用于研究闲鱼市场数据
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/superboyyy/xianyu_spider