产品简介
arxiv_crawler 这是一款arXiv论文爬虫，能高效爬取指定时间、主题和关键词的论文，自动翻译为中文，支持增量更新和可视化导出。适合科研人员、学生和科技爱好者快速追踪学术动态。
核心功能
- 高速异步爬取
- 按天增量更新
- 自动中文翻译
- 本地数据库存储
- 可视化导出功能
快速开始
- 克隆GitHub仓库到本地
- 安装Python依赖包
- 运行初始化脚本建立数据库
- 执行增量更新获取新论文
- 导出markdown或csv文件
界面预览
与其他方案对比
| 对比项 | arxiv_crawler | 同类方案 |
|---|---|---|
| 爬取速度 | 异步高速爬取，两分钟内处理2000篇论文 | 传统同步爬取，速度较慢 |
| 翻译功能 | 自动翻译标题和摘要为中文 | 通常无翻译功能或需手动 |
| 数据管理 | 本地数据库支持增量更新，避免重复爬取 | 可能每次全量爬取，效率低下 |
适合谁用
- 科研人员，追踪arXiv论文动态
- 学生，快速了解学术前沿
- 科技爱好者，获取中文论文摘要
- 研究团队，批量管理论文信息
下载与版本
当前最新版本为 main，发布于 。支持 Windows、macOS、Linux。
⚠️ 注意：本项目仅提供源代码下载，不包含可直接运行的安装包（exe/dmg/apk 等。下载后需要自行编译构建才能使用，适合有一定开发经验的用户。如果你不熟悉编译流程，建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用，请遵守相关法律法规。
- 请尊重内容创作者版权，勿将下载内容用于商业或非法传播。
- 项目源码地址：https://github.com/huiyeruzhou/arxiv_crawler