产品简介
weibo-comment-crawler 这是一个基于Python的微博评论爬虫工具,能通过微博URL深度爬取所有评论内容和用户信息,支持多级嵌套评论,提取30+用户属性如IP地址、年龄、星座等。数据以CSV格式输出,适用于舆情分析和用户行为研究,适合数据分析人员和社交媒体研究者使用。
核心功能
- 通过URL解析爬取指定微博的所有评论
- 支持一级和二级评论的递归抓取
- 提取30+用户属性包括IP属地、年龄、星座、认证状态等
- 数据结构化输出为CSV格式便于分析
- 内置请求间隔和Cookie认证防止反爬
快速开始
- 第一步:在Web端复制目标微博的URL地址,格式如 https://weibo.com/用户标识符/微博标识符。
- 第二步:登录微博网页版,获取Cookie和User-Agent,保存到 weibo_cookie.json 文件中。
- 第三步:运行Python脚本,选择爬取版本(精简版或复杂版)进行爬取。
界面预览
与其他方案对比
| 对比项 | weibo-comment-crawler | 同类方案 |
|---|---|---|
| 数据爬取深度与速度平衡 | 提供精简版(快速,信息少)和复杂版(慢速,信息全),用户可根据需求选择。 | 可能只有单一模式,无法灵活平衡速度与信息量。 |
适合谁用
- 需要进行微博舆情分析的数据分析师
- 研究社交媒体用户行为的学者或研究人员
- 需要提取评论数据用于产品优化的运营人员
下载与版本
当前最新版本为 main,发布于 。支持 Windows、macOS、Linux。
⚠️ 注意:本项目仅提供源代码下载,不包含可直接运行的安装包(exe/dmg/apk 等。下载后需要自行编译构建才能使用,适合有一定开发经验的用户。如果你不熟悉编译流程,建议寻找同类开箱即用的替代方案。
注意事项
- 本工具仅供学习和研究使用,请遵守相关法律法规。
- 请尊重内容创作者版权,勿将下载内容用于商业或非法传播。
- 项目源码地址:https://github.com/1dyer/weibo-comment-crawler