33KStars！开源爬虫工具MediaCrawler:全平台数据采集神器

📣 一、简介

MediaCrawler 是一款开源且功能强大的多平台内容爬虫神器，由 NanmiCoder（Relakkes）开源，主打“全平台数据一键采集”。从小红书、抖音、快手，到 B站、微博、百度贴吧、知乎，主流平台全覆盖 (GitHub)。
其核心是基于 Playwright 浏览器自动化，保留登录态，通过 JS 表达式获取签名参数，无需复杂逆向，就能稳定拿到数据 (GitHub)。

✨ 二、亮点

• • 多平台覆盖：支持关键词搜索、帖子详情、创作者主页、评论（含二级评论）、评论词云、点赞与转发信息等 (GitHub)。
• • 统一格式输出：导出 JSON、CSV、Excel，数据整齐一致，方便下游分析。
• • 稳定机制：自动登录态缓存、IP 代理池支持（Pro 版提供更强 IP/多账号机制） (GitHub)。
• • 易扩展开发：模块化结构，自定义平台模块开发简单，上手快。
• • 社区活跃：GitHub 上数万 Star，issue 讨论频繁，问题响应迅速 (CSDN博客, CSDN博客)。

🧰 三、技术栈

• • Python 作为主力语言
• • Playwright 实现浏览器自动化，保留登录上下文，避免 JS 签名逆向 (GitHub)
• • Node.js 驱动部分平台签名及环境支持（版本 ≥16）
• • uv 管理 Python 环境（推荐）
• • SQLite/MySQL/CSV/Excel 用于本地数据存储或导出

💻 四、部署 & 运行方式

Tips：使用ai编辑器帮你运行效率更加

1. 1. 环境准备
   • • 安装 uv 管理环境，并根据文档验证：

     curl -LsSf https://astral.sh/uv/install.sh | sh
     uv --version

   • • 安装 Node.js（≥16）
2. 2. 代码 & 依赖安装

   git clone https://github.com/NanmiCoder/MediaCrawler.git
   cd MediaCrawler
   uv sync

3. 3. 浏览器环境安装

   uv run playwright install

4. 4. （可选）虚拟环境
   若不使用 uv：

   python -m venv venv
   source venv/bin/activate
   pip install -r requirements.txt
   playwright install

▶️ 五、使用方式

📌 基本命令：

uv run main.py --platform xhs --lt qrcode --type search

或：

python main.py --platform xhs --lt qrcode --type search

参数说明：

• • --platform：目标平台（如 xhs、小红书；dy、抖音 等）
• • --lt：登录方式（qrcode 二维码登录，phone 手机，cookie）
• • --type：爬取类型（search 关键词、detail 帖子详情、creator 创作者主页）

运行时程序会弹出二维码，扫码登录后自动爬取。
若需开启评论爬取，可编辑 config/base_config.py，将 ENABLE_GET_COMMENTS = True 并配置 IP 代理池。

⚙️ 高级功能突破：

• • 支持多平台联合爬取，只需配置 platforms = ['xiaohongshu','douyin'] 和关键词即可
• • 数据输出支持 CSV、JSON、Excel，可依据环境轻松切换
• • 代码结构模块化，支持用户轻松添加其他平台支持

✅ 六、注意事项

• • 本项目仅限 学习研究、内容分析，严禁商业用途或大规模爬取，避免法律风险 (GitHub, GitHub)
• • 平台频繁升级反爬机制，需要搭建代理池、控制请求频率、防止 IP 被封
• • 尊重平台版权与隐私，合理使用采集内容

🧩 七、总结

MediaCrawler 是一款“小白友好、功能全能”的爬虫工具，适合运营、竞品分析、内容研究等多种场景使用。无需深入逆向，只需扫码登录，即可一键获取全平台公开数据。
如果你想快速搭建内容采集体系，或了解跨平台爬虫实战，MediaCrawler 是值得收藏的开源工具！

⭐ 开源不易，有用记得给个 Star 支持下：https://github.com/NanmiCoder/MediaCrawler