nanmicoder/mediacrawler

README EXCERPT

🔥 MediaCrawler - 自媒体平台爬虫 🕷️ 🤝 特别感谢金牌赞助商 BrowserAct 支持一句话从任意网站提取数据。无需代码，一次构建、稳定复用，Token 消耗极低。BrowserAct 使用真实浏览器自动构建数据采集 Bot，内置隐身浏览、验证码处理和住宅代理，直接输出结构化结果。立即免费试用。 --- 免责声明： 大家请以学习为目的使用本仓库⚠️⚠️⚠️⚠️，爬虫违法违规的案件 本仓库的所有内容仅供学习和参考之用，禁止用于商业用途。任何人或组织不得将本仓库的内容用于非法用途或侵犯他人合法权益。本仓库所涉及的爬虫技术仅用于学习和研究，不得用于对其他平台进行大规模爬虫或其他非法行为。对于因使用本仓库内容而引起的任何法律责任，本仓库不承担任何责任。使用本仓库的内容即表示您同意本免责声明的所有条款和条件。 点击查看更为详细的免责声明。点击跳转 📖 项目简介 一个功能强大的 多平台自媒体数据采集工具 ，支持小红书、抖音、快手、B站、微博、贴吧、知乎等主流平台的公开信息抓取。 🔧 技术原理 - 核心技术 ：基于 Playwright 浏览器自动化框架登录保存登录态 - 无需JS逆向 ：利用保留登录态的浏览器上下文环境，通过 JS 表达式获取签名参数 - 优势特点 ：无需逆向复杂的加密算法，大幅降低技术门槛 ✨ 功能特性 平台 关键词搜索 指定帖子ID爬取 二级评论 指定创作者主页 登录态缓存 IP代理池 生成评论词云图 ------ ---------- -------------- -------- -------------- ---------- -------- -------------- 小红书 ✅ ✅ ✅ ✅ ✅ ✅ ✅ 抖音 ✅ ✅ ✅ ✅ ✅ ✅ ✅ 快手 ✅ ✅ ✅ ✅ ✅ ✅ ✅ B 站 ✅ ✅ ✅ ✅ ✅ ✅ ✅ 微博 ✅ ✅ ✅ ✅ ✅ ✅ ✅ 贴吧 ✅ ✅ ✅ ✅ ✅ ✅ ✅ 知乎 ✅ ✅ ✅ ✅ ✅ ✅ ✅ MediaCrawlerPro 重磅发布！开源不易，欢迎订阅支持 专注于学习成熟项目的架构设计，不仅仅是爬虫技术，Pro 版本的代码设计思路同样值得深入学习！ MediaCrawlerPro 相较于开源版本的核心优势： 🎯 核心功能升级 - ✅ 自媒体内容拆解Agent （新增功能） - ✅ 断点续爬功能 （重点特性） - ✅ 多账号 + IP代理池支持 （重点特性） - ✅ 去除 Playwright 依赖 ，使用更简单 - ✅ 完整 Linux 环境支持 🏗️ 架构设计优化 - ✅ 代码重构优化 ，更易读易维护（解耦 JS 签名逻辑） - ✅ 企业级代码质量 ，适合构建大型爬虫项目 - ✅ 完美架构设计 ，高扩展性，源码学习价值更大 🎁 额外功能 - ✅ 自媒体视频下载器桌面端 （适合学习全栈开发） - ✅ 多…

The opening of the GitHub README as stored, at most 1,200 characters. Markdown is not rendered.