github.com/apify/crawlee-python

一个爬虫项目，可以为 Python 开发者提供一个强大的网页爬虫和自动化工具库。Crawlee 支持使用 HTTP 库和 HTML 解析器（如 BeautifulSoup）提取数据，同时也支持使用 Playwright 驱动的无头浏览器进行更复杂的爬虫任务，如处理依赖于 JavaScript 的内容。该库设计用于构建高效、可靠的爬虫，能够模拟人类行为，避开现代机器人防护措施（但注意这样可能会侵权！）。