使用 Python Bootcamp 2023 进行终极网络抓取
只需一门课程即可学习使用 Python 从 Web 中提取数据，涵盖 selectolax、playwright、scrapy 等
课程英文名：The Ultimate Web Scraping With Python Bootcamp 2023
此视频教程共nan，中英双语字幕，画质清晰无水印，源码附件全
课程内容
你会学到什么
- 从头开始了解 Python 中网页抓取的基础知识
- 从静态和动态网站抓取信息并将其提取为各种格式
- 拦截并模拟隐藏的 API，以识别获取数据的高效替代方案
- 掌握使用 HTTP 的请求库
- 使用 beautifulsoup、selectolax 和 Microsoft Playwright 从 HTML 中解析和提取内容
- 掌握复杂的 CSS 选择器，包括后代、子代、兄弟组合器
- 了解网络的工作原理，包括 HTTP、HTML、CSS 和 JavaScript
- 创建 scrapy 爬虫并练习项目、项目加载器和自定义管道
- 将 scrapy 与 playwright 集成以实现高性能、微调的动态网站爬行
- 练习将数据处理和提取为各种格式，包括 csv、json、xml 和 SQL
要求
- 无需编程经验——我会教你所有你需要知道的
- 无需付费软件——我们将使用开源 python 库
- 一台可以上网的电脑
- 准备学习可以立即练习的真正技能
描述
欢迎来到 Ultimate Web Scraping With Python Bootcamp，这是从 Python 初学者到非常称职的 Web 抓取工具所需的唯一课程。
Web 抓取是以编程方式从 Web 中提取数据的过程。抓取代理访问 Web 资源，从中提取内容，然后处理生成的数据以解析一些感兴趣的特定信息。
抓取是一种提供即时反馈的编程技巧，可用于自动执行各种数据收集和处理任务。
在接下来的17 多个小时内，我们将有条不紊地介绍使用 Python 编写网络抓取代理所需了解的所有内容。
该训练营分为难度递增的三个部分，旨在帮助您逐步提高技能。
第一部分 – 开始
我们将从仔细研究现代网络的关键应用层通信协议 HTTP 来了解网络的工作原理。接下来，我们将从第一原则开始探索HTML、CSS和JavaScript ，以更深入地了解网站的构建方式。最后，我们将学习如何使用 python 发送 HTTP 请求并解析生成的 HTML、CSS 和 JavaScript 以提取我们需要的数据。我们在课程第一部分的目标是在网络抓取和 Python 方面打下坚实的基础，并****通过从头开始构建功能性网络抓取工具来实践这些技能。选定的主题包括：
- 请求-响应周期的详细概述
- 了解用户代理、HTTP动词、标头和状态
- 了解为什么自定义标头通常可用于绕过付费墙
- 掌握请求库以在 python 中使用 HTTP
- 无状态意味着什么以及cookie 的工作原理
- 探索代理在现代网络架构中的作用
- 掌握用于解析和数据提取的beautifulsoup
第二部分 – 精炼
在课程的第二部分，我们将在已经奠定的基础上探索网络抓取中更高级的主题。我们将学习如何抓取使用 JavaScript 呈现其内容的动态网站，方法是将****Microsoft Playwright设置为无头浏览器以自动执行此过程。我们还将学习如何识别和模拟 API 调用，以从没有正式公开 API 的网站上抓取数据。我们在本节中的项目将包括一个图像抓取器，它可以在给定一些关键字的情况下下载一定数量的高分辨率图像，以及另一个从动态呈现的网站中提取打折视频游戏的价格和内容的抓取代理。主题包括：
- 识别和使用隐藏的 API并了解它们提供的好处
- 轻松模拟标头、cookie 和正文内容
- 使用 postman 和 httpie 从拦截的 API 请求中自动生成 python 代码
- 使用高性能的 selectolax解析库
- 掌握CSS 选择器
- 介绍用于无头浏览和动态呈现的Microsoft Playwright
第三部分 – 硕士
在课程的最后一部分，我们将介绍 scrapy。这将为我们提供一个优秀的、经过时间考验的框架，用于构建更复杂、更强大的网络抓取工具。我们将学习如何在虚拟环境中设置 scrapy，以及如何创建蜘蛛和管道以从各种格式的网站中提取数据。学习了如何使用 scrapy 之后，我们将探索如何将它与 Playwright 集成，以便我们应对从 scrapy 中直接抓取动态网站的挑战。我们将通过构建一个在将生成的 HTML 返回给 scrapy 之前执行自定义 JavaScript 代码的抓取代理来结束本节。本节的一些主题：
- 学习如何设置 scrapy 并探索其命令行界面（“ scrapy 工具”）
- 使用scrapy shell动态探索响应对象
- 理解和定义项目模式并使用****项目加载器和输入/输出处理器加载数据
- 将 Playwright 集成到 scrapy 中以处理动态呈现的JavaScript 站点
- 编写 PageMethods以从 scrapy 中向无头浏览器指定高度具体的指令
- 定义自定义管道以保存到 SQL 数据库和高度自定义的输出格式
在此训练营中，我将通过引人入胜的视频讲座逐步指导您，并教您开始使用 Python 进行网络抓取所需的一切知识。
在本课程结束时，您将拥有一个完整的工具集，可以为您能想象到的任何网站概念化和实施抓取代理。
里面见！
本课程适合谁：
- 任何想学习如何以编程方式从 Web 收集数据的人
- 有或没有网络抓取经验的学生希望升级
- 没有经验的完全初学者