PySpark 教程包含 20 多个使用 Python 在桌面或 Hadoop 上分析大型数据集的动手示例！

课程英文名：Taming Big Data with Apache Spark and Python - Hands On

此视频教程共5.5小时，中英双语字幕，画质清晰无水印，源码附件全

下载地址

课程编号：347
百度网盘地址：https://pan.baidu.com/s/1mCEdU86NEamaGifJimRVBw?pwd=jtdn
夸克网盘(不限速)地址：https://pan.quark.cn/s/c5d5641c9b94

课程内容

你将会学到的

• 在 [Spark] 3 中使用 DataFrames 和结构化流
• 使用 [MLLib] 机器学习库回答常见的数据挖掘问题
• 了解 Spark Streaming 如何让您实时处理连续的数据流
• 将大数据分析问题定义为 Spark 问题
• 使用 Amazon 的 Elastic MapReduce 服务在具有 Hadoop YARN 的集群上运行您的作业
• 在台式计算机或集群上安装和运行 Apache Spark
• 使用 Spark 的弹性分布式数据集来处理和分析跨多个 CPU 的大型数据集
• 使用 Spark 实现迭代算法，例如广度优先搜索
• 了解 Spark SQL 如何让您处理结构化数据
• 对集群上运行的大型作业进行调整和故障排除
• 使用广播变量和累加器在 Spark 集群上的节点之间共享信息
• 了解 GraphX 库如何帮助解决网络分析问题

显示更少

本课程包括：

• 7 小时 长的随选视频
• 4 篇文章
• 26 个可下载资源
• 在移动设备和电视上观看
• 结业证书

要求

• 访问个人计算机。本课程使用 Windows，但示例代码也可以在 Linux 上正常运行。
• 一些先前的编程或脚本经验。Python 经验会有很大帮助，但你可以边学边学。

说明

新的！ 针对 Spark 3 进行了更新，增加了动手练习，并且更加关注 DataFrames 和结构化流。

“大数据”分析是一项热门且极具价值的技能——本课程将教你大数据中最热门的技术：Apache Spark，特别是PySpark。包括亚马逊、eBay、NASA JPL和雅虎在内的雇主都使用 Spark 快速提取意义从容错Hadoop集群中的海量数据集。您将在家中使用自己的 Windows 系统学习相同的技术。这比您想象的要容易。

通过 20 多个动手示例学习和掌握将数据分析问题构建为 Spark 问题的艺术，然后在本课程中将它们扩展为在云计算服务上运行。您将向来自亚马逊和 IMDb 的前工程师和高级经理学习。

• 了解 Spark 的 DataFrames 和弹性分布式数据存储的概念
• 使用 Python 和 pyspark 快速开发和运行 Spark 作业
• 将复杂的分析问题转化为迭代或多阶段 Spark 脚本
• 使用 Amazon 的Elastic MapReduce服务扩展到更大的数据集
• 了解Hadoop YARN如何跨计算集群分发 Spark
• 了解其他 Spark 技术，例如 Spark SQL、Spark Streaming 和 GraphX

在本课程结束时，您将在几分钟内运行在云中分析数千兆字节信息的代码。 

本课程使用熟悉的 Python 编程语言；如果您希望使用 Scala 从 Spark 中获得最佳性能，请参阅我的”Apache Spark with Scala – Hands On with Big Data”课程。

一路上我们会有一些乐趣。您将通过一些使用 Spark 分析电影分级数据和书中文本的简单示例来热身。一旦你掌握了基础知识，我们将转向一些更复杂和有趣的任务。我们将使用一百万个电影评分来寻找彼此相似的电影，您甚至可能会在此过程中发现一些您可能喜欢的新电影！我们将分析超级英雄的社交图谱，并了解谁是最”流行”的超级英雄——并开发一个系统来找出超级英雄之间的”分离度”。是否所有漫威超级英雄都与无敌浩克有一定的联系？你会找到答案的。

本课程非常实用；在我们一起编写、分析和运行真实代码时，您将花费大部分时间跟随讲师——无论是在您自己的系统上，还是在使用 Amazon 的 Elastic MapReduce 服务的云中。包括7 小时的视频内容，其中包含20 多个越来越复杂的真实示例，您可以自己构建、运行和学习。按照你自己的节奏，按照你自己的时间表来完成它们。本课程最后概述了其他基于 Spark 的技术，包括 Spark SQL、Spark Streaming 和 GraphX。

使用 Apache Spark 处理大数据是当今技术世界的一项重要技能。现在报名！

• “我和 Frank Kane 一起学习了”使用 Apache Spark 和 Python 驯服大数据”，并帮助我为我的公司构建了一个很棒的大数据即服务平台。我推荐这门课程！” – Cleuton Sampaio De Melo Jr.

此课程面向哪些人：

• 有一些软件开发背景的人想学习大数据分析中最热门的技术，会想看看这个。本课程从软件开发的角度关注 Spark；我们在此过程中介绍了一些机器学习和数据挖掘概念，但这不是重点。如果您想学习如何使用 Spark 分割庞大的数据集并从中提取意义，那么本课程适合您。
• 如果您以前从未编写过计算机程序或脚本，那么本课程还不适合您。如果您对编程不熟悉，我建议您先从 Python 课程开始。
• 如果您的软件开发工作涉及或将涉及处理大量数据，您需要了解 Spark。
• 如果您正在为数据科学或大数据的新职业进行培训，Spark 是其中的重要组成部分。