课程主页: https://www.coursera.org/learn/spark-sql
随着大数据时代的来临，分布式计算成为现代数据分析中的一项重要技能。如果你已经具备了SQL的基础，并想通过学习分布式计算来提升自己的数据分析能力，Coursera的《分布式计算与Spark SQL》课程无疑是一个不错的选择。
课程概述
该课程专注于使用Apache Spark进行大数据处理，是一门面向希望在数据处理路上继续前进的学生的课程。通过这个课程，学生将深入了解如何处理大规模的数据集，这也是当今科技行业不可或缺的技能。
课程大纲
- 模块1：Spark简介
本模块将带你讨论分布式计算的核心概念，以及识别这些概念的实际应用场合。同时，你将在Databricks协作工作区中编写通过集群执行的SQL代码，初步接触切片处理的乐趣。 - 模块2：Spark核心概念
在这一模块，你将学习如何解释Spark的核心概念，掌握提升查询性能的小技巧，并了解如何通过缓存数据和调整Spark配置。在这个过程中，你还能使用Spark用户界面分析性能，识别性能瓶颈，从而优化查询。 - 模块3：数据管道工程
这一模块将帮助你了解数据应用的整体需求，培养处理多种格式的数据能力，特别是探索持续半结构化的JSON数据，以及schema与并行数据写入之间的权衡。你将学习如何构建一个完整的管道，从读取数据到转化再到保存结果。 - 模块4：数据湖、数据仓库与湖屋
本模块深入探讨数据湖、数据仓库和湖屋中的关键特性。揭示结合Spark与开源项目Delta Lake构建生产级湖屋的潜力，让学习者站在数据前沿。
这一课程既具有综合性又实用，非常适合希望在数据工程和分析领域加速发展的学者。如果你的目标是提高自己在科技行业中的核心竞争力，从中了高效、富有参赛实践的掌握Spark SQL可能会非常有效。不论你是项目经理、数据科学家还是数据工程师，这门课都能让你在实际工作中能够使用大数据技术集提升和解析量化数据分析的能力，推荐给每一个对大数据感兴趣的朋友！
课程主页: https://www.coursera.org/learn/spark-sql