前一篇从源码的测试用例打印了 Parsed Logical Plan,更便捷的可以从 API 直接打印, 互相对比验证. 使用 API: org.apache.spark.sql.Dataset.explain(mode: String),mode 内容如下 : object ExplainMode ...

前面介绍了 Spark SQL 解析和优化的主要阶段, 那么现在就可以进入源码实际看看结果. 首先需要 git clone Spark 源码, 过程略. Unresolved Logical PlanunresolvedPlan用 IDE 导入 Spark 工程源码, 进入 AnalysisSuit ...

阶段在 Spark SQL 中, 使用 Catalyst 主要是四个阶段:Analysis, Logical Optimization, Physical Planning, Code Generation. 除了 Physical Planning, 其他阶段都是纯 rule-based 的.P ...

Catalyst optimizer 是 Spark SQL 的核心, 它包含了一个通用库,用于表示 SQL 的 Tree 并应用 Rule 来操作它们.在此框架之上，它有特定于关系查询处理的库（例如表达式、逻辑查询计划）,以及几组 rules 来处理 query execution 的不同阶段：a ...

数据倾斜是 Spark 任务中要处理的常见问题, 其对应的解决方案总结了一下. 快速尝试 提高并行度假设发现并行的 task 或 partition 数目较小, 可以直接修改 并行度,试图降低每个 task 处理的数据量, 缓解数据倾斜和加速计算, 快速测试任务结果. 但是, 如果数据倾斜发生在某 ...

环境想要尝试新版本的 flink, 但是又跟现有环境冲突, 比如 JDK 8 和 11, scala 2.11 和 2.22, Kafka 和 Zookeeper 版本以及数据的冲突和混用的危险, 这种情况就适合用 Docker 来解决了, 环境 版本 数据 等等问题都能得到较好的管理和隔离, 而且 ...

aggregate()def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U = withScope { // Clone the zero value sinc ...

长文目录需求平时在写较长的 markdown 笔记时, 往往有往前面某个章节跳转的需求, 还有想要浏览一下全局的目录, 理清思路.这是就需要一个工具能显示 ToC, 平时我是用 vim 来编辑的, 于是尝试了几个 plugins 之后, 觉得有一个还不错. preservim/vim-markdow ...

近来由于家里的台式机硬盘坏了, 需要更换硬盘和重装系统, 这就涉及到系统安装和激活的问题. Media Creation Tool 复刻系统到 u 盘调研了一番, 发现有个官方工具叫做: Media Creation Tool, 可以从正版系统复刻到 u 盘, 从 bios 启动安装, 而且不需要进 ...

使用 Linux 多年, 开发 编译 构建等等环境配置已经很完善了, 如果需要换硬件(比如换新一代的计算机, 换新一代的 PCIe4 NVMe 硬盘), 但又不想重新搭建系统和环境, 那就需要进行系统迁移了, 这在 Linux 下很容易进行. 步骤 开机 boot 使用 GParted Live, ...