大数据开发
从 HDFS 与 MapReduce 到 Spark 4、Flink 2 与 ClickHouse：离线与实时两条计算链路、数据仓库分层、采集管道与可视化大屏
- 001入门大数据版图与学习路线：从单机极限到生态地图从单机 MySQL 装不下也算不动的困境出发，建立「分而治之、移动计算不移动数据」的心智模型，画出大数据生态的六层地图与离线实时两条链路，并给出面向职业技能大赛的学习路线与三类题型映射。
- 002中级HDFS 与 MapReduce：切块、副本与一次经典的两阶段计算建立 HDFS 的块与三副本心智模型、NameNode 与 DataNode 的账本分工，理解移动计算不移动数据原则，用词频统计拆解 Map、Shuffle、Reduce 三步，并解释 MapReduce 因每步落盘被淘汰的原因与 HDFS 的适用边界。
- 003中级Hive 与数据仓库：把 HDFS 目录变成能写 SQL 的表从「让分析师写 MapReduce 不现实」出发，建立 Hive 表是 HDFS 目录的元数据投影这一心智模型，掌握内部表与外部表、分区与分桶，理解 ODS 到 ADS 的数仓分层与星型建模直觉，并与 MySQL 划清适用边界。
- 004中级Spark Core 与 RDD：血统、惰性求值与一张执行图从 MapReduce 每步落盘的代价出发，建立 DAG 执行与惰性求值心智模型，拆解 RDD 三要素与血统容错，掌握 transformation 与 action、宽窄依赖、cache 与 checkpoint，并用 spark-submit 跑通第一个作业。
- 005中级Spark SQL 与 DataFrame：让引擎看懂你的数据沿 RDD 到 DataFrame 到 Dataset 的演进线，建立「有结构才有优化」的心智模型：Catalyst 的谓词下推与列裁剪、DataFrame 与 SQL 的双生关系、窗口函数分组 TopN 实战，以及缓存、广播小表与 AQE 调优常识。
- 006进阶Flink 流处理模型：时间语义、水位线与精确一次建立流处理的核心心智模型：为什么业务必须用事件时间、水位线如何给乱序数据「定迟到」、三种窗口各自适合什么、checkpoint 与 barrier 如何换来精确一次语义；理解 Flink 与微批架构的分野，并映射到实时大屏与实时告警两类比赛场景。
- 007中级Kafka 与数据采集管道：提交日志、消费者组与管道中枢建立 Kafka 的分布式提交日志心智模型：生产者只管追加、消费者自持游标拉取、消息按保留期过期；理解分区与消费者组如何决定并行度、KRaft 架构为何取代 ZooKeeper、采集端 Flume/Maxwell/Flink CDC 的选型位面，以及与 Flink/Spark 对接时精确一次的直觉，附可靠性参数取舍与动手实验。
- 008进阶HBase 宽表存储：LSM 树与 RowKey 设计建立 HBase 的海量 key-value 随机读写心智模型：LSM 树写路径（WAL 到 MemStore 到 HFile）解释写快读慢与读放大，RowKey 字典序与 Region 切分引出热点问题与加盐/反转/哈希三种散列策略，列族与宽表建模对关系库的反差，附读写时序图与场景判断。
- 009进阶ClickHouse 列式 OLAP：列存、MergeTree 与宽表哲学建立列式 OLAP 的心智模型：行存与列存的读取差异解释聚合查询为何快（压缩率、向量化、缓存友好），MergeTree 的主键稀疏索引、分区裁剪与物化视图预聚合，宽表加预聚合的用法哲学，与 Hive/Spark 的分工及 Java JDBC 接入小例，附场景映射与选型对比。
- 010中级Scala 最小集：为 Spark 而学划出读懂与写好 Spark 作业所需的 Scala 最小子集：val 与不可变偏好、case class、高阶函数、模式匹配、Option 与 trait，附 Scala 集合与 Java Stream 的对照表、隐式转换的一句话认知，以及与 Java 版对照的词频统计动手实验。
- 011入门ECharts 数据可视化大屏：声明式 option 与 Vue3 集成建立 ECharts 的声明式 option 心智模型：图表等于数据加坐标系加映射编码；过柱、折、饼、地图、散点五件套的 option 骨架，封装可复用的 BaseChart 组件，等比缩放与流式布局两条大屏适配路线，轮询与 WebSocket 两种取数方式，以及大数据量的性能与视觉纪律。
- 012进阶综合实战：离线 + 实时一体化数仓小项目以电商订单销售分析看板为项目载体，把模块前六篇总装成一条完整链路：MySQL 业务库经 binlog 采集进 Kafka，Flink 实时开窗写 ClickHouse 出分钟级大屏，Hive 分层加 Spark 日批出日级报表，两链路对账与兜底重刷，附每步的目标、关键决策与 30 行内的核心代码，以及答辩选型理由与常见翻车点。