大数据 知识地图
模块知识结构与学习路径 | 12 篇文档 | 13 个节点 | 6 条关系
正在加载知识地图...
文档索引
大数据概述大数据概念、5V特征、技术生态系统全景、发展历程与应用场景。
HDFS分布式文件系统HDFS架构设计、NameNode/DataNode机制、读写流程、容错与高可用方案。
MapReduceMapReduce编程模型、Shuffle机制、Combiner优化、数据流与性能调优。
Spark核心Spark核心概念：RDD、DataFrame、Spark SQL原理与实战。
Spark-StreamingSpark Streaming流处理原理、DStream、Structured Streaming、窗口操作与Exactly-Once语义。
Hive数据仓库Hive架构、HQL语法、分区与桶、UDF开发、性能优化。
HBase列族数据库HBase架构原理、Region管理、RowKey设计、读写流程与性能优化。
Kafka消息队列Kafka架构设计、Producer/Consumer模型、分区策略、Offset管理与Exactly-Once语义。
Flink流处理Flink流处理架构、窗口机制、水位线、状态管理、Checkpoint与Exactly-Once保证。
数据湖数据湖架构、Iceberg/Delta Lake/Hudi三大框架对比、ACID事务、时间旅行与Schema演进。
Zookeeper协调服务ZooKeeper架构、ZAB协议、Watcher机制、Leader选举与分布式协调应用。
YARN资源管理YARN架构设计、ResourceManager/NodeManager机制、调度器对比、容器与队列管理。