主题
文档目录
板块一:云原生项目实战(Hadoop / Spark / AISE GPU 集群 / Operator)
P1. 云原生项目全景架构与 AISE 图像识别 GPU 集群
- 1-1. 云原生项目全景架构与业务数据流转全链路 · MD 原稿
涵盖三大模块(Hadoop+Spark、GPU 图像识别、K8s 运维平台)、四域架构及archive-sync、job-worker(类自定义 Hive 聚类)与 Web 检索闭环。 - 1-2. AISE 图像识别 GPU 集群组件剖析与有状态协同机制 · MD 原稿
涵盖odp、aise-gd(决定图片并发数)、aise-se(决定单图切片速度)、feature-frame、databus与gd-se有状态耦合痛点。
P2. Hadoop 分布式存储 HDFS 与 YARN 资源调度深度剖析
- 2-1. HDFS 分布式存储架构、元数据持久化与高可用 (HA) 机制 · MD 原稿
涵盖 Hadoop 三层基石、HDFS 128MB Block 三副本读写、edit_log+FSImage+JournalNode及HealthMonitor+ZKFC+ActiveStandbyElectorHA 机制。 - 2-2. HDFS 高并发核心机密:内存双缓冲分段锁、客户端异步队列与文件契约 · MD 原稿
涵盖 NameNodetxid定序与 Lock A / Lock B 双缓冲刷盘、客户端 512B Chunk → Packet →DataQueue异步批量发包、TreeSet文件契约过期检测与读写流程。 - 2-3. YARN 资源调度核心架构、作业生命周期与脑裂隔离 (Fencing) · MD 原稿
涵盖 RM / NM / AM 三核心、作业提交至注销四阶段全链路、ZooKeeper 竞选锁主备切换与基于 ZooKeeper ACL 的Fencing防脑裂机制。
P3. MapReduce 分治归并模型与 Hadoop 大数据生态全景
- 3-1. MapReduce 分治归并模型与企业级大数据生态全景图谱 · MD 原稿
涵盖分治与归并排序本质、7 层大数据生态矩阵(Sqoop/Flume、HDFS/Kafka/HBase、YARN、MR/Spark/Flink、Azkaban/DolphinScheduler、ZooKeeper、Hive/Kylin vs ClickHouse/Doris)。
P4. Spark 内存计算引擎、RDD 弹性数据集与 DAG 调度内核
- 4-1. Spark 内存计算框架优势与 RDD 弹性分布式数据集深度解析 · MD 原稿
涵盖 Spark 四大优势、RDD 四类数据源、Transformation 惰性求值 vs Action 触发算子及分布式/弹性/迭代/血缘容错四大特性。 - 4-2. Spark DAG 执行计划、宽窄依赖辨析与 Stage 切分算法图解 · MD 原稿
涵盖Job/Stage/Task辨析、reduceByKey宽依赖 vsunion窄依赖 vs 单分区repartition(4)为何需要落盘洗牌,及反向回溯切分 Stage 算法。 - 4-3. Spark 集群运行架构与 Spark On YARN 生产部署模式对比 · MD 原稿
涵盖 Driver / ClusterManager / Executor 角色、Standalone/On YARN/On Mesos/On K8s 四大部署方案、AM 托管 SparkDriver 原理及yarn-clustervsyarn-client对比。
P5. 六节点 Hadoop HA + Spark On YARN 集群部署与任务实战
- 5-1. 六节点 Hadoop HA + Spark On YARN + ZooKeeper 生产级部署全流程 SOP · MD 原稿
涵盖spark01~spark06拓扑规划、前置环境 5 步法、ZK/Hadoop/Spark 配置文件详解、8 步严格冷启动时序、50070/8088/jps验证与日常启停手册。 - 5-2. Spark 任务提交实战(spark-shell / PySpark)与 HistoryServer 历史追踪 · MD 原稿
涵盖spark-shell求重复整数 Top 10、spark-submit官方示例与 PySpark 词频统计实战(含输出目录清空防雷)及eventLog历史任务回溯。
P6. Ansible 自动化编排与大数据云原生 Operator 架构思辨
- 6-1. Ansible 自动化部署剧本设计与 Hadoop/Spark 云原生 Operator 演进辨析 · MD 原稿
涵盖六节点自动化剧本流程设计,以及深入剖析“为什么 Spark Operator 成熟而 Hadoop 少有 K8s Operator”。
P7. AISE 集群云原生化与 Kubernetes Operator 运维平台
- 7-1. AISE 集群云原生化转型先导:有状态 gd/se 编排痛点与 Operator 架构蓝图 · MD 原稿
承接笔记末尾#### aise集群云原生化,规划 AISE 组件 K8s 工作负载映射、gd-seOperator 接管原理与后续章节接口。
板块二:Kubernetes 全景知识体系与实战手册 (1~12 章)
1. Kubernetes 架构与容器运行时体系
- 1-1. Kubernetes 云原生基石与控制面架构深度解析 · MD 原稿
涵盖为什么用 K8s(对比 Docker 短板)、云原生 Cloud Native 四大支柱、Master/Worker 主从架构、etcd Raft 法定多数 Quorum、List-Watch 长短连接机制与 Pod 创建 13 步端到端全链路。 - 1-2. Kubernetes 集群部署实战与容器运行时全景 · MD 原稿
涵盖 Lima + Rocky Linux 9 三节点搭建、Kubeadm 生产建链、Static Pod 静态自举机制、Containerd 直连 CRI 架构演进、日志切割与 Docker / ctr / nerdctl / crictl 四大客户端命令全景对比。
2. Kubernetes 核心对象、YAML 规范与 Pod 深度剖析
- 2-1. 声明式 API 与 Kubectl 命令行实战指南 · MD 原稿
涵盖 etcd 资源表与行记录映射模型、Kubectl 语法体系与高频指令、无 Shell 容器 nsenter 穿透排障、Label 动态摘流案例、YAML 五大顶层字段与 spec.containers 全字段详解、dry-run 模板生成与插件扩展机制。 - 2-2. Pod 核心机制与容器生命周期深度剖析 · MD 原稿
涵盖 Pause 容器共享网络与存储底座、Sidecar 边车模式、Pod 7 大状态跃迁、Init 容器与 PostStart/PreStop 优雅停机钩子、Startup/Liveness/Readiness 三大探针、Requests/Limits 底层 Cgroups 映射、QoS 驱逐等级、Downward API 与宿主机异常 PID 反查 Pod 全链路。
3. 工作负载控制器与弹性伸缩体系
- 3-1. 无状态控制器与守护进程深度解析 · MD 原稿
涵盖 Controller Manager 调谐循环(Reconcile Loop)本质、ReplicaSet 计数器与级联删除、Deployment 滚动更新(maxSurge / maxUnavailable 数学步进)与版本回滚、DaemonSet 节点全覆盖守护机制。 - 3-2. 有状态工作负载与批处理控制器深度解析 · MD 原稿
涵盖有状态 vs 无状态选型法则、StatefulSet 三大基石(顺序固定、Headless Service 固定 FQDN、volumeClaimTemplates 独享存储)、Job 一次性离线任务并发/重试控制与 CronJob 三大并发策略(Allow / Forbid / Replace)。 - 3-3. 弹性伸缩引擎 HPA 原理与自适应扩缩容实战 · MD 原稿
涵盖 HPA 弹性架构定位、API Aggregator 与 Metrics Server 部署、扩缩容核心数学公式严格推导、多指标最大值竞争准则、10% 容忍度与 5 分钟缩容冷却防抖机制。
4. 高级调度策略、拓扑均衡与节点压力驱逐
- 4-1. Pod 调度决策全景与亲和容忍策略 · MD 原稿
涵盖 Kube-Scheduler 预选(Filtering)与优选打分(Scoring)两阶段模型、nodeSelector 与 NodeAffinity 软硬亲和、PodAffinity/AntiAffinity 聚集与反亲和、TopologyKey 拓扑域以及 Taints 污点(NoSchedule / PreferNoSchedule / NoExecute 300s 容忍)容灾机制。 - 4-2. 集群高级调度、资源平衡与驱逐机制 · MD 原稿
涵盖 Even Pod Spreading(topologySpreadConstraints 与 maxSkew 跨可用区均匀分布)、Descheduler 重平衡器五大策略与免驱逐白名单、PDB 预算防单点中断、PriorityClass 优先级抢占,以及 Kubelet 节点压力(内存/磁盘/PID)软硬驱逐机制。
5. Kubernetes 网络模型、四七层流量路由与 DNS 发现
- 5-1. CNI 网络模型与底层跨节点通信全景 · MD 原稿
涵盖 IP-per-Pod 大二层扁平网络假设、CIDR 子网划分、VLAN / GRE / VXLAN 封包对比、Flannel VXLAN(cni0 + flannel.1 路由/ARP/FDB 三表联动)与 host-gw 模式、Calico BGP 纯三层路由与 Route Reflector 反射器。 - 5-2. 服务发现与四七层流量入口深度解析 · MD 原稿
涵盖 Service 与 Endpoint 动态感知、kube-proxy 转发对比(iptables O(N) vs IPVS O(1))、四大 Service 类型、externalTrafficPolicy: Local 源 IP 保护、Ingress 七层网关两种部署架构(Deployment+NodePort vs DaemonSet+hostNetwork)、TLS 站点与滚动/蓝绿/金丝雀/灰度四大发布策略。 - 5-3. CoreDNS 服务发现与 NodeLocalDNSCache 性能调优 · MD 原稿
涵盖 CoreDNS 架构与 FQDN 寻址规范、Corefile hosts 自定义解析、裸 Pod + Headless Service 固定域名、Pod 四大 dnsPolicy 策略、ndots:5 与 conntrack 竞态引发的 5 秒超时根因及 NodeLocalDNSCache 加速方案。
6. 存储体系架构、动态供给与生产排障复盘
- 6-1. 存储体系抽象架构与 PV/PVC 持久化实战 · MD 原稿
涵盖 PV / PVC / StorageClass 三层解耦模型、四大访问模式(RWO / ROX / RWX / RWOP)、三大回收策略与四大状态跃迁、EmptyDir / HostPath / NFS 存储卷、LocalPV 延迟绑定(WaitForFirstConsumer)与 Local-Path / NFS Provisioner 动态供给。 - 6-2. 生产存储实战排障:AI 数字人视频渲染集群雪崩复盘 · MD 原稿
涵盖真实生产事故全链路复盘:从 SSD 切换分布式存储引发节点周期性 NotReady、D 状态进程排查、perf 内核火焰图定位 Kubelet 定期执行 du 递归遍历海量小文件打满 CPU,以及 mfe-server 并发限流与 LocalPV 重构根治方案。
7. 配置解耦治理与集群安全权限体系
- 7-1. 配置解耦与机密凭据安全治理指南 · MD 原稿
涵盖 ConfigMap 声明与 YAML 多行控制符(|、|+、|-、>)、subPath 单文件挂载、Secret 三大类型(Opaque / TLS / dockerconfigjson)、环境变量 vs Volume 热更新差异、Reloader 滚动热刷新与 K8s 1.24+ ServiceAccount Token 投影卷演进。 - 7-2. 集群安全防护、RBAC 授权与 SecurityContext 治理 · MD 原稿
涵盖 API Server 认证/授权/准入三道防线、核心组与扩展组 REST API 路径规范、RBAC 四要素(Role / ClusterRole / RoleBinding / ClusterRoleBinding)、OpenSSL 签发用户证书与 Kubeconfig 上下文管理、SecurityContext 与 Linux Capabilities 特权收敛。
8. Helm 包管理与 Chart 模板工程
- 8-1. Helm 包管理工具与 Chart 编排全景手册 · MD 原稿
涵盖 Chart / Repo / Release 核心概念、Helm CLI 全生命周期指令、参数合并三级优先级(--set > -f > values.yaml)、Chart 标准目录结构与 alias/global 作用域、Go Template 六大内置对象与管道/控制流语法,以及 Nginx / Harbor Chart 仓库搭建。
9. 云原生扩展与定制化开发
- 9-1. 云原生扩展开发:CRD、Operator 与 Admission Webhooks · MD 原稿
涵盖三大定制开发层次、CRD 与 CR 数据库表抽象、client-go Informer 核心架构(Reflector / DeltaFIFO / Indexer / WorkQueue)、Kubebuilder Operator 开发流程,以及 Mutating / Validating Admission Webhook 准入拦截器全流程实战。
10. 生产集群高可用架构与无损升级运维
- 10-1. 控制面高可用架构设计与无损升级实战 · MD 原稿
涵盖 Stacked etcd(堆叠式)与 External etcd(外置独立式)架构对比、Keepalived VIP + Nginx 四层代理多 Master 高可用方案、etcdctl 底层键值查询与快照灾难恢复,以及集群版本升级三大方案与 cordon / PDB / drain / uncordon 无损滚动升级 SOP。
11. Kubernetes 可观测性与 Prometheus 监控告警体系
- 11-1. 监控理论与 Prometheus 核心采集架构全景
涵盖黑盒 vs 白盒监控理论、Prometheus Pull 模型(Targets / Exporter / Pushgateway / Service Discovery / TSDB)、K8s 部署权限与 /-/reload 热更新、kube-state-metrics vs metrics-server 辨析,以及 cAdvisor 与控制面静态组件接入方案。 - 11-2. PromQL 时序查询语言与 Grafana 可视化实战
涵盖 TSDB 时间序列模型、瞬时/区间向量与标量、Counter / Gauge / Histogram / Summary 四大指标类型(rate vs irate、predict_linear 预测、长尾分位数聚合)、Node CPU/内存公式推导,以及 Grafana 持久化部署与 3070 等模板实战。 - 11-3. Alertmanager 告警引擎、状态机与多渠道通知实战
涵盖告警三态流转(Inactive / Pending / Firing)、分组 / 静默 / 抑制三大降噪机制、标签防撞技巧、树状路由与根路由禁止 continue: true 铁律,以及钉钉 / 飞书 Webhook 模板与 QQ / 163 SMTP 邮件双通道实战。 - 11-4. Prometheus Operator 深度解惑:CRD 联动原理与自定义监控实战
涵盖六大核心 CRD 外键关联心智模型、Secret 配置解密排错、自定义监控 etcd 集群全 4 步实操(0.0.0.0 暴露、无 Selector Service + Endpoints、ServiceMonitor、Grafana 3070 出图)、PrometheusRule 触发测试,以及 AlertmanagerConfig CRD 隐式注入 matcher Bug 深度排雷。
12. Kubernetes 日志收集、EFK 架构与 Grafana Loki 方案
- 12-1. Kubernetes 日志体系架构与三大采集模式深度剖析
涵盖引入日志系统的三大刚需、容器 stdout (/var/log/containers 与 /var/log/pods 软链接陷阱) vs 容器内文件输出路径差异、节点 DaemonSet + hostPath / Streaming Sidecar (emptyDir + tail -F) / 应用直推三大方案评估矩阵与生产混合终极架构。 - 12-2. 企业级 EFK + Kafka 高可用日志流水线与部署实战
涵盖 ELK vs EFK 分工及 Fluentd + Kafka 削峰填谷 + Logstash 清洗架构、Fluentd 四阶段管道与 Buffer 防丢机制、ES 三角色集群与 TLS 证书 Helm 部署、fluent-plugin-kafka 镜像定制,以及按业务 Pod 标签 logIndex 动态拆分 ES 索引与 Kibana 索引模式实战。 - 12-3. 轻量云原生日志方案 Grafana Loki 与 EFK 终极选型对比
涵盖 Grafana Loki “只建标签索引、不建全文倒排索引”的核心哲学、PLG 三件套(Promtail + Loki + Grafana)同源元数据设计、LogQL 日志流筛选与 Log-to-Metrics 指标派生实战,以及 EFK vs PLG 全维度选型对照表。