当前总索引涵盖两大板块:板块一(云原生项目实战:Hadoop + Spark + AISE GPU 集群 + Operator,含 7 个一级主题 / 13 篇新增 HTML 及预留追加槽位) 与 板块二(Kubernetes 1~12 章全景知识库,含 12 个一级主题 / 26 篇 HTML),共计 39 篇可视化 HTML 技术文章。
涵盖三大模块(Hadoop+Spark、GPU 图像识别、K8s 运维平台)、四域架构及 archive-sync、job-worker(类自定义 Hive 聚类)与 Web 检索闭环。
涵盖 odp、aise-gd(决定图片并发数)、aise-se(决定单图切片速度)、feature-frame、databus 与 gd-se 有状态耦合痛点。
涵盖 Hadoop 三层基石、HDFS 128MB Block 三副本读写、edit_log + FSImage + JournalNode 及 HealthMonitor + ZKFC + ActiveStandbyElector HA 机制。
涵盖 NameNode txid 定序与 Lock A / Lock B 双缓冲刷盘、客户端 512B Chunk → Packet → DataQueue 异步批量发包、TreeSet 文件契约过期检测与读写流程。
涵盖 RM / NM / AM 三核心、作业提交至注销四阶段全链路、ZooKeeper 竞选锁主备切换与基于 ZooKeeper ACL 的 Fencing 防脑裂机制。
涵盖分治与归并排序本质、7 层大数据生态矩阵(Sqoop/Flume、HDFS/Kafka/HBase、YARN、MR/Spark/Flink、Azkaban/DolphinScheduler、ZooKeeper、Hive/Kylin vs ClickHouse/Doris)。
涵盖 Spark 四大优势、RDD 四类数据源、Transformation 惰性求值 vs Action 触发算子及分布式/弹性/迭代/血缘容错四大特性。
涵盖 Job/Stage/Task 辨析、reduceByKey 宽依赖 vs union 窄依赖 vs 单分区 repartition(4) 为何需要落盘洗牌,及反向回溯切分 Stage 算法。
涵盖 Driver / ClusterManager / Executor 角色、Standalone/On YARN/On Mesos/On K8s 四大部署方案、AM 托管 SparkDriver 原理及 yarn-cluster vs yarn-client 对比。
涵盖 spark01~spark06 拓扑规划、前置环境 5 步法、ZK/Hadoop/Spark 配置文件详解、8 步严格冷启动时序、50070/8088/jps 验证与日常启停手册。
涵盖 spark-shell 求重复整数 Top 10、spark-submit 官方示例与 PySpark 词频统计实战(含输出目录清空防雷)及 eventLog 历史任务回溯。
涵盖六节点自动化剧本流程设计,以及深入剖析“为什么 Spark Operator 成熟而 Hadoop 少有 K8s Operator”。
承接笔记末尾 #### aise集群云原生化,规划 AISE 组件 K8s 工作负载映射、gd-se Operator 接管原理与后续章节接口。
后续追加位置:CRD Spec/Status 规范、比例校验 Webhook 与状态表同步。
后续追加位置:Reconcile 核心控制逻辑、异常重建自愈与优雅缩容。
后续追加位置:统一运维平台、GPU 切分调度、监控与日志栈集成。
涵盖为什么用 K8s(对比 Docker 短板)、云原生 Cloud Native 四大支柱、Master/Worker 主从架构、etcd Raft 法定多数 Quorum、List-Watch 长短连接机制与 Pod 创建 13 步端到端全链路。
涵盖 Lima + Rocky Linux 9 三节点搭建、Kubeadm 生产建链、Static Pod 静态自举机制、Containerd 直连 CRI 架构演进、日志切割与 Docker / ctr / nerdctl / crictl 四大客户端命令全景对比。
涵盖 etcd 资源表与行记录映射模型、Kubectl 语法体系与高频指令、无 Shell 容器 nsenter 穿透排障、Label 动态摘流案例、YAML 五大顶层字段与 spec.containers 全字段详解、dry-run 模板生成与插件扩展机制。
涵盖 Pause 容器共享网络与存储底座、Sidecar 边车模式、Pod 7 大状态跃迁、Init 容器与 PostStart/PreStop 优雅停机钩子、Startup/Liveness/Readiness 三大探针、Requests/Limits 底层 Cgroups 映射、QoS 驱逐等级、Downward API 与宿主机异常 PID 反查 Pod 全链路。
涵盖 Controller Manager 调谐循环(Reconcile Loop)本质、ReplicaSet 计数器与级联删除、Deployment 滚动更新(maxSurge / maxUnavailable 数学步进)与版本回滚、DaemonSet 节点全覆盖守护机制。
涵盖有状态 vs 无状态选型法则、StatefulSet 三大基石(顺序固定、Headless Service 固定 FQDN、volumeClaimTemplates 独享存储)、Job 一次性离线任务并发/重试控制与 CronJob 三大并发策略(Allow / Forbid / Replace)。
涵盖 HPA 弹性架构定位、API Aggregator 与 Metrics Server 部署、扩缩容核心数学公式严格推导、多指标最大值竞争准则、10% 容忍度与 5 分钟缩容冷却防抖机制。
涵盖 Kube-Scheduler 预选(Filtering)与优选打分(Scoring)两阶段模型、nodeSelector 与 NodeAffinity 软硬亲和、PodAffinity/AntiAffinity 聚集与反亲和、TopologyKey 拓扑域以及 Taints 污点(NoSchedule / PreferNoSchedule / NoExecute 300s 容忍)容灾机制。
涵盖 Even Pod Spreading(topologySpreadConstraints 与 maxSkew 跨可用区均匀分布)、Descheduler 重平衡器五大策略与免驱逐白名单、PDB 预算防单点中断、PriorityClass 优先级抢占,以及 Kubelet 节点压力(内存/磁盘/PID)软硬驱逐机制。
涵盖 IP-per-Pod 大二层扁平网络假设、CIDR 子网划分、VLAN / GRE / VXLAN 封包对比、Flannel VXLAN(cni0 + flannel.1 路由/ARP/FDB 三表联动)与 host-gw 模式、Calico BGP 纯三层路由与 Route Reflector 反射器。
涵盖 Service 与 Endpoint 动态感知、kube-proxy 转发对比(iptables O(N) vs IPVS O(1))、四大 Service 类型、externalTrafficPolicy: Local 源 IP 保护、Ingress 七层网关两种部署架构(Deployment+NodePort vs DaemonSet+hostNetwork)、TLS 站点与滚动/蓝绿/金丝雀/灰度四大发布策略。
涵盖 CoreDNS 架构与 FQDN 寻址规范、Corefile hosts 自定义解析、裸 Pod + Headless Service 固定域名、Pod 四大 dnsPolicy 策略、ndots:5 与 conntrack 竞态引发的 5 秒超时根因及 NodeLocalDNSCache 加速方案。
涵盖 PV / PVC / StorageClass 三层解耦模型、四大访问模式(RWO / ROX / RWX / RWOP)、三大回收策略与四大状态跃迁、EmptyDir / HostPath / NFS 存储卷、LocalPV 延迟绑定(WaitForFirstConsumer)与 Local-Path / NFS Provisioner 动态供给。
涵盖真实生产事故全链路复盘:从 SSD 切换分布式存储引发节点周期性 NotReady、D 状态进程排查、perf 内核火焰图定位 Kubelet 定期执行 du 递归遍历海量小文件打满 CPU,以及 mfe-server 并发限流与 LocalPV 重构根治方案。
涵盖 ConfigMap 声明与 YAML 多行控制符(|、|+、|-、>)、subPath 单文件挂载、Secret 三大类型(Opaque / TLS / dockerconfigjson)、环境变量 vs Volume 热更新差异、Reloader 滚动热刷新与 K8s 1.24+ ServiceAccount Token 投影卷演进。
涵盖 API Server 认证/授权/准入三道防线、核心组与扩展组 REST API 路径规范、RBAC 四要素(Role / ClusterRole / RoleBinding / ClusterRoleBinding)、OpenSSL 签发用户证书与 Kubeconfig 上下文管理、SecurityContext 与 Linux Capabilities 特权收敛。
涵盖 Chart / Repo / Release 核心概念、Helm CLI 全生命周期指令、参数合并三级优先级(--set > -f > values.yaml)、Chart 标准目录结构与 alias/global 作用域、Go Template 六大内置对象与管道/控制流语法,以及 Nginx / Harbor Chart 仓库搭建。
涵盖三大定制开发层次、CRD 与 CR 数据库表抽象、client-go Informer 核心架构(Reflector / DeltaFIFO / Indexer / WorkQueue)、Kubebuilder Operator 开发流程,以及 Mutating / Validating Admission Webhook 准入拦截器全流程实战。
涵盖 Stacked etcd(堆叠式)与 External etcd(外置独立式)架构对比、Keepalived VIP + Nginx 四层代理多 Master 高可用方案、etcdctl 底层键值查询与快照灾难恢复,以及集群版本升级三大方案与 cordon / PDB / drain / uncordon 无损滚动升级 SOP。
涵盖黑盒 vs 白盒监控理论、Prometheus Pull 模型(Targets / Exporter / Pushgateway / Service Discovery / TSDB)、K8s 部署权限与 /-/reload 热更新、kube-state-metrics vs metrics-server 辨析,以及 cAdvisor 与控制面静态组件接入方案。
涵盖 TSDB 时间序列模型、瞬时/区间向量与标量、Counter / Gauge / Histogram / Summary 四大指标类型(rate vs irate、predict_linear 预测、长尾分位数聚合)、Node CPU/内存公式推导,以及 Grafana 持久化部署与 3070 等模板实战。
涵盖告警三态流转(Inactive / Pending / Firing)、分组 / 静默 / 抑制三大降噪机制、标签防撞技巧、树状路由与根路由禁止 continue: true 铁律,以及钉钉 / 飞书 Webhook 模板与 QQ / 163 SMTP 邮件双通道实战。
涵盖六大核心 CRD 外键关联心智模型、Secret 配置解密排错、自定义监控 etcd 集群全 4 步实操(0.0.0.0 暴露、无 Selector Service + Endpoints、ServiceMonitor、Grafana 3070 出图)、PrometheusRule 触发测试,以及 AlertmanagerConfig CRD 隐式注入 matcher Bug 深度排雷。
涵盖引入日志系统的三大刚需、容器 stdout (/var/log/containers 与 /var/log/pods 软链接陷阱) vs 容器内文件输出路径差异、节点 DaemonSet + hostPath / Streaming Sidecar (emptyDir + tail -F) / 应用直推三大方案评估矩阵与生产混合终极架构。
涵盖 ELK vs EFK 分工及 Fluentd + Kafka 削峰填谷 + Logstash 清洗架构、Fluentd 四阶段管道与 Buffer 防丢机制、ES 三角色集群与 TLS 证书 Helm 部署、fluent-plugin-kafka 镜像定制,以及按业务 Pod 标签 logIndex 动态拆分 ES 索引与 Kibana 索引模式实战。
涵盖 Grafana Loki “只建标签索引、不建全文倒排索引”的核心哲学、PLG 三件套(Promtail + Loki + Grafana)同源元数据设计、LogQL 日志流筛选与 Log-to-Metrics 指标派生实战,以及 EFK vs PLG 全维度选型对照表。