Chuyển đến nội dung chính

第 35 課:GRAFANA 儀表板和 SLO 監控

建立 Grafana 統一儀表板、SLI/SLO/錯誤預算監控、使用 Grafonnet 的儀表板即程式碼、警報工作流程和生產級可觀測性堆疊。

🔒 DevSecOps — 第 35 課 第 35 課:GRAFANA 儀表板與儀表板SLO 監控

使用 Kubernetes HA 在本地部署微服務

第 8 部分:可觀察性 — Prometheus、Loki、Tempo

xdev.asia

🎯 課程目標__HTMLTAG_68___
  • ✅ 適用於微服務的 Grafana 統一儀表板設計
  • ✅ SLI/SLO/錯誤預算概念與實作
  • ✅ 使用 ConfigMap/Grafonnet 的儀表板即程式碼
  • ✅ 警報工作流程與待命路由
  • ✅ 生產可觀察性清單

第 1 部分:SLI/SLO/錯誤預算

___HTMLTAG_87__HTMLTAG_88___概念___HTMLTAG_89__HTMLTAG_90___定義___HTMLTAG_91__HTMLTAG_92____範例___HTMLTAG_93__HTMLTAG_94___ ___HTMLTAG_97__HTMLTAG_98___SLI(服務等級指示器)___HTMLTAG_99__HTMLTAG_100___衡量服務品質的指標___HTMLTAG_101__HTMLTAG_102___99.2% 請求 ___HTMLTAG_103__HT ___HTMLTAG_105__HTMLTAG_106___SLO(服務等級目標)___HTMLTAG_107__HTMLTAG_108___SLI 的目標值____HTMLTAG_109__HTMLTAG_110___每月 99.9% 可用性____HTMLTAG_111112121212121211212121212121212120720___ ___HTMLTAG_113__HTMLTAG_114___錯誤預算___HTMLTAG_115__HTMLTAG_116___允許的停機時間 = 1 - SLO____HTMLTAG_117__HTMLTAG_118___99.9% → 43.2 分鐘/月___MLTAGMLTAG19199.9%____2012 分鐘/月 ___HTMLTAG_121__HTMLTAG_122___SLA(服務等級協定)___HTMLTAG_123__HTMLTAG_124___附帶後果的合約____HTMLTAG_125__HTMLTAG_126___99.9% 或退款金額___HTMLTAG_127HTMLTAG_126___99.9% 或退款金額___HTMLTAG_1278HTMLTAG_1278___

程式碼區塊_0


第 2 部分:使用 PROMETHEUS 實作 SLO

程式碼區塊_1


第 3 部分:GRAFANA 儀表板設計

程式碼區塊_2

程式碼區塊_3


第 4 部分:警報工作流程

程式碼區塊_4


第 5 部分:生產可觀察性檢查表

___HTMLTAG_147__HTMLTAG_148___類別___HTMLTAG_149__HTMLTAG_150___項目___HTMLTAG_151__HTMLTAG_152___工具___HTMLTAG_153__HTMLTAG_154___ ___HTMLTAG_157__HTMLTAG_158___指標____HTMLTAG_159__HTMLTAG_160___每個服務的RED方法___HTMLTAG_161__HTMLTAG_162___Prometheus___HTMLTAG_163__HTMLTAG_164___ ___HTMLTAG_165__HTMLTAG_166___指標____HTMLTAG_167__HTMLTAG_168___每個節點使用方法___HTMLTAG_169__HTMLTAG_170___節點導出器___HTMLTAG_171__HTMLTAG_172___ ___HTMLTAG_173__HTMLTAG_174___指標____HTMLTAG_175__HTMLTAG_176___SLO/錯誤預算___HTMLTAG_177__HTMLTAG_178___記錄規則___HTMLTAG_179__HTMLTAG_180___ ___HTMLTAG_181__HTMLTAG_182___日誌___HTMLTAG_183__HTMLTAG_184___集中式結構化日誌___HTMLTAG_185__HTMLTAG_186___Loki + Promtail____HTMLTAG_187__HTMLTAG_188_____ ___HTMLTAG_189__HTMLTAG_190___日誌___HTMLTAG_191__HTMLTAG_192___基於日誌的警報____HTMLTAG_193__HTMLTAG_194___Loki 標尺___HTMLTAG_195__HTMLTAG_196___ ___HTMLTAG_197__HTMLTAG_198___追蹤___HTMLTAG_199__HTMLTAG_200___分散式追蹤___HTMLTAG_201__HTMLTAG_202___Tempo + OTel___HTMLTAG_203__HTMLTAG_204___ ___HTMLTAG_205__HTMLTAG_206___追蹤___HTMLTAG_207__HTMLTAG_208___追蹤-對數-度量相關性___HTMLTAG_209__HTMLTAG_210___Grafana___HTMLTAG_211__HTMLTAG_212___ ___HTMLTAG_213__HTMLTAG_214___警報____HTMLTAG_215__HTMLTAG_216___多重燃燒速率SLO警報____HTMLTAG_217__HTMLTAG_218___Alertmanager____HTMLTAG_219__HTMLTAG_220___ ___HTMLTAG_221__HTMLTAG_222___警報____HTMLTAG_223__HTMLTAG_224___待命路由___HTMLTAG_225__HTMLTAG_226___PagerDuty___HTMLTAG_227__HTMLTAG_228___ ___HTMLTAG_229__HTMLTAG_230___儀表板___HTMLTAG_231__HTMLTAG_232___3級深入分析___HTMLTAG_233__HTMLTAG_234___Grafana___HTMLTAG_235__HTMLTAG_236___

💡 重點

    ___HTMLTAG_244__HTMLTAG_245___SLO:定義錯誤預算、燃燒速率警報(不只是閾值) ___HTMLTAG_248__HTMLTAG_249___RED 方法:速率、錯誤、每項服務的持續時間 ___HTMLTAG_252__HTMLTAG_253___儀表板層次結構:平台→服務→請求詳細資訊 ___HTMLTAG_256__HTMLTAG_257___儀表板即程式碼:ConfigMap + sidecar 自動設定 ___HTMLTAG_260__HTMLTAG_261___警報路由:嚴重 → PagerDuty,警告 → 鬆弛 ___HTMLTAG_264__HTMLTAG_265___相關性:指標 → 追蹤 → 日誌 = 完整圖片

🎯 練習

練習 1:SLO 設定

  • 為範例服務定義 SLI(可用性 + 延遲)
  • 建立記錄規則+燃燒速率警報
  • 建構錯誤預算儀表板

練習 2:統一儀表板

  • 建立 3 級儀表板層次結構
  • 配置追蹤日誌指標連結__HTMLTAG_288___
  • 模擬事件,使用可觀察性堆疊找出根本原因

📚 下一篇文章

在第36課:RBAC與Pod安全標準中,我們將開始第9節-K8s叢集的安全強化。