Latency
/api/health の応答時間を見ます。p95がしきい値を超える場合は遅延調査へ進みます。
Monitoring
Monitoring
& Alerting
監視
Reliability Demo APIの監視対象、4大シグナル、アラート条件、通知経路、Runbookへのつながりを整理します。 監視対象、4大シグナル、アラート条件、Runbookへの流れを整理します。
Current scope
Latency · Traffic · Errors · Saturation Alert severity / dedupe / runbookGolden Signals
4大シグナル
SRE monitoring
Traffic
リクエスト数やアクセス増加を確認します。急増時はCost Guardrailやrate limit候補と関連付けます。
Errors
/api/health の非200や想定外の5xxを調査対象にします。/api/error の500はデモ挙動として除外します。
Saturation
Worker実行時間、外部依存、リトライ増加、コスト上限接近を負荷の兆候として扱います。
Monitoring Targets
監視対象
Synthetic checks
GET /api/health
Primary uptime target
Availability SLIの中心です。HTTP 200をGood Eventとして扱い、連続失敗時に調査対象にします。
GET /api/status
Service inventory check
サービスの状態、構成、アクティブなエンドポイントを確認する補助チェックです。
GET /api/error
Excluded from uptime target
意図的な500エラーデモです。通常の稼働監視やAvailability計算には含めません。
Alert Rules
アラート条件
Human actionable
Health failure
/api/health が連続して非200を返した場合、可用性低下として調査対象にします。Runbookへ誘導します。
Latency degradation
/api/health の応答がしきい値を継続して超えた場合、遅延調査に進みます。
Deploy workflow failure
Worker deployやpost-deploy production checkが失敗した場合、変更起因の影響を確認します。
Alert Routing
通知経路
Signal to action
- 01Grafana Synthetic
/api/health と /api/status を外形監視します。
- 02Alert rule
失敗や遅延悪化を条件として検知します。
- 03Worker webhook
通知内容をIssue化しやすい形へ整えます。
- 04GitHub Issue
アラートを対応可能な運用タスクとして記録します。
- 05Runbook
確認、切り分け、復旧判断へ進みます。
Dedupe
重複抑制
Noise control
Dedupe key
service + alert_type + environment を重複判定の基本単位にし、同じ未解決Issueがある場合は新規作成より追記を優先します。
Same alert type
health failure、latency degradationなど、同種のアラートは重複Issueを増やさないようにします。
Same open window
未解決の対応中Issueがある場合は、対応履歴として追記・更新し、アラート疲れを避けます。
Evidence Links
関連証跡
Docs
SLO / SLI document
Availability、Latency、Error rate、Alert candidatesを定義しています。
Open documentRunbook
Health failure、Latency investigation、Rollback、Escalationの確認手順です。
Open runbookReliability dashboard
現在のAPI状態、SLO、エンドポイント挙動を確認するページです。
Open dashboard