Menu Fale conosco
Flowbix
ZAgent APM · Zabbix 8.0 + OpenTelemetry
Observabilidade APM · OpenTelemetry (OTLP) → Zabbix

Enxergue
cada requisição.

Do trace distribuído ao deploy que quebrou o SLO: spans, flame graph, service map, APDEX, error budget e logs de 7 serviços em produção — instrumentados com OpenTelemetry e correlacionados no Zabbix 8.0. Uma tela por pilar de observabilidade, sem trocar de ferramenta.

7serviços monitorados
11.819traces na última hora
0,95APDEX global · T = 500 ms
208 msP95 global (amostrado)
5grupos de erro ativos
446ocorrências de erro
4SLOs violados
3,8%taxa de erro global
janela 1 h· 30/07 20:00 → 21:00· amb. prod· amostragem 100%· 3,28 req/s· P50 12,5 ms· P99 870 ms· 11.373 traces ok· 446 com erro· 2 problemas ativos· 10 nós / 15 arestas· 5.000 linhas de log
services · service map · traces · flame graph · erros · SLO & error budget · logs → uma só tela · dados ilustrativos
01 / 13
Z Observabilidade APM/Serviços/SAÚDE (RED)
Serviços Endpoints Service Map Traces Erros SLOs
AO VIVO 20:59 · qua 30/07 janela 1h · prod · loja Zabbix 8.0 · OTLP · sinc. agora
Ambiente prod7 svc staging2 svc
Aplicação loja5 svc · 9.189 faturamento2 svc · 2.630
Janela 1h20:00 → 21:00 24h144.453 req 7d
Método REDrate · err · dur USEcpu · mem · io
Serviços · req/s · erro% pedidos-api1,056,49% pagamento-service0,3112,34% cobranca-service0,243,66% fatura-api0,491,82% auth-service0,610% estoque-service0,310% notificacao-service0,270%
Totais da janela (1h)
11.819
traces
446
erros · 3,77%
3,28
req/s
208,3
P95 ms
Saúde APDEX (T=500ms)
5
ótimo
2
bom
0
ruim
2
alerta
Coleta OpenTelemetryOTLP 100%
APDEX Global
0,95
T=500ms · satisf. 11.033 · 93,3%
tolerante 340 · frustrado 446
Throughput
3,28 req/s
loja 2,55 · faturam. 0,73
11.819 traces · 197 req/min
Error rate
3,77%
446 / 11.819 · ▲ +1,10 pp
0,12 err/s · pico 0,44 @ 20:30
Pior P95
247,8 ms
pedidos-api · P99 345,1 ms
global 208,3 · pico 870 · SLA 500
Serviços
7
5 loja · 2 faturam. · 3 versões
4 com erro · 2 CRIT · 2 WARN
Traces (1h)
11.819
11.373 OK · 446 com erro
amostragem 100% · 12 rotas
Problemas
2
ALTA · OTel 5xx>5% · MTTA 30min
4 SLOs violados · 1h35 em curso

Problemas ativos

2 · severidade ALTA · fonte OTel · 5xx > 5% · janela 1h
OTel · error rate 5xx > 5% em pagamento-service
v3.1.1 ALTA #OTEL-2287
rota GET /cobrar/{item} · deploy 19:25 → alerta 19:55 (MTTA 30 min) · 1.102 traces · gargalo 91,2% do trace · pager acionado 19:55 · exemplar e418ccef
136
req 5xx · HTTP 502 bad gateway
12,34%
erro do serviço · limiar 5,00%
185,0 ms
P95 · P50 103,0 · P99 248,0
966
traces 2xx de 1.102 (87,66%)
14,4×
burn 1h · fast burn > 14× · 6h 6,0×
90,574%
disp. 24h · alvo 99,5% · 1.271 err
OTel · error rate 5xx > 5% em pedidos-api (propagação do 502)
v3.1.0 ALTA #OTEL-2291
rota GET /pedido/{item} · loja · prod · alerta 20:38 (+43 min do 1º) · 3.791 traces · 2 assinaturas de erro (502 136 · RuntimeError 110)
246
req 5xx/5xx · 502 136 · 500 110
6,49%
erro do serviço · limiar 5,00%
247,8 ms
P95 · P50 13,2 · P99 345,1
3.545
traces 2xx de 3.791 (93,51%)
0,88
APDEX · era 0,98 · Δ −0,10
94,342%
disp. 24h · alvo 99,9% · 2.618 err
Impacto
do
incidente
382
req 5xx dos 2 alertas · 446 na janela
4 / 7
serviços com erro · 2 crit · 2 warn
3,77%
error rate global · 446 / 11.819
1h35
em curso · desde 19:25 · SLA 30 min
ESGOTADO
budget pagto · 1.271 / 13.478 (24h)
0,44
pico err/s @ 20:30 · média 0,12
Não-ativos
suprimidos 3 manutenção 1 · staging reconhecidos 2 auto-resolv. 5 · 24h flapping 0 ruído filtr. 62% MTTA 19 min

Correlação do incidente · deploy → 5xx → propagação

19:25 → 21:00 · 5 marcos · 336 × 502 + 110 × RuntimeError
19:25deploy v3.1.1
rollout 100% · 2 vCPU
19:55alerta 5xx pagamento
12,34% · P95 185 ms
20:30pico 0,44 err/s
336 × 502 acumulados
20:38alerta 5xx pedidos
6,49% · /pedido/{item}
21:00agora · 1h35 em curso
446 erros · 2 ativos

Serviços · método RED

rate · errors · duration · 7 serviços + 3 agregados · APDEX T=500 ms
ServiçoVersãoReq/sTracesErros Erro%P50P95P99APDEX Req/s 1hBudgetSLO 24h
pedidos-apiv3.1.01,053.7912466,49%13,2247,8345,10,880%VIOLADO 94,342%
auth-servicev3.1.00,612.20700%1,4710,618,20,99100%OK 100%
fatura-apiv1.2.00,491.755321,82%36,5100,8171,80,970%VIOLADO 97,894%
estoque-servicev3.1.00,311.10800%34,563,085,00,98100%OK 100%
pagamento-servicev3.1.10,311.10213612,34%103,0185,0248,00,850%VIOLADO 90,574%
notificacao-servicev3.1.00,2798100%14,026,738,80,99100%OK 100%
cobranca-servicev1.2.00,24875323,66%29,944,857,70,960%VIOLADO 95,780%
Σ loja (5 svc)v3.1.0/12,559.1893824,16%13,8247,8345,10,940%3 violados · 2 OK
Σ faturamento (2 svc)v1.2.00,732.630642,43%34,3100,8171,80,970%2 violados · 0 OK
Σ TOTAL · 7 serviços3 versões3,2811.8194463,77%12,5208,38700,950%4 violados · 3 OK
4 SLOs violados · 3 OK · 0 em risco · heat 0% → 12,34% Σ 11.819 = 9.189 + 2.630 traces · Σ 446 = 382 + 64 erros · 24h: 144.453 req / 4.790 err

Tráfego × Erros

req/s 3,28 · err/s 0,12 · pico 0,44 · Σ 446
4,03,02,01,00
pico 0,44 err/s · 20:30 · 3,7× a média
0,500,380,250,130
20:0020:1020:2020:3020:4020:5021:00
req/s esq. · méd 3,28 · 3,19–3,41 err/s dir. · méd 0,12 · pico 0,44 21 pts × 3 min · limiar 5,00% · Σ 446

Tempo de execução por camada

54,27 ms / req · 2,54 spans OTel por req · 4 camadas
web · 50,37 ms · 92,81%
CamadaTempo/req% tempoChamadas 1hCham./reqP95 do spanServiços
web · http.server50,37 ms92,81%11.8191,00208,3 ms7
db · postgres1,86 ms3,43%4.3420,374,2 ms2
internal · app1,16 ms2,14%11.8191,003,1 ms7
cache · redis0,88 ms1,62%1.9800,170,9 ms1
Σ por requisição54,27 ms100,00%29.9602,54208,3 ms10 nós
fora do web 3,90 ms (7,19%): db 1,86 · int 1,16 · cache 0,88 exemplar 0ecf2e3e · 13 spans · 104,27 ms · 6 serviços

Distribuição de latência P95

7 séries · escala log 5 → 1000 ms · SLA 500 ms
12,5 ms
P50 global
208,3 ms
P95 global
870 ms
P99 global
93,3%
≤ 500 ms · 11.033
2,9%
500 ms – 2 s · 340
3,8%
> 2 s ou erro · 446
1000500250 1005025 105
SLA 500 ms · APDEX T
P95 global 208,3 ms
870 ms @ 20:30 · pedidos-api · 174% do SLA
20:0020:1020:2020:3020:4020:5021:00
pedidos-api 247,8 · 49,6% pagamento 185,0 · 37,0% fatura-api 100,8 · 20,2% estoque 63,0 · 12,6% cobranca 44,8 · 9,0% notificacao 26,7 · 5,3% auth-service 10,6 · 2,1% SLA 500 ms · 21 pts/série
Saúde dos Serviços · método RED · 7 serviços · 3,28 req/s · 11.819 traces · error rate 3,77% (446) · APDEX 0,95 (T=500 ms) · P95 208,3 ms · 2 problemas ALTA · 4 SLOs violados · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora03 / 13
Z Observabilidade APM/Serviços/MAPA DE SERVIÇOS
Serviços Endpoints Service Map Traces Erros SLOs
AO VIVO 20:59 · qua 30/07 topologia · janela 1h · prod · loja + faturamento Zabbix 8.0 · OTLP · sinc. agora
Nós no mapa
10
7 serviços · 1 borda · 2 infra · 4 camadas
Arestas OTel
15
3 borda · 4 app→app · 8 app→infra
Fluxo da malha
7,35 /s
26.449 spans/h · Σ req 3,28/s
Arestas críticas
2
▲ 5xx > 5% · 13,3% da malha · 382 erros
Maior aresta
1,22 /s
auth→loja (db) · 4.392 spans/h · 16,6%
Pior aresta
12,34%
pedidos→pagamento v3.1.1 · 136 erros

Mapa de serviços · topologia em 4 camadas

10 nós · 15 arestas · 2 críticas · profundidade máx 3 saltos · rótulo = hits/s · derivado de spans OTLP · 26.449 spans/h
L0 · Borda · 1 · 2,08/s L1 · Serviços de borda · 3 · 4,20/s L2 · Serviços internos · 4 · 1,07/s L3 · Infra · 2 · 4,23/s
1,05/s6,49% · 248ms
0,61/s0% · 10,6ms
0,42/s1,82% · 100,8ms
0,31/s0% · 63,0ms
0,31/s12,34% · 185ms
0,18/s0% · 26,7ms
0,24/s3,66% · 44,8ms
0,31/s · 2,1ms
0,90/s · 1,8ms
0,31/s · 2,4ms
1,22/s · 1,2ms
0,55/s · 0,4ms
0,18/s · 1,9ms
0,49/s · 3,0ms
0,27/s · 0,5ms
userborda
2,08/s · 3 rotas
7.510 spans/h
err 3,70%
pedidos-apiv3.1.0
1,05/s · err 6,49%
P95 247,8 · P99 345,1
3.791 tr · 5 arestas ↗
auth-servicev3.1.0
0,61/s · err 0%
P95 10,6 · P99 18,2
2.207 tr · 1 aresta ↗
fatura-apiv1.2.0
0,49/s · err 1,82%
P95 100,8 · P99 171,8
1.755 tr · 2 arestas ↗
estoque-servicev3.1.0
0,31/s · err 0% · 1.108 tr
P95 63,0 · P99 85,0 · 1 ↗
pagamento-servicev3.1.1
0,31/s · err 12,34% · 1.102 tr
P95 185,0 · P99 248,0 · 1 ↗
cobranca-servicev1.2.0
0,24/s · err 3,66% · 875 tr
P95 44,8 · P99 57,7 · 1 ↗
notificacao-servicev3.1.0
0,27/s · err 0% · 981 tr
P95 26,7 · P99 38,8 · 1 ↗
lojadb
3,41/s agregado
6 arestas ↙ in
12.245 spans/h
P95 3,0 ms · 0%
1,7% do trace
rediscache
0,82/s agregado
2 arestas ↙ in
2.961 spans/h
P95 0,5 ms · 0%
0,2% do trace
Σ arestas 7,35/s = borda 2,08/s (3) + app→app 1,04/s (4) + app→infra 4,23/s (8) · 26.449 spans/h 2 arestas críticas tracejadas (5xx > 5%) · 382 de 446 erros/1h · 4 nós afetados de 10 · janela 20:00→21:00

Arestas · fluxo par-a-par (15)

ordenado por hits/s · 2 críticas · Σ 7,35/s · 26.449 spans/h · 446 erros · janela 1h · prod
15
arestas mapeadas
7,35
hits/s Σ malha
26.449
spans/h Σ
446
erros/1h
1,69%
err% da malha
2
críticas 5xx>5%
Aresta (origem → destino)SaltoFluxohits/serr%errosP95 msspans/h% malha
auth-service→loja (db)L1→L3
1,220%01,24.39216,6%
user→pedidos-apiL0→L1
1,056,49%246247,83.79114,3%
pedidos-api→loja (db)L1→L3
0,900%01,83.24012,2%
user→auth-serviceL0→L1
0,610%010,62.2078,3%
pedidos-api→redis (cache)L1→L3
0,550%00,41.9807,5%
fatura-api→loja (db)L1→L3
0,490%03,01.7556,7%
user→fatura-apiL0→L1
0,421,82%32100,81.5125,7%
pedidos-api→pagamento-serviceL1→L2
0,3112,34%136185,01.1024,2%
Aresta (origem → destino)SaltoFluxohits/serr%errosP95 msspans/h% malha
pedidos-api→estoque-serviceL1→L2
0,310%063,01.1084,2%
pagamento-service→loja (db)L2→L3
0,310%02,41.1024,2%
estoque-service→loja (db)L2→L3
0,310%02,11.1084,2%
notificacao-service→redisL2→L3
0,270%00,59813,7%
fatura-api→cobranca-serviceL1→L2
0,243,66%3244,88753,3%
pedidos-api→notificacao-serviceL1→L2
0,180%026,76482,4%
cobranca-service→loja (db)L2→L3
0,180%01,96482,4%
Σ 15 arestas·10 nósL0→L3
7,351,69%446208,326.449100%

Caminho crítico do 502

trace 0ecf2e3e · 104,27 ms
SaltoTipotempo% tracespans
user rootweb0,00 ms—1
pedidos-api selfinternal3,50 ms3,4%3
↳ redis GETcache0,22 msincl.1
estoque-serviceweb3,90 ms3,7%1
↳ notificacaoweb0,90 msincl.1
pagamento-serviceweb95,10 ms91,2%4
loja (db)db1,77 ms1,7%2
Σ 104,27 ms · 13 spans · 100,0% 5 spans 502 · L0–L3 · 6 svc

Nós por hits/s

10 nós · ranqueado · 1h
NóFluxo/serr%P95 msspans
loja db
3,410%3,012.245
user borda
2,083,70%2487.510
pedidos-api
1,056,49%247,83.791
redis cache
0,820%0,52.961
auth-service
0,610%10,62.207
fatura-api
0,491,82%100,81.755
estoque-service
0,310%63,01.108
pagamento-service
0,3112,34%185,01.102
notificacao-service
0,270%26,7981
cobranca-service
0,243,66%44,8875
Σ serviços 3,28/s · infra 4,23/s · borda 2,08/s heat 0% → 12,34%

Camadas da malha

saídas por camada · 1h
Camadanósarestashits/serr%spans/h
L0 borda1↗ 32,083,70%7.510
L1 svc borda3↗ 84,201,11%15.100
L2 svc interno4↗ 41,070%3.839
L3 infra2↙ 84,230%15.206
Σ malha saídas10157,351,69%26.449
OK 0% · 3 svc WARN ≤5% · 2 svc CRIT >5% · 2 svc infra · 2 nós normal · 13 crítica · 2
Mapa de Serviços · topologia OTel em 4 camadas · 10 nós · 15 arestas · 7,35 hits/s · 26.449 spans/h · 2 arestas críticas (5xx>5%) · 446 erros/1h (1,69%) · gargalo pagamento-service 91,2% · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora04 / 13
Z Observabilidade APM/Endpoints/12 ROTAS
Serviços Endpoints Service Map Traces Erros SLOs
AO VIVO 20:59 · qua 30/07 janela 1h · prod · 2 apps Zabbix 8.0 · OTLP · sinc. agora
Endpoints
12
4 parametrizadas · 8 estáticas · 7 serviços
Throughput
3,28 req/s
11.819 traces/h · 197 req/min
Pior P95
328 ms
GET /pedido/{item} · P99 470 ms
Pior err% real
12,34%
/cobrar/{item} · /erro 100% sintética
Mais chamado
2.207 hits
GET /valida · 18,7% · 0,61 req/s
Com erro
5 / 12
446 ocorr. · 502 336 · exc. 110

Endpoints monitorados · http.server.request

12 rotas · ordenado por tempo total · latência em ms · janela 1h · prod
12
endpoints
11.819
requests 1h
446
com erro
3,77%
error rate
328 ms
pior P95
10 ms
melhor P95
8,7 min
tempo total
5
rotas 5xx
Endpoint Serviço Ver. Requests req/s % tot. Tempo tot. P50 P95 P99 Tend. P95 · 5 min
20:0020:3021:00
 Erros Err% APDEX SLO 24h
GET/pedido/{item}pedidos-apiv3.1.0
1.103
0,319,3%3,6 min38328470
412
13612,33%0,8894,34%
GET/cobrar/{item}pagamentov3.1.1
1.102
0,319,3%2,0 min88184248
231
13612,34%0,8890,57%
GET/fatura/{cliente}fatura-apiv1.2.0
875
0,247,4%1,0 min41122172
158
323,66%0,9697,89%
GET/reserva/{item}estoquev3.1.0
1.108
0,319,4%40 s356385
79
00%1,00100%
GET/cobrarcobrancav1.2.0
875
0,247,4%26,4 s304558
54
323,66%0,9695,78%
GET/pedidospedidos-apiv3.1.0
1.103
0,319,3%21,6 s124768
61
00%1,0094,34%
GET/enviarnotificacaov3.1.0
981
0,278,3%14,3 s142739
36
00%1,00100%
GET/faturasfatura-apiv1.2.0
880
0,247,4%10,3 s93255
48
00%1,0097,89%
GET/validaauth-servicev3.1.0
2.207
0,6118,7%6,0 s1,51118
16
00%1,00100%
GET/trabalhopedidos-apiv3.1.0
375
0,103,2%4,4 s81724
22
00%1,0094,34%
GET/pedidos-apiv3.1.0
1.100
0,319,3%4,1 s41014
13
00%1,0094,34%
GET/erropedidos-apiv3.1.0
110
0,030,9%555 ms41724
21
110100%0,0094,34%

Distribuição de requests por serviço

Σ 11.819 requests · 7 serviços · 12 rotas · 2 apps · 3,28 req/s
Serviço App Ver. Rotas Traces Participação % req/s Erros Err% P50 P95 P99 APDEX SLO 24h
pedidos-apilojav3.1.053.791
32,1%1,052466,49%13,2247,8345,10,8894,34%
auth-servicelojav3.1.012.207
18,7%0,6100%1,4710,618,20,99100%
fatura-apifaturamentov1.2.021.755
14,8%0,49321,82%36,5100,8171,80,9797,89%
estoque-servicelojav3.1.011.108
9,4%0,3100%34,563,085,00,98100%
pagamento-servicelojav3.1.111.102
9,3%0,3113612,34%103,0185,0248,00,8590,57%
notificacao-servicelojav3.1.01981
8,3%0,2700%14,026,738,80,99100%
cobranca-servicefaturamentov1.2.01875
7,4%0,24323,66%29,944,857,70,9695,78%
Σ 7 serviços2 apps3 versões1211.8194 serviços com 5xx · 3 limpos100%3,284463,77%12,5208,38700,9596,68%
Composição por status HTTP · Σ 11.819 respostas · amostragem 100%4xx 0 · timeouts 0 · retries 0
2xx OK · 11.373 respostas · 96,23%
2xx OK 11.373 · 96,23% 502 Bad Gateway 336 · 2,84% · 4 rotas 500 RuntimeError 110 · 0,93% · 1 rota err/s média 0,12 · pico 0,44 @ 20:30
barra = requests · segmento vermelho = 5xx · pico = maior P95 dos 12 buckets de 5 min APDEX rota = (req − erros)/req · T 500 ms · SLO 24h = disp. do serviço dono

Top 5 · latência P50→P95→P99

SLA 500 ms · cauda em /pedido/{item}
328 ms
P95 máx
122 ms
mediana top-5
470 ms
P99 máx
0 / 12
acima do SLA
Rota 0100200300400500 ms P95
GET /pedido/{item}
328 ms
P50 38 · P95 328 · P99 4701.103 req · 136 err · APDEX 0,88pedidos-api v3.1.0
GET /cobrar/{item}
184 ms
P50 88 · P95 184 · P99 2481.102 req · 136 err · APDEX 0,88pagamento v3.1.1
GET /fatura/{cliente}
122 ms
P50 41 · P95 122 · P99 172875 req · 32 err · APDEX 0,96fatura-api v1.2.0
GET /reserva/{item}
63 ms
P50 35 · P95 63 · P99 851.108 req · 0 err · APDEX 1,00estoque v3.1.0
GET /pedidos
47 ms
P50 12 · P95 47 · P99 681.103 req · 0 err · APDEX 1,00pedidos-api v3.1.0
Demais 7 rotas · P95 em msfaixa 10 → 45 ms · todas < 10% do SLA
GET /cobrar45 GET /trabalho17 GET /faturas32 GET /erro17 GET /enviar27 GET /valida11 GET /10 mediana das 1238,5
P50 global 12,5 · P95 208,3 · P99 870 ms · amostragem 100% SLA 500 ms · 0 rotas acima

Top 5 · erros por endpoint

5 rotas de 12 · 446 ocorr. · faixa = bucket de 5 min
336
HTTP 502 · 75,3%
110
RuntimeError · 24,7%
4 / 7
serviços afetados
5 / 12
rotas com erro
GET /pedido/{item}
13612,33%
HTTP 502 · pedidos-api v3.1.01ª 19:25 → últ. 21:0030,5% de 446 · trace e418ccef
GET /cobrar/{item}
13612,34%
HTTP 502 · pagamento v3.1.11ª 19:25 → últ. 21:0030,5% de 446 · trace e418ccef
GET /erro
110100%
RuntimeError · main.py:1361ª 20:11 → últ. 21:0024,7% de 446 · trace d2678bd5
GET /fatura/{cliente}
323,66%
HTTP 502 · fatura-api v1.2.01ª 15:03 → últ. 21:007,2% de 446 · trace ec6080ce
GET /cobrar
323,66%
HTTP 502 · cobranca v1.2.01ª 15:03 → últ. 21:007,2% de 446 · trace ec6080ce
Erros por serviço · 4 de 7 afetados · 5 assinaturas · 2 tiposΣ 446 · 100% · 5 rotas
pedidos-api
24655,2%2 rotas6,49%P95 247,8 ms · v3.1.0
pagamento-service
13630,5%1 rota12,34%P95 185,0 ms · v3.1.1
fatura-api
327,2%1 rota1,82%P95 100,8 ms · v1.2.0
cobranca-service
327,2%1 rota3,66%P95 44,8 ms · v1.2.0
502 propaga pagamento → pedidos-api · dep. 12,34% err/s média 0,12 · pico 0,44 @ 20:30
Endpoints · http.server.request · 12 rotas · 7 serviços · 11.819 requests/h · 3,28 req/s · pior P95 328 ms (/pedido/{item}) · 5 rotas com erro · 446 ocorrências (502 336 · exceção 110) · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora05 / 13
Z Observabilidade APM/Traces/GET /pedido/{item} · 502
Waterfall Flame Graph Span List Map
AO VIVO 20:59 · qua 30/07 trace 0ecf2e3e · 13 spans · 6 svc amostragem 100%
Trace
0ecf2e3e
GET /pedido/{item} · root pedidos-api v3.1.0
Status HTTP
502
Bad Gateway · 5 de 13 spans · 3 retries
Duração
104,27 ms
self root 0,30 ms · P95 rota 328 · P99 470
Spans
13
L0–L3 · web 5 · cache 3 · db 2 · int 3
Gargalo
91,2 %
pagamento-service 95,10 ms · 4 spans
Serviços
6
2 em erro (502) · 4 apps · 1 db · 1 cache
Trace irmão (OK)
b0f3551f
GET /pedidos · 200 · 9 spans · 6,42 ms · 16,2× +rápido

Waterfall · árvore de chamada do trace 0ecf2e3e

13 spans · L0–L3 · 5 spans 502 · base 104,27 ms · Σ self 104,27 ms
span · operaçãoserviçoinícioduração self% selfhttp
013263952657891104,27 ms
GET /pedido/{item}
pedidos-api
0,00
104,27
0,30
0,3%
502
└GET pedido:9137
redis (cache)
0,04
0,08
0,08
0,1%
MISS
└GET /reserva/{item}
estoque-service
0,16
4,83
3,90
3,7%
200
└SELECT estoque
loja (db)
0,88
0,93
0,93
0,9%
200
└SETNX lock:pedido
redis (cache)
5,03
0,06
0,06
0,1%
OK
└POST /cobrar/{item}
pagamento v3.1.1
5,13
95,94
0,78
0,7%
502
└SELECT cobrancas
loja (db)
5,44
0,84
0,84
0,8%
200
└POST gateway/v2/charge
pagamento v3.1.1
6,52
94,32
94,14
90,3%
502
└http.send
pagamento v3.1.1
6,58
0,05
0,05
0,0%
—
└raise RuntimeError
pagamento v3.1.1
100,71
0,13
0,13
0,1%
ERR
└DEL lock:pedido
redis (cache)
101,11
0,08
0,08
0,1%
OK
└POST /enviar
notificacao-svc
101,23
0,90
0,90
0,9%
200
└serializar_resposta
pedidos-api
102,19
2,08
2,08
2,0%
502
web 5 · 100,02 ms cache 3 · 0,22 ms db 2 · 1,77 ms internal 3 · 2,26 ms ■ 5 spans 502 · 3 retries caminho crítico 5,13 → 6,52 → 100,71 ms Σ self 104,27 ms = 100,0%

Flame Graph

4 níveis · 13 spans · pagamento 91,2%
L0
GET /pedido/{item} · 104,27 ms · 502 · 13 spans
L1
POST /cobrar/{item} · 95,94 ms · 502 · 4 spans
L2
POST gateway/v2/charge · 94,32 ms · self 94,14 ms
L3
026,152,178,2104,27 ms
pagamento 4 sp95,10 ms · 91,2% estoque 1 sp3,90 ms · 3,7% pedidos-api 2 sp3,50 ms · 3,4% loja (db) 2 sp1,77 ms · 1,7% redis 3 sp0,22 ms · ∈ ped notificação 1 sp0,90 ms · ∈ ped
Self-time por camadaΣ 13 spans · 104,27 ms · 100,00%
nívelspanswall msself ms% selfpeso
L01104,270,300,29%
L17103,977,887,56%
L2396,0995,9191,98%
L320,180,180,17%
Top 6 spans por self-time102,79 ms = 98,6% do trace
#spanserviçoself%dur
1POST gateway/v2/chargepagamento94,1490,3%94,32
2GET /reserva/{item}estoque3,903,7%4,83
3serializar_respostapedidos-api2,082,0%2,08
4SELECT estoqueloja (db)0,930,9%0,93
5POST /enviarnotificação0,900,9%0,90
6SELECT cobrancasloja (db)0,840,8%0,84

Atributos do span

CLIENT · ERROR · 22 attrs
POST gateway/v2/chargeL2 · 94,32 ms · self 94,14 ms
span.id7c41a9d2e0b3
parent.id3f88b1ce4a07
span.kindCLIENT
otel.statusERROR
http.methodPOST
http.route/cobrar/{item}
http.status502
http.target/v2/charge/9137
peer.namegw-pay.svc
peer.port8443
sock.addr10.42.7.19
http.flavor1.1
req.body412 B
resp.body168 B
retry.count3
timeout30.000 ms
Resource & SDK6 attrs · OTLP/gRPC 4317
servicepagamento-svc
version3.1.1
envprod
host.namenode-app-03
pid1842
otel.sdkpython 1.27.0

Eventos & exceção

5 eventos · 1 exception
Eventos do spanoffset do início do trace
6,58 msrequest.starttentativa 1 · conn reusada · pool 8/16
36,90 mshttp.retrytentativa 2 · backoff 250 ms · 502
68,44 mshttp.retrytentativa 3 · backoff 500 ms · 502
100,71 msexceptionRuntimeError · escaped=true · main.py:136
100,84 mshttp.response502 · 168 B · duração 94,32 ms
exception.stacktrace4 quadros · CPython 3.11.9
File "app/main.py", line 136, in cobrar_item   resp = gw.charge(item=9137, valor=249.90) File "app/gateway.py", line 84, in charge RuntimeError: falha simulada no pagamento
Tentativas HTTP ao gatewayΣ 94,13 ms · 3 de 3 falharam
16,58 ms30,32 ms502 · upstream_timeout
236,90 ms31,54 ms502 · upstream_timeout
368,44 ms32,27 ms502 · connection_reset

I/O e correlação

2 SQL · 3 redis · 2 logs
Queries SQL (2 spans)postgresql · loja · 1,77 ms · 1,7%
db.statementlinhasms%
SELECT id,saldo FROM estoque WHERE item=$110,930,9%
SELECT * FROM cobrancas WHERE cliente=$1140,840,8%
Cache redis (3 spans)0,22 ms · hit-ratio 0/1
GET pedido:9137MISS0,080,1%
SETNX lock:pedido:9137OK0,060,1%
DEL lock:pedido:9137OK0,080,1%
Logs correlacionados (2)por trace_id · 2 de 5.000
ERROR20:59:04.098+100,71 mspagamento-service
RuntimeError: falha simulada no pagamento (main.py:136)
INFO20:59:04.099+101,23 msnotificacao-service
Notificação enfileirada: pedido teclado x1 · id 9137
Span links & baggageW3C tracecontext
linktrace ec6080ce · cobranca-service v1.2.0 · 502 · 32 ocorr.
baggagetenant=loja · canal=web · pedido=9137 · tier=2

Distribuição de execução

self-time · 104,27 ms
91,2%PAGAMENTO95,10 ms
pagamento-service95,1091,2%4 sp estoque-service3,903,7%1 sp pedidos-api3,503,4%2 sp loja (db)1,771,7%2 sp redis (cache)0,22∈ ped3 sp notificacao-svc0,90∈ ped1 sp
Σ 104,27 ms = 100,0% · ped 3,50 = 2,38 cód + 0,22 redis + 0,90 notif
Comparativo com o trace irmão0ecf2e3e · 502  vs  b0f3551f · 200
métrica0ecf2e3eb0f3551fΔ
duração total104,27 ms6,42 ms16,2×
spans139+4
serviços64+2
profundidadeL0–L3L0–L2+1
spans em erro50+5
tempo em db1,77 ms3,64 ms−1,87
P50 / P95 rota38 / 32812 / 477,0×
Trace distribuído · GET /pedido/{item} · 502 Bad Gateway · 104,27 ms · 13 spans em 6 serviços (L0–L3) · gargalo pagamento-service v3.1.1 com 95,10 ms (91,2%) · 3 tentativas ao gateway · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora06 / 13
Z Observabilidade APM/Traces/TRACES & APDEX
Traces Serviços Erros
amostragem 100% 7 svc · 12 rotas AO VIVO 20:59 · qua 30/07 janela 1h · prod · loja Zabbix 8.0 · OTLP · sinc. agora
APDEX
0,95
T = 500ms · sat 11.033 · tol 340 · fru 446
P50 mediana
12,5 ms
5.910 traces ≤ 12,5ms · 50%
P95
208,3 ms
591 traces acima · 5,00%
P99 cauda
870 ms
▲ 118 traces acima · 1,00%
Throughput
3,28 req/s
11.819 traces / 1h · 197 tr/min
Error rate
3,77%
446 traces · 0,12 err/s · pico 0,44
Traces (1h)
11.819
Ok 11.373 (96,23%) · Erro 446

Duração dos traces

log Y 0,1ms–1s · 11.819 pontos · 20:00→21:00 · exemplars linkam trace
11.819
Total · amostra 100%
11.373
Ok · 96,23%
446
Erro · 3,77%
208,3ms
P95 · 591 acima
870ms
P99 · 118 acima
1s300ms100ms30ms10ms3ms1ms0,3ms0,1ms
P99 870ms · 118 acima
T APDEX 500ms · 406 acima (340 tol + 66 err)
P95 208,3ms · 591 acima
P50 12,5ms · 5.910 abaixo
20:0020:1520:3020:4521:00
Ok 11.373 · 96,23%Erro 446 · 3,77% pico 0,44 err/s @ 20:30 · 3 exemplars · P50 12,5 / P95 208,3 / P99 870ms
Traces por serviço · http.server.request · nome / traces / erros / err% / P95Σ 11.819 · erros 446
pedidos-api
3.7912466,49%247,8
auth-service
2.20700%10,6
fatura-api
1.755321,82%100,8
estoque-service
1.10800%63,0
pagamento-service
1.10213612,34%185,0
notificacao-service
98100%26,7
cobranca-service
875323,66%44,8
Σ 7 serviços
11.8194463,77%208,3

Distribuição

16 buckets · 11.819
2.180
Moda 2–5ms · 18,4%
12,5ms
Mediana P50
406
Acima de 500ms
2.2001.6501.1005500
P50 12,5
P95 208,3
T 500
P99 870
0,4ms2ms10ms35ms75ms150ms400ms>1s
Buckets · 1–5ms = 3.822 (32,34%)Σ 11.819 · 100%
0,4–1ms
3182,69%
75–100ms
5084,30%
1–2ms
1.64213,89%
100–150ms
6075,14%
2–5ms
2.18018,44%
150–250ms
2201,86%
5–10ms
1.29510,96%
250–400ms
620,52%
10–20ms
1.89816,06%
400–500ms
310,26%
20–35ms
1.1049,34%
500–700ms
1871,58%
35–50ms
8427,12%
700ms–1s
1781,51%
50–75ms
7065,97%
> 1s
410,35%
≤10ms 5.435 (45,99%) · ≤100ms 10.493 (88,78%)≤500ms 11.413 · 96,56%

APDEX

T=500ms · 0,95 · 11.819 traces
0,95T = 500ms
Satisfeito ≤500ms · 11.033 · 93,3% Tolerante 500ms–2s · 340 · 2,9% Frustrado >2s / erro · 446 · 3,8% (11.033 + 340/2) / 11.819 = 0,9479 → 0,95
APDEX por serviço · janela 1hpior 0,85 · melhor 0,99
ServiçoAPDEXNívelTracesErrosErr%P95
pagamento-service0,85
1.10213612,34%185,0
pedidos-api0,88
3.7912466,49%247,8
cobranca-service0,96
875323,66%44,8
fatura-api0,97
1.755321,82%100,8
estoque-service0,98
1.10800%63,0
auth-service0,99
2.20700%10,6
notificacao-service0,99
98100%26,7
Σ 7 serviços0,95
11.8194463,77%208,3
4 serviços com erro · 3 limposAPDEX alvo ≥ 0,94 · 2 abaixo

Traces recentes

15 traces · 117 spans · 6 de 7 serviços · self-time e Δ vs P95 da rota · amostragem 100%
Trace IDServiço raizOperaçãoStatusSpansSvcProf.DuraçãoSelfP95 rotaΔ P95PerfilErroInício
b0f3551f…pedidos-apiGET /pedidos20093L26,42ms0,41ms47ms−86%
—20:59:04
0ecf2e3e…pedidos-apiGET /pedido/{item}502136L3104,27ms0,30ms328ms−68%
HTTP 50220:59:01
5624f009…pedidos-apiGET /20031L10,60ms0,22ms10ms−94%
—20:58:57
35861e44…fatura-apiGET /faturas20062L29,00ms0,64ms32ms−72%
—20:58:52
8483e4ba…fatura-apiGET /fatura/{cliente}20093L255,91ms1,12ms122ms−54%
—20:58:44
2ffc2402…pedidos-apiGET /erro50031L14,10ms3,80ms17ms−76%
RuntimeError20:58:39
90d9e7d6…pedidos-apiGET /pedidos200113L217,79ms0,55ms47ms−62%
—20:58:31
f2e8f699…pedidos-apiGET /pedido/{item}200266L3207,56ms0,48ms328ms−37%
— (P95)20:58:22
e418ccef…pagamento-serviceGET /cobrar/{item}50273L296,84ms0,36ms184ms−47%
HTTP 50220:58:15
49210933…fatura-apiGET /faturas20062L214,68ms0,58ms32ms−54%
—20:58:10
7c1a4d02…auth-serviceGET /valida20021L11,47ms1,10ms11ms−87%
—20:58:03
a35f7b18…estoque-serviceGET /reserva/{item}20042L134,50ms0,72ms63ms−45%
—20:57:58
96d43524…fatura-apiGET /fatura/{cliente}20093L278,05ms1,04ms122ms−36%
—20:57:49
c9b2e740…notificacao-serviceGET /enviar20042L114,02ms0,88ms27ms−48%
—20:57:41
3fa9c1d7…pedidos-apiGET /trabalho20052L28,31ms0,66ms17ms−51%
—20:57:32
15 de 11.819 · 3 com erro (2× 502 · 1× 500) · 117 spans · mediana 14,68ms · self médio 0,86ms · pior 207,56ms perfil = duração relativa (máx 207,56ms) · exemplars ligam scatter ↔ trace · 20:57:32 → 20:59:04

Percentis

P50 · P95 · P99 · 0–1s
12,5ms
P50 · 5.910
208,3ms
P95 · 591
870ms
P99 · 118
1s7505002500
20:0020:1520:3020:4521:00
P99 870ms P95 208,3ms P50 12,5ms ● 3 exemplars
Percentis por rota · top 5 de 12pico P99 920ms @ 20:30
RotaReqP50P95P99Erros
GET /pedido/{item}1.10338328470136
GET /cobrar/{item}1.10288184248136
GET /fatura/{cliente}8754112217232
GET /reserva/{item}1.1083563850
GET /pedidos1.1031247680
Traces & APDEX · 11.819 traces/h · APDEX 0,95 (T=500ms) · sat 11.033 / tol 340 / fru 446 · P50 12,5ms · P95 208,3ms · P99 870ms · error rate 3,77% (446) · 7 serviços · 12 rotas · amostragem 100% · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora07 / 13
Z Observabilidade APM/Erros/ERROS & EXCEÇÕES
Traces Serviços Erros
agrupado por assinatura AO VIVO 20:59 · qua 30/07 janela 1h · 7 serviços · 12 rotas Zabbix 8.0 · OTLP · sinc. agora
Grupos de erro
5
4 serviços · 2 tipos · 5 rotas
Ocorrências
446
▲ 3,77% de 11.819 traces
HTTP 502
336
75,3% · 4 rotas · 4 serviços
RuntimeError
110
24,7% · main.py:136 · GET /erro
Serviços afetados
4 / 7
pedidos 246 · pagamento 136
Pico de erro
26 /min
0,44 err/s @ 20:30 · méd. 7,43
Deploy suspeito
v3.1.1
19:25 · 5xx 12,34% · MTTA 30 min

Erros por serviço

446 ocorr. · 1h
446
ocorrências
3,77%
error rate
4/7
serviços
15:03
1ª ocorrência
446ERROS · 1H3,77% err
pedidos-api24655,2%
pagamento-service13630,5%
cobranca-service327,2%
fatura-api327,2%
Σ 4 de 7 serviços446100%
ServiçoOcorr.%502R.ErrErr%P95 ms
pedidos-api24655,2%1361106,49%247,8
pagamento-service13630,5%136012,34%185,0
cobranca-service327,2%3203,66%44,8
fatura-api327,2%3201,82%100,8
Σ 4 serviços446100%3361103,77%208,3

Erros no tempo · por serviço

err/min · pico 26/min @ 20:30
26
pico err/min
7,43
média err/min
0,44
pico err/s
20:11
entra RuntimeError
271890
20:11 · RuntimeError +110
20:38 · alerta pedidos-api 6,49%
pico 26/min · 0,44 err/s · 20:30
20:0020:1020:2020:3020:4020:5021:00
pedidos-api 246 pagamento-service 136 cobranca-service 32 fatura-api 32 Σ 446
Erros por bucket de 5 minΣ 446 · média 37,2 · máx 52 @ 20:30
26
28
31
33
36
40
52
44
41
39
38
38
20:0020:0520:1020:1520:2020:2520:3020:3520:4020:4520:5020:55

Erros por rota · http.server.request

5 de 12 rotas com erro · 446 / 11.819 req · 3,77%
RotaServiçoTipoReqErrosErr% VolumeP50P95P99Tempo tot.
GET /pedido/{item}pedidos-api5021.10313612,33%
383284703,6 min
GET /cobrar/{item}pagamento-service5021.10213612,34%
881842482,0 min
GET /erropedidos-api500110110100%
41724555 ms
GET /fatura/{cliente}fatura-api502875323,66%
411221721,0 min
GET /cobrarcobranca-service502875323,66%
30455826,4 s
GET /reserva/{item}estoque-serviceOK1.10800%
35638540 s
GET /pedidospedidos-apiOK1.10300%
12476821,6 s
GET /enviarnotificacao-serviceOK98100%
14273914,3 s
GET /faturasfatura-apiOK88000%
9325510,3 s
GET /validaauth-serviceOK2.20700%
1,511186,0 s
GET /trabalhopedidos-apiOK37500%
817244,4 s
GET /pedidos-apiOK1.10000%
410144,1 s
Σ 12 rotas7 serviços5 c/ erro11.8194463,77%
12,5208,38708,7 min

Stack trace · RuntimeError

110 · 2,24/min · d2678bd5
Traceback (most recent call last): File "uvicorn/protocols/http/h11_impl.py", line 435, in run_asgi result = await app(self.scope, self.receive, self.send) File "starlette/middleware/errors.py", line 164, in __call__ await self.app(scope, receive, _send) File "otel/instrumentation/asgi.py", line 573, in __call__ await self.app(scope, otel_receive, otel_send) File "fastapi/routing.py", line 299, in app raw_response = await run_endpoint_function(deps) File "app/main.py", line 136, in erro raise RuntimeError("falha simulada no pagamento") RuntimeError: falha simulada no pagamento
Atributos do span de erro16 attrs · OTel
exception.typeRuntimeError
service.version3.1.0
exception.escapedtrue
code.lineno136
otel.status_codeERROR
span.duration4,12 ms
span.kindSERVER
pid · thread1 · 8
http.status_code500
host.nameapp-loja-02
http.route/erro
otel sdk py1.27.0
item="teclado" valor=249,90 tentativa=3/3 timeout=5 s

Versões & error budget

3 versões · 24h
v3.1.1
regressão
4
SLO violados
14,4×
burn 1h pagto
96,68%
disp. 24h
Erros por versão · 1hΣ 446
VersãoSvcreq/sErrosErr%P95 msEstado
v3.1.110,3113612,34%185,0regressão
v3.1.042,242463,04%247,86d em prod
v1.2.020,73642,43%100,815d estável
Σ 373,284463,77%208,3deploy 19:25
Error budget · SLO 24hfast burn > 14×
ServiçoDisp. 24hReq 24hErrosBurn 1hBudget
pagamento-service90,574%13.4781.27114,4×ESGOTADO
pedidos-api94,342%46.2732.6180,9×ESGOTADO
cobranca-service95,780%10.6904510,3×ESGOTADO
fatura-api97,894%21.3754500,4×ESGOTADO
3 serviços sem erro100%52.63700,0×100% rest.
Σ 7 serviços96,68%144.4534.790—4 violados · 3 OK

Grupos de erro · assinatura de exceção

5 grupos · ativos até 21:00 · 1º visto alinha ao deploy 19:25
446
ocorrências · 1h
5
assinaturas dedup
2
tipos de exceção
4
serviços · 3 versões
1h35
incidente em curso
Ocorr.% totalTendênciaTipo Assinatura · rotaServiço · ambienteVersão1º vistoDuraçãoTrace
1361,43/min
 30,5% HTTP 502
GET /cobrar/{item}gateway de pagamento · P95 184 ms
pagamento-serviceprod · 1.102 traces
 v3.1.1 30/07 19:251h35 e418ccef
1361,43/min
 30,5% HTTP 502
GET /pedido/{item}propagação do 502 · P95 328 ms
pedidos-apiprod · 3.791 traces
 v3.1.0 30/07 19:251h35 e418ccef
1102,24/min
 24,7% RuntimeError
GET /erromain.py:136 in erro · HTTP 500
pedidos-apiprod · 110 req · 100%
 v3.1.0 30/07 20:1149 min d2678bd5
320,09/min
 7,2% HTTP 502
GET /cobrarcobrança recorrente · P95 45 ms
cobranca-servicestaging · 875 traces
 v1.2.0 30/07 15:035h57 ec6080ce
320,09/min
 7,2% HTTP 502
GET /fatura/{cliente}emissão de fatura · P95 122 ms
fatura-apistaging · 1.755 traces
 v1.2.0 30/07 15:035h57 ec6080ce
4467,43/min
 100% 5 assin. 2 tipos 5 de 12 rotas · dedup 4 de 7 serviços 3 versões 30/07 15:035h57 5 exempl.
por tipoHTTP 502 336 · 75,3%RuntimeError 110 · 24,7%
por versãov3.1.1 136 · 30,5%v3.1.0 246 · 55,2%v1.2.0 64 · 14,3%
por ambienteprod 382 · 85,7%staging 64 · 14,3%
por rota/pedido 136/cobrar/{item} 136/erro 110/cobrar 32/fatura 32
Erros & Exceções · 5 grupos · 446 ocorrências (3,77% de 11.819 traces) · HTTP 502 336 (75,3%) + RuntimeError 110 (24,7%) · 4 de 7 serviços · 5 de 12 rotas · pico 26 err/min (0,44 err/s) @ 20:30 · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora08 / 13
Z Observabilidade APM/Serviços/SLOs & ERROR BUDGET
Serviços Endpoints Service Map Traces Erros SLOs
AO VIVO 20:59 · qua 30/07 janela SLO 24h · prod · loja Zabbix 8.0 · OTLP · sinc. agora
SLOs violados
4
de 7 · 4 budgets esgotados
Em risco
0
limiar 70% consumido · 24h
SLOs OK
3
3× budget 100% restante
Disp. global 24h
96,68%
144.453 req · 4.790 erros
Pior disponib.
90,574%
pagamento · alvo 99,5% · −8,93 pp
Burn rate 1h máx
14,4×
fast burn ≥ 14× · 60,0%/h
Min. fora do SLO
308,3min
budget 15,84 min · 19,5×

Error budget · SLI duplo

disponibilidade + latência + minutos · janela 24h
4
Violados
4
Esgotados
3
Dentro
90,574%
Pior disp.
96,68%
Disp. global
308,3
Min. fora
Serviço · 24h SLI vs alvo · disp/lat esc. 90→100% · min esc. 0→150 Burn 1hConsumidoRestanteEstado
pagamento-serviceloja · prod · v3.1.113.478 req · 1.271 err
DISP
90,574% / 99,5% LAT
99,89% / 90% MIN
135,7 / 7,20 min
14,4×1.885%0% ESGOTADO
pedidos-apiloja · prod · v3.1.046.273 req · 2.618 err
DISP
94,342% / 99,9% LAT
99,68% / 95% MIN
81,5 / 1,44 min
0,9×5.658%0% ESGOTADO
cobranca-servicefaturamento · v1.2.010.690 req · 451 err
DISP
95,780% / 99,9% LAT
99,99% / 95% MIN
60,8 / 1,44 min
0,3×4.220%0% ESGOTADO
fatura-apifaturamento · v1.2.021.375 req · 450 err
DISP
97,894% / 99,9% LAT
99,88% / 95% MIN
30,3 / 1,44 min
0,4×2.106%0% ESGOTADO
auth-serviceloja · prod · v3.1.026.952 req · 0 err
DISP
100% / 99,9% LAT
99,99% / 95% MIN
0,0 / 1,44 min
0,0×0%100% OK
estoque-serviceloja · prod · v3.1.013.479 req · 0 err
DISP
100% / 99,9% LAT
99,95% / 95% MIN
0,0 / 1,44 min
0,0×0%100% OK
notificacao-serviceloja · prod · v3.1.012.206 req · 0 err
DISP
100% / 99,9% LAT
100% / 95% MIN
0,0 / 1,44 min
0,0×0%100% OK
SLI disp = (req−erros)/req · SLI lat = % req ≤ 500 ms · ▮ alvo · budget 24h = 1.440 min Σ gasto 308,3 min / permitido 15,84 min · latência OK 7/7

Burndown do error budget · 24h

budget restante por serviço · zerou às 20:30
0%
Restante · 4 SLOs
20:30
Budget zerado
60,0%
Consumo/h @14,4×
4,17%
Consumo/h ideal 1×
1h35
Incidente em curso
100%80%60%40%20%0%
alerta · 30% restante
19:25 deploy v3.1.1 · 1h35
20:30 · 0%
-24h-20h-16h-12h-8h-4hagora
pagamento 0% · burn 14,4× pedidos-api 0% · 0,9× fatura-api 0% · 0,4× ideal 1× · 4,17%/h amostra a cada 60 s · 1.440 pontos

SLO por serviço

disp · latência · minutos de indisponibilidade · 24h
144.453
Req 24h · 7 svc
4.790
Erros 24h
96,68%
Disp. global
15,84
Min. de budget
308,3
Min. gastos
ServiçoDisp 24hAlvo d.Δ pp Lat ≤500msAlvo l.Req 24hErros Min permMin gastosConsum.St.
pagamento-service90,574%99,5%−8,9399,89%90%13.4781.2717,20135,71.885%
pedidos-api94,342%99,9%−5,5699,68%95%46.2732.6181,4481,55.658%
cobranca-service95,780%99,9%−4,1299,99%95%10.6904511,4460,84.220%
fatura-api97,894%99,9%−2,0199,88%95%21.3754501,4430,32.106%
auth-service100%99,9%+0,1099,99%95%26.95201,440,00%
estoque-service100%99,9%+0,1099,95%95%13.47901,440,00%
notificacao-service100%99,9%+0,10100%95%12.20601,440,00%
GLOBAL · 7 serviços96,68%99,9%−3,2299,86%95%144.4534.79015,84308,31.946%
budget = (1 − alvo) × 1.440 min · Σ permitido 15,84 min · Σ gasto 308,3 min → 19,5× o orçamento 4 violados · 0 em risco · 3 OK

Burn rate multi-janela

1h · 6h · 24h · fast burn ≥ 14× → página P1
ServiçoErros 1hP95 msErr% 24h 1h6h24h ConsumidoRestanteEsgota emAlerta
pagamento-service136185,09,43%14,4×6,0×2,0×1.885%0%esgotou 20:30FAST BURN P1
pedidos-api246247,85,66%0,9×2,8×1,3×5.658%0%esgotou 20:38recuperando
cobranca-service3244,84,22%0,3×0,9×0,6×4.220%0%esgotou 17:42estável
fatura-api32100,82,11%0,4×1,2×0,9×2.106%0%esgotou 18:06recuperando
auth-service010,60%0,0×0,0×0,0×0%100%não esgotasem consumo
estoque-service063,00%0,0×0,0×0,0×0%100%não esgotasem consumo
notificacao-service026,70%0,0×0,0×0,0×0%100%não esgotasem consumo
GLOBAL · 7 serviços446208,33,32%14,4× máx6,0× máx2,0× máx1.946%0%4 de 7 esgotados1 P1 ativo

Política de alerta multi-janela

curta + longa · avaliação a cada 60 s · budget 24h = 1.440 min
Fast burnP1 · PÁGINA
1h ≥ 14× · 60,0%/h · zera em 1,7 h
disparo: 1/7 · pagto 14,4×
Slow burnP2 · PÁGINA
6h ≥ 6× · 25,0%/h · zera em 4,0 h
no limiar: 1/7 · pagto 6,0×
AvisoP3 · TICKET
24h ≥ 3× · 12,5%/h · zera em 8,0 h
acionado: 0/7 · máx 2,0×
InformativoP4 · TICKET
3d ≥ 1× · 4,17%/h · zera em 24,0 h
acionado: 0/7 · máx 0,9× (1h)
Σ erros 1h 446 / 11.819 traces = 3,77% · P95 global 208,3 ms · MTTA deploy→alerta 30 min 1 alerta P1 ativo · 0 P2 · 0 P3
SLOs & Error Budget · 4 violados · 0 em risco · 3 OK · disp. global 96,68% (144.453 req · 4.790 erros) · pior 90,574% · burn 1h 14,4× → fast burn P1 · 308,3 min fora do SLO · janela 24h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora09 / 13
Z Observabilidade APM/Serviços/pedidos-api 🐍 Python 3.11 · v3.1.0 loja · prod 3.791 requests 19.606 spans
Resumo Endpoints Traces Erros
AO VIVO 20:59 · qua 30/07 http.server.request · janela 1h
Requests
3.791
1,05 req/s · 19.606 spans · 5,17/req
APDEX
0,88
T = 500 ms · alvo 0,95 · global 0,95
P50
13,2 ms
mediana · cache-hit · 50% ≤ 13,2
P75
131,5 ms
▲ +118,3 vs P50 · 10× o P50
P90
211,8 ms
▲ +80,3 vs P75 · 2ª moda
P95
247,8 ms
+39,5 vs global 208,3 ms
P99
345,1 ms
cauda +97,3 · /pedido/{item} 470
Error rate
6,49%
246 de 3.791 · 502: 136 · 500: 110

Distribuição de latência

3.791 req · 23 buckets OTel · bimodal · exemplar 0ecf2e3e · 104,27 ms
3.791
req · 1h
471
moda 1 · 4–6ms
250
moda 2 · 175–200
13,2
P50 ms
247,8
P95 ms
0,88
APDEX T=500ms
5604202801400
96 428 471 402 230 190 180 174 148 136 118 142 166 196 250 158 112 88 72 24 6 3 1
moda 1 · cache-hit 4–6 ms · 471 moda 2 · /pedido/{item} 175–200 ms · 250
P50 13,2 ms
P75 131,5 ms
P90 211,8 ms
P95 247,8 ms
P99 345,1 ms
0612 1840100 175225300 500ms2,5s∞
1.627
≤ 10 ms · 42,9% · cum 42,9%
692
10–25 ms · 18,3% · cum 61,2%
396
25–100 ms · 10,4% · cum 71,6%
362
100–175 ms · 9,5% · cum 81,2%
520
175–250 ms · 13,7% · cum 94,9%
194
> 250 ms · 5,1% · cum 100%
moda 1 · 4–6 ms · 471 req (12,4%) moda 2 · 175–200 ms · 250 req (6,6%) vale 40–100 ms · 260 req (6,9%)

Status HTTP & vazão

3.791 respostas · 246 5xx · 0 4xx
3.545
HTTP 200 · 93,51%
110
HTTP 500 · 2,90%
136
HTTP 502 · 3,59%
6,49%
error rate · 246
2xx · 3.545 · 93,51%
0 respostas 4xx · 0 timeouts · 0 conexões recusadas500 2,90% · 502 3,59%
StatusReq%P50P95Rota dominante
200 OK3.54593,51%12,4241,0/pedidos · /
502 Bad Gateway1363,59%88,0185,0/pedido/{item}
500 Internal1102,90%4,017,0/erro
Σ 3 códigos3.791100%13,2247,85 rotas
1,20,90,60,30
20:0020:1520:3020:4521:00
2xx 0,985 req/s · 3.545 5xx 0,068 req/s · pico 0,113 @20:32 total 1,05 req/s

Percentis por rota

5 rotas · método GET · escala log 1–500 ms
5
rotas
3.791
requests
328
P95 máx · ms
246
erros · 2 rotas
+118,3
P50→P75 · ms
http.routeReqP50P75P90P95P99P50→P99Err%
/pedido/{item}1.10338218297328470
12,33%
/pedidos1.1031226414768
0%
/1.1004691014
0%
/trabalho375812151724
0%
/erro11048141724
100%
Σ serviço3.79113,2131,5211,8247,8345,1
6,49%
● P50 · ▮ P95 · ● P99 · réguas em 10 e 100 ms Σ req 3.791 · Σ erros 246 · 3 rotas em 0%

Operações mais lentas do serviço

span.name · 9 operações = 100% do tempo de execução · janela 1h
19.606
spans · 1h
5,17
spans por req
246,7
s de execução
65,1
ms por req
48,6%
top-1 · pagamento
#span.nameTipoChamadasP50P95Tempo% do tempoErros
1GET /cobrar/{item} → pagamento-serviceWEB1.102103,0185,0120,0 s 48,6%136
2GET /reserva/{item} → estoque-serviceWEB1.10834,563,040,0 s 16,2%0
3pedidos.montar_respostaINTERNAL3.6816,921,431,1 s 12,6%0
4http.server.request · self do pedidos-apiINTERNAL3.7915,814,228,7 s 11,6%246
5GET /enviar → notificacao-serviceWEB64814,026,79,1 s 3,7%0
6pedidos.serializar_jsonINTERNAL3.6811,95,49,1 s 3,7%0
7trabalho.processar_pesadoINTERNAL37511,217,04,4 s 1,8%0
8SELECT loja.pedidosDB3.2401,21,83,9 s 1,6%0
9GET pedidos:cache → redisCACHE1.9800,220,400,4 s 0,2%0
Σ 19.606 spans · 246,7 s (4min 07s) · 100,0% · 4 operações internas (11.528) + 5 de saída (8.078) gargalo pagamento-service 48,6% do tempo e 136 dos 246 erros

Latência por dependência

6 alvos · 246,7 s = 100%
web 68,5% · 169,1 s · 44,6 ms/reqinternal 29,7% · 73,3 s · 19,3 ms/req db 1,6% · 3,9 s · 1,03 ms/reqcache 0,2% · 0,4 s · 0,11 ms/req

Alvos de saída · P50 · P95 · tempo

5 externos + self
DependênciaTipoSpansP50P95Err%Tempo%
pagamento-serviceWEB1.102103,0185,012,34%120,0 s48,6%
estoque-serviceWEB1.10834,563,00%40,0 s16,2%
notificacao-serviceWEB64814,026,70%9,1 s3,7%
loja · PostgreSQLDB3.2401,21,80%3,9 s1,6%
redis · cacheCACHE1.9800,220,400%0,4 s0,2%
pedidos-api · selfINTERNAL11.5285,821,46,49%73,3 s29,7%
auth-service (P50 1,47 · P95 10,6 ms · 2.207 req/h) entra pelo gateway — fora do trace Σ 246,7 s · 1 aresta crítica de 5

Erros & error budget

246 erros · buckets 5 min · tracejado 16 err · SLO violado
246
erros · 1h
0,068
err/s médio
0,113
pico err/s · 20:32
2
assinaturas
403020100
111222 242631 342622 141212
20:0020:1520:3020:4521:00
Assinatura · rota · traceOcorr% svc% dos 4461º visto
propagação do 502 do pagamentoHTTP 502 · GET /pedido/{item} · v3.1.0 · trace e418ccef
136
55,3%
30,5%
19:25 → 21:00
falha simulada no pagamento (main.py:136)RuntimeError · GET /erro · v3.1.0 · trace d2678bd5
110
44,7%
24,7%
20:11 → 21:00
SLO 24h · disponibilidade · alvo 99,9%consumo do budget 5.658%
disp. 94,342% (alvo 99,9%)req 24h 46.273erros 2.618 / 46 permitidos
burn 1h 0,9× · 6h 2,8× · 24h 1,3×latência 99,68% ≤500 ms (alvo 95%)
Raio-X do serviço · pedidos-api v3.1.0 · 3.791 req/h · 19.606 spans · APDEX 0,88 · P50 13,2 / P95 247,8 / P99 345,1 ms · err 6,49% (246 req 5xx) · latência bimodal · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora10 / 13
Z Observabilidade APM/Serviços/DEPLOY & DEPENDÊNCIAS
Serviços Endpoints Service Map Deploy Traces Erros
correl. deploy↔SLO AO VIVO 20:59 · qua 30/07 incidente 19:00–21:00 · métricas 1h · prod Zabbix 8.0 · OTLP · 7 serviços
Versões em prod
3
v3.1.1 · v3.1.0 · v1.2.0 — 7 svc · 11.819 traces
Último deploy
19:25
v3.1.1 pagamento-service · 3m12s · há 1h35
Regressão de erro
+12,31 pp
▲ 0,03% → 12,34% · 136 erros/h
Error budget
Esgotado
disp 90,574% < 99,5% · burn 1h 14,4×
Dependências
6
1 entrada + 5 saída · 1 crítica 12,34%
P95 pedidos-api
247,8 ms
156,0 → 247,8 · +58,8% pós-deploy
Deploys · 7 dias
8
1,14/dia · CFR 25% (2 de 8) · 1 revertido

Linha do tempo do incidente

deploy → 5xx → propagação · 30/07 · janela 19:00–21:00 · em curso há 1h35 · 446 erros
19:25deploy v3.1.1
serviçopagamento-service service.version3.1.1 rollout · duração100% · 3m12s recurso2 vCPU · 512 MB réplicas · imagem4/4 · 4f9c21e
+30 min
19:55alerta 5xx
gatilho OTel5xx > 5% / 5 min error rate12,34% P95 · P99185,0 · 248,0 ms severidadeALTA · pager MTTA30 min
+35 min
20:30pico 5xx
taxa de erro0,44 err/s tipo · rota502 · /cobrar/{item} 5xx acumulados336 burn rate 1h14,4× error budget100% queimado
+8 min
20:38propagação
afetadopedidos-api rotaGET /pedido/{item} error rate6,49% erros propagados136 de 246 P95 do serviço247,8 ms
+22 min
21:00agora
duração1h35 · em curso serviços afetados4 de 7 erros na janela446 SLOs violados4 de 7 açãorollback pendente
Deploy do pagamento-service v3.1.1 às 19:25 levou o erro do serviço de 0,03% a 12,34% (+12,31 pp). O alerta OTel disparou em 30 min; o pico foi 0,44 err/s às 20:30 (336 HTTP 502) e às 20:38 o 502 propagou para pedidos-api · GET /pedido/{item} (6,49% · 136 de 246). Total 446 erros em 11.819 traces (3,77%), budget 100% queimado e 4 SLOs violados — rollback pendente há 1h35.
30 min
MTTA deploy→alerta
19:25 → 19:55 · ALTA
1h35
Duração (em curso)
desde 19:25 · ativo
336
HTTP 502 na janela
75,3% de 446 · 2 svc
446
Ocorrências totais
502 336 + RtErr 110
100%
Budget queimado
disp 90,574% < 99,5%
14,4×
Burn rate 1h
6h 6,0× · 24h 2,0×

Runtime · pagamento-service

método USE · CPython 3.11.9 · uvicorn 0.30.1
U
CPU
47,2%
2 vCPU · usr 34,4 / sys 12,8
baseline 22%limiar 80%
U
RSS memória
512 MB
heap 388 · anon 124 · +18%
limite 768 MBuso 67%
S
GIL wait
18,4%
era 4,1% · sw 3.104/s
alvo < 5%▲ 4,5×
S
GC gen0/1/2
1.284
g0 1.143 · g1 132 · g2 9
pausa p95 84 mscol/s 0,36
S
FDs abertos
342 /1024
sockets gateway 113 (33%)
limiar 800pico 371
E
Workers uvicorn
4 /4
0 reinícios · 27 threads
OTLP 100%lag 42 ms
uptime 6d 04hthroughput 0,31 req/sRSS peak 548 MB spans exportados 1.102/herros 136 · 12,34% P50 103,0 · P95 185,0 · P99 248,0 msAPDEX 0,85SLO 24h 90,574%

Versões em produção por serviço

Σ 7 serviços · 3,28 req/s · 11.819 traces · 446 erros · 3,77%
v3.1.1regressão · ativo
0,31req/s1.102traces136erros12,34%err
P95 185,0 ms · 1 serviço▲ +9,30 pp vs v3.1.0 · 19:25
v3.1.0loja · sem deploy
2,24req/s8.087traces246erros3,04%err
P95 247,8 ms · 4 serviçossem deploy · 6d 00h em prod
v1.2.0faturamento · estável
0,73req/s2.630traces64erros2,43%err
P95 100,8 ms · 2 serviçosestável · 15d 06h em prod
ServiçoVersãoreq/s TracesErrosErr% P50P95P99 APDEXSLO 24h
pedidos-apiv3.1.01,053.7912466,49%13,2247,8345,10,8894,342%
auth-servicev3.1.00,612.20700%1,4710,618,20,99100%
fatura-apiv1.2.00,491.755321,82%36,5100,8171,80,9797,894%
estoque-servicev3.1.00,311.10800%34,563,085,00,98100%
pagamento-servicev3.1.10,311.10213612,34%103,0185,0248,00,8590,574%
notificacao-servicev3.1.00,2798100%14,026,738,80,99100%
cobranca-servicev1.2.00,24875323,66%29,944,857,70,9695,780%
Σ 7 serviços3 vers.3,2811.819446 3,77%12,5208,38700,95 4 viol.
0,500,330,170
⬤ deploy v3.1.1 · 19:25
alerta 5xx · 19:55
pico 0,44 err/s · 20:30
19:0019:3020:0020:3021:00
err/s do pagamento-service · 0 → 0,44 em 65 min · média 0,12 fonte: Deployments (OTel service.version)

Histórico de deploys · 7 dias

24/07 → 30/07 · 8 eventos
1,14
Deploys/dia (7d)
25%
Change fail rate
34 min
MTTR de rollback
4h12
Lead time → prod
QuandoServiçoVersão TipoDur.Resultado Err%P95
30/07 19:25pagamentov3.1.1deploy3m12REGRESSÃO12,34%185,0
28/07 22:40pagamentov3.1.1-rc1canário4m05REVERTIDO1,84%128,0
27/07 16:18pedidos-apiv3.1.0config0m52OK0,00%152,0
26/07 09:35notificacaov3.1.0deploy2m18OK0,00%26,7
25/07 14:20estoquev3.1.0deploy2m47OK0,00%63,0
25/07 10:05authv3.1.0deploy1m58OK0,00%10,6
24/07 21:22pagamentov3.1.0deploy2m56OK0,03%123,0
24/07 21:05pedidos-apiv3.1.0deploy3m40OK0,05%156,0
pagamento0d pedidos-api3d notificacao4d estoque5d auth5d fatura-api15d cobranca15d média6,7d
2
24/070,04%
2
25/070,00%
1
26/070,00%
1
27/070,00%
1
28/071,84%
0
29/07—
1
30/0712,34%
janela pós-deploy 30 min · gate err% ≤ 1,0% 6 OK · 1 revertido · 1 regressão

Dependências · pedidos-api

6 conexões · 1 crítica · 2,25/s de saída
6
Dependências
1
Crítica · 5xx > 5%
8.078
Spans/h de saída
3
Camadas · 10 nós
DependênciaTipoHits/s Spans/hP50P95 P99Err%T.out/retry
in← user
web1,053.79113,2247,8345,16,49%30.000/0
pypagamento
web0,311.102103,0185,0248,012,34%3.000/2
pgloja (db)
db0,903.2400,81,84,10%1.000/1
rdredis
cache0,551.9800,20,40,90%250/0
pyestoque
web0,311.10834,563,085,00%2.000/1
pynotificacao
web0,1864814,026,738,80%1.500/3
Σ 5 de saída4 tipos2,258.078— ——1,68%7 retries
Cascata de propagação do 5022 serviços na cadeia · 136 erros
gateway externo
136
HTTP 502 · upstream
→
pagamento /cobrar
12,34%
136 de 1.102
→
pedidos /pedido
12,33%
136 de 1.103
→
pedidos-api total
3,59%
136 de 3.791
Orçamento de latência · trace 0ecf2e3e502 · 104,27 ms · 13 spans
pagamento-service · 95,10 ms · 91,2%
pagamento-service95,10 ms · 91,2% estoque-service3,90 ms · 3,7% pedidos-api (self)3,50 ms · 3,4% loja (db)1,77 ms · 1,7%
13 spans · web 5 · cache 3 · db 2 · internal 3 · L0–L3 irmão OK b0f3551f · 9 spans · 6,42 ms
Deploy & Dependências · v3.1.1 no pagamento-service @19:25 → 5xx 12,34% → 4 SLOs violados · 6 dependências (1 crítica) · USE: CPU 47,2% · RSS 512 MB · GIL 18,4% · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora11 / 13
Z Observabilidade APM/Serviços/LOGS & PADRÕES
Traces Serviços Logs Erros SLOs
AO VIVO 20:59 · qua 30/07 janela 1h · prod · loja Zabbix 8.0 · OTLP · sinc. agora
Linhas (1h)
5.000
83,3/min · 1,39/s · amostra 100%
Padrões (dedup)
9
taxa 556:1 · 24 pares padrão×svc
Padrões INFO
7
4.554 ocorr. · 91,1% · 75,9/min
Padrões ERROR
2
▲ 446 ocorr. · 8,9% · 7,4/min
Maior padrão
2.398
GET 200 OK · 48,0% · httpx
Com trace_id
52,0%
2.602 de 5.000 · ERROR 100%
Pico ERROR/min
26,4
20:30 · 0,44 err/s · ▲ 3,6× a média

Padrões de log agregados

dedup por template · 9 templates · 5.000 linhas · 24 pares padrão×serviço · 6 campos variáveis
5.000
Linhas · 1h
83,3
Linhas/min
9
Templates
556:1
Taxa de dedup
2
Templates ERROR
446
Ocorr. ERROR
NívelPadrão (template) · origem · exemploJanela /minΔ 1hTend. 12×5m Volume%Ocorr.
INFO
HTTP Request: GET [url] "HTTP/[n] 200 OK" httpx (client) · ex. GET /pedidos → 200 OK · sem trace_id
20:00→ 21:00
40,0▲ +3,1%
48,0%2.398
INFO
Requisição recebida em [rota] pedidos-api · ex. /pedido/{item} · 12 rotas · trace b0f3551f
20:00→ 21:00
11,2▲ +2,4%
13,4%672
INFO
Pedido criado: teclado x[n] pedidos-api · ex. "teclado x2" · qtd 1–5 · trace 7a41d0c2
20:00→ 21:00
9,8▼ −1,8%
11,7%586
INFO
Pedidos servidos do banco ([n]) pedidos-api · ex. banco (128) · 214 valores · trace 3fc9b81e
20:00→ 21:00
7,1▲ +5,2%
8,5%424
INFO
Processando trabalho pesado pedidos-api · /trabalho · 375 req · P95 17 ms · 5d20ae64
20:00→ 21:00
3,7▬ +0,4%
4,5%224
INFO
Pedidos servidos do cache pedidos-api · redis · cache hit 27,8% (163/587) · trace 91be7f35
20:00→ 21:00
2,7▼ −6,3%
3,3%163
INFO
Notificação enfileirada: pedido [id] notificacao-service · ex. "pedido 41822" · 87 ids · trace c806a2d1
20:00→ 21:00
1,5▲ +1,1%
1,7%87
Σ INFO
7 templates · 4.554 linhas · maior GET 200 OK (2.398) · 0 erro
20:00
75,9▲ +2,2% 7 séries
91,1%4.554
ERROR
HTTP Request: GET [url] "HTTP/[n] 502 Bad Gateway" pag 136 · ped 136 · fat 32 · cob 32 · trace e418ccef
19:25→ 21:00
5,6▲ +214%
6,7%336
ERROR
RuntimeError: falha simulada no pagamento (main.py:136) pedidos-api v3.1.0 · GET /erro · 100% erro · trace d2678bd5
20:11→ 21:00
1,8▲ novo
2,2%110
Σ ERROR
2 templates · 446 linhas · 4 svc · 502→336 · Runtime→110
19:25
7,4▲ +266% 2 séries
8,9%446
Σ 9
9 templates · 5.000 linhas · dedup 556:1 · 333 distintos
19:25
83,3▲ +9,4% 9 séries
100%5.000
Buckets de 5 min · 12 por linha · † 1º visto na retenção 24 h (502 desde 19:25 · deploy v3.1.1) P95 de ingestão 1,2 s · perda 0,00% · 3.240 buckets

Amostras de linha crua

tail −f · últimas 8 de 5.000 · 83,3 linhas/min · atraso de ingestão 1,2 s · OTLP logs
TimestampNívelServiçoMensagem crua Dur.HTTPtrace_idspan_id
20:59:58.412ERRORpagamento-service HTTP Request: GET http://gw:8020/cobrar/7 "HTTP/1.1 502" 184,2 ms502e418ccef7b2c9a04
20:59:58.415ERRORpedidos-api 502 recebido de pagamento-service em GET /pedido/{item} 247,8 ms502e418ccef3d81f6bb
20:59:57.903INFOpedidos-api Pedido criado: teclado x2 · total R$ 249,80 · estoque 118 12,4 ms2007a41d0c290ce4412
20:59:57.881INFOpedidos-api Pedidos servidos do banco (128) · SELECT 128 rows · pool 6/20 1,8 ms2003fc9b81e44a7e0d9
20:59:56.204ERRORpedidos-api RuntimeError: falha simulada no pagamento (main.py:136) 4,1 ms500d2678bd5a1f09c7b
20:59:55.617INFOauth-service Requisição recebida em /valida · token ok · ttl 3600 s 1,5 ms200b0f3551f6e1d2200
20:59:54.330INFOnotificacao-service Notificação enfileirada: pedido 41822 · fila 3 · retry 0/5 26,7 ms200c806a2d12f77ba13
20:59:53.108INFOhttpx (client) HTTP Request: GET http://loja:8000/pedidos "HTTP/1.1 200 OK" 8,3 ms200sem span—

Distribuição por nível

4 níveis · 2 ativos · 5.000
5.000LINHAS · 1h
NívelLinhas%Pad/min
ERROR4468,9%27,4
WARN00,0%00,0
INFO4.55491,1%775,9
DEBUG00,0%0off
TOTAL5.000100%983,3
INFO 4.554 · 91,1% · 7 templates446
nível mínimo INFO · 0 WARN · 0 DEBUGERROR 8,9% · 4 serviços
1,39
Linhas/s
248 B
Tam. médio
1,24
MB/h ingeridos

Padrões por serviço

7 serviços · 24 pares · 5.000
ServiçoPadLinhasINFO ERRORErr%/min
pedidos-api72.1061.86024611,7%35,1
pagamento-service41.1481.01213611,8%19,1
auth-service261261200%10,2
estoque-service242842800%7,1
notificacao-service332232200%5,4
fatura-api32362043213,6%3,9
cobranca-service31481163221,6%2,5
Σ 7 serviços · 2 domínios245.0004.5544468,9%83,3

Campos variáveis extraídos

6 campos · 333 distintos
CampoTipoCardin.Valor exemplo Linhas%
[url]string12http://gw:8020/cobrar/12.73454,7%
[n] statusint3200 · 500 · 5022.73454,7%
[rota]string12/pedido/{item}67213,4%
[n] qtdint5x2 · faixa 1–558611,7%
[n] linhasint214128 · P95 186 · máx 2404248,5%
[id] pedidoint8741822 · sequencial871,7%
Σ 6 campos4 tipos3339 templates · 24 pares5.000100%
Alta cardinalidade em [n] linhas (214 valores) → mantida fora do índice · dedup 556:1 reduz 99,8% das linhas indexadas · retenção 30 d ≈ 0,87 GB

Volume de log no tempo

Σ 5.000 · pico 112/min @ 20:30
112
Pico linhas/min
83,3
Média/min
68
Mín/min · 20:00
26,4
Pico ERROR/min
1209060300
média 83,3
20:0020:1020:2020:3020:4020:5021:00
volume · linhas/min · Σ 5.000 ERROR/min ×4 · Σ 446 · pico 26,4 ◎ exemplar → e418ccef · surto 3,6× após deploy 19:25

Cobertura log ↔ trace

2.602 de 5.000 · 52,0%
2.602
Com trace_id · 52,0%
2.398
Órfãs · 48,0%
446
Exemplars em spans
NívelOrigem do logLinhasc/ trace Cob.%
INFOpedidos-api · 5 templates2.0692.069
100%
INFOnotificacao-service · 18787
100%
ERROR502 Bad Gateway · 1336336
100%
ERRORRuntimeError main.py:136110110
100%
INFOhttpx client · sem span ativo2.3980
0%
Σ 99 templates · 7 serviços5.0002.602
52,0%

Amostra correlacionada

nível ERROR · 12 atributos OTel
ERROR · RuntimeError · pedidos-api v3.1.0
"RuntimeError: falha simulada no pagamento"
main.py:136 in erro() · GET /erro · 500 · 4,1 ms
trace_id d2678bd5
span_id a1f09c7b
service.name pedidos-api
service.version 3.1.0
http.method GET
http.route /erro
http.status 500
span.kind SERVER
otel.status ERROR
exception.type RuntimeError
deployment.env prod
log.timestamp 20:59:56.204
Abrir trace d2678bd5 → 110 linhas ERROR neste template · 110 traces
1º 20:11 · últ. 21:00 · 1,8/min · 24,7% dos erros
Logs & Padrões · dedup por template · 9 templates de 5.000 linhas/1h (556:1) · INFO 4.554 (91,1%) · ERROR 446 (8,9%) · 502 → 336 · RuntimeError → 110 · trace_id em 2.602 (52,0%) · janela 1h · dados ilustrativos
Zabbix 8.0 · OpenTelemetry (OTLP) · sinc. agora12 / 13
Flowbix
Flowbix · Vamos conversar·2026
Próximo passo

Instrumente em minutos.

O Agent APM nasce do que você já tem: exporte seus traces via OpenTelemetry (OTLP) e o Zabbix 8.0 passa a mostrar spans, APDEX, error budget e service map — sem trocar de stack, sem reescrever aplicação.

1

Instrumente com OTel

Adicione o OpenTelemetry SDK ao serviço (auto-instrumentação p/ Python, Node, Java, Go).

→
2

Aponte o OTLP p/ o Zabbix

Configure o OTLP exporter para o coletor do Zabbix 8.0. Nada de agente novo em cada host.

→
3

Observe no ar

Traces, APDEX, SLO & error budget e service map ao vivo — correlacionados aos alertas do Zabbix.

O que você passa a enxergar Pré-requisitos: SDK OpenTelemetry · coletor OTLP · Zabbix 8.0 · amostragem 100% · janela de SLO 24 h
13spans
Trace distribuídowaterfall + flame graph · L0–L3 · 6 serviços
10nós
Service map de spans15 arestas · 2 críticas · pico 3,41/s
0,95apdex
APDEX & error budgetT = 500 ms · burn 1h/6h/24h · 4 SLOs
446erros
Error tracking5 assinaturas · 502 (336) + Runtime (110)
5.000linhas
Logs por trace_id9 padrões · 83 linhas/min · 8,9% ERROR
Siteflowbix.com
→
WhatsApp comercial+55 11 5192-3351
→
E-mailequipecomercial@flowbix.com
→
comercialFLOWBIX

Comercial · Flowbix✓

Conta verificada

QR Code WhatsApp Comercial Flowbix
Escaneie para falar sobre o Agent APM
Flowbix·Agent APM · observabilidade de aplicações com Zabbix 8.0 + OpenTelemetry · dados ilustrativos
13 / 13