QA Telemetry — 2026-06-11 14:43

Janela: últimas 24h e 72h · Tenants afetados: 73 (24h) / 103 (72h) de 160 · Queries Loki: 139 · Método: count_over_time (totais reais)

Leia antes do número. O volume 24h caiu 6%, mas 38% dele (1.544 hits) segue sendo o stress interno de 30K arquivos no eng-hotfix, em ritmo constante. Sinal real: a dessincronização de step ETL continua quente (253 hits/24h no Back + 63 Binder Errors/24h no Pipeline, afextyc na frente), o DataEngine mais que triplicou os timeouts de rabbit-dev (25 → 88/24h), o burst de Autofac parou (92 → 1), e estreiam RedisTimeoutException no eng-hotfix 16.3.22 (sessão via redis-dev — atenção k8s) e 'toastError is not defined' no Front.
Erros (24h)
4.103
— estável
Erros (72h)
27.205
— estável
Tenants afetados
73 / 160
103 em 72h
Categorias
19
11 prováveis bugs
Mudanças vs snapshot anterior

Atual: 2026-06-11 14:43 · Anterior: 2026-06-11 08:42 · Delta: 6h atrás

⊕ Erros novos / ressurgidos

·
Arquivo fonte inválido (ETL)xlsx/worksheet (Pipeline): Error: Excel xlsx file; not supported / Works · tbmtextil, holambracoop, edenred, +2
24

⊖ Erros que pararam (extintos)

·
TargetInvocationException: Exception thrown by the target of an invocati · Confinado ao eng-release-fix, saiu da janela de 72h — resolvido ou inativo.
−3
Distribuição de impacto
Por ambiente

Produção · 33 grupos · 4.462 hits

Eng interno (hotfix/release-fix/portal) · 20 grupos · 25.014 hits

Outros (NoWebsite/nós de serviço) · 11 grupos · 3.794 hits

Dev (eng-develop) · 2 grupos · 578 hits

Homolog/UAT · 4 grupos · 692 hits

Demo/trial · 9 grupos · 1.898 hits

Local · 15 grupos · 3.065 hits

Categorias
  Stress test (30K arquivos)1 grupos · 20.328 hits
Storm segue em ritmo constante (~64/h): 1.544 hits/24h, contagem idêntica à de ontem nas duas janelas. Stress de 30K arquivos no eng-hotfix — ruído de exercício interno, não incidente.
  Erro de schema ETL (DuckDB)4 grupos · 1.313 hits
Estável (1.191 → 1.197). Dos 1.197, 489 são Catalog Error de matching_<ID> ausente (análise consultada antes do matching materializar); o resto é ASGI envelopando Parser/Binder. 44% no nó query-aws-16-3.
Redefinido pra incluir Binder Error do Pipeline (63 dos 67 hits/24h: values list sem coluna, tabela ETL_ ausente — afextyc 45/72h). Com Catalog Error soma 95 em 72h vs 32 ontem (só Catalog). Mesma família de step dessincronizado do bk_pipelinecall.
Estável (15 → 15): CAST de string vazia/'SET' para INT32 em transform — erro de dado/config do ETL.
Mesmo volume de ontem (6/6): testes locais de edit-rows do Maiglon no DataEngine — dev testing, não incidente.
  Job/fluxo Hangfire falhando2 grupos · 536 hits
Leve queda (562 → 533; 160 nas 24h vs 203 ontem). Top tenants 72h: agibank (241), BTG (45), tbmtextil (37), bayer (36). Cauda IOE não classificada do Back: ~355 hits em 72h.
Estável (3 → 3), 0 hits em 24h: criação de job de e-mail falhando no Hangfire (CSF).
  Falha EF/DB6 grupos · 759 hits
Platô alto (475 → 480, 188 nas 24h), 32 tenants e nenhum concentra >8%. Polling falhando com erro transient de conexão — quarto dia em nível elevado; investigar saúde do SQL/pool de conexões.
Platô: 134 em 72h (idêntico a ontem), 83 nas 24h. Falha de conexão ao resolver tenant em contexto de job — mesmo cluster de saúde do pool SQL de be01poll/entcmd.
Estável (71 → 74). Amostra mudou: NRE em MatchingService.ValidateContextAuthorizationAsync:1161 — null-check ausente na validação de autorização de contexto do matching.
Estável (62 → 58). Entity null no adapter EF (operação sobre registro já removido?) — espalhado, volume baixo.
Estável (8 → 7): tipo 'super' do Redshift sem suporte no teste de layout de import — gap real de tipo, volume mínimo.
Estável (6 → 6), 0 hits em 24h: API key fora de contexto de tenant.
  Erro de banco/SQL6 grupos · 963 hits
Estável (516 → 528), agibank concentra 38%. SQL gerado com alias vazio em SELECT INTO — provável config de processo, não regressão de produto.
Estável (324 → 320), BTG concentra 71%. Amostra: leitura do data reader em AnalysisLoadRepository — mesmo cluster de saúde de conexão SQL do be01poll.
▼ 11% (103 → 92), 100% BTG: query externa do cliente com syntax error ('select * db_cadastral_analytics' sem FROM) — não é produto.
Estável (13 → 12), 100% BTG: timeout na importação de fonte externa Postgres/Redshift.
▼ (8 → 6): login do conector de import no DB externo AB_CONTABIL (GRUPOBRSA) segue falhando — credencial do cliente; CS acionável.
▼ (8 → 5), 0 hits em 24h, 100% BTG: host MySQL externo inacessível na importação.
  Falha HTTP downstream5 grupos · 817 hits
Platô alto: 467 em 72h (ontem 487), mas 253 só nas 24h — segue o ofensor real mais quente do Back. VIEW apontando pra tabela de step N enquanto o staging tem N+1; mesma família dos Binder Errors do Pipeline (pl_catalog).
Estável (298 → 308). Binder Error com coluna 'Diferença' fora do FROM — header da fonte não bate com o layout esperado pela fórmula; afextyc segue na frente.
▼ 26% (42 → 31): nginx 502 na rota de query do staging — upstream do DataEngine, maioria em eng-internal.
Cliente fechou a conexão durante o response — ruído de rede do lado do usuário.
Leve alta (3 → 5). Amostra: SetFileStatusAsync cancelado em arquivo MFT-CARREFOUR (csf-qa) — timeout na API de storage.
  Pool shutdown race (Pika/multiproc)1 grupos · 318 hits
▼ 56% (719 → 318). Composição: pool crash Pipeline/Matching/DataEngine (185) + StreamLost Pipeline/Matching (133). A onda de segunda/terça saiu da janela; o crash do Pipeline ainda fez 8 hits nas 24h ('can only test a child process').
  Erro de frontend (null/undefined)1 grupos · 240 hits
▼ 15% (281 → 240). Amostra MUDOU: 'toastError is not defined' em v-on handler de v-btn (zaffari 20%) — referência indefinida no caminho de erro do Vue: o handler de falha tenta exibir toast que não existe no escopo. Vale card de frontend.
  Conexão Rabbit (dev timeout)1 grupos · 211 hits
▲ ACELEROU: 25 → 88 hits/24h (211 em 72h, +43%). Timeout do rabbit-dev no DataEngine; linhas variantes (_create_connection, reporting failure) elevam o total AMQP real do source pra ~458 em 72h. Checar saúde do rabbit-dev.
  Erro de DI (Autofac)1 grupos · 94 hits
Burst PAROU: 1 hit nas 24h (ontem eram 92/dia). Amostra final: resolução Autofac de 'Matching (IStepExecutor)' não registrada ao processar IOutputStep 29639 — confinado a internal/eng.
  Arquivo ausente (PDF/staging)4 grupos · 134 hits
▲ (19 → 50) e mudou de lado: agora é o Pipeline que não consegue abrir o staging DuckDB (/mnt/local e /mnt/staging — sales 26/72h); Matching só 4. Liga com o limite de storage capacity do Pipeline MS.
Estável (40 → 45). Amostra: XML do portal PAN ausente no storage (BTG 51%) — import referenciando arquivo já removido.
Metrônomo (36 → 36), 100% CCR: pasta SFTP de origem (Cielo_MetroBahia) segue inexistente — config de FileCopy; avisar CS.
NOVO: acesso negado ao deletar arquivo SFTP do ipiranga (EXTBAMPM*.TXT) — permissão de filesystem no servidor, não é ausência de arquivo nem bug de produto.
  Arquivo fonte inválido (ETL)1 grupos · 24 hits
NOVO como grupo: arquivo .xlsx não suportado (12/24h, provável .xls renomeado ou corrompido) + worksheet 'PosicaoFinanceira' ausente (6/24h). tbmtextil concentra 58% — arquivo fonte fora do layout esperado, erro de dado do cliente.
  Erro de negócio (validação)2 grupos · 326 hits
24h despencou (130 → 37). Composição mudou de novo: agora 'Destinatário do e-mail não definido' no SendEmailJob — notificação configurada sem destinatário.
Estável (137 → 140). Amostra: guard de agendamento duplicado funcionando ('Já existe outra execução agendada') — a exceção É a validação.
  Falha de SMTP1 grupos · 101 hits
Estável (102 → 101), 99% BTG: rate limit do servidor SMTP do cliente — throttle de envio, não bug do produto.
  Gateway session-init (novo MS)1 grupos · 118 hits
Metrônomo: 110/118, contagem idêntica à de ontem. Agora o user é 'sonar' (ontem zabbix) — probes de monitoração batendo em session-init quebrado do MS 16.4.0. Segue sem dono; escalar pra quem opera o gateway.
  Timeout Redis (sessão)1 grupos · 5 hits
NOVO: PSETEX de sessão dando timeout (5s) contra redis-dev, no eng-hotfix 16.3.22. Atenção: Redis é o switch de cross-pod safety da migração k8s — se redis-dev degrada, sessão e locks degradam junto. Volume baixo, mas monitorar de perto.
  Bloqueio SSRF (proteção)1 grupos · 50 hits
▲ 28% (39 → 50). Amostra: bloqueio de URL trycloudflare.com (túnel de dev) ao atualizar amostra de step — proteção funcionando como esperado; 80% eng-develop.
  Falha de storage (S3)1 grupos · 4 hits
Amostra MUDOU: agora é kms:Decrypt negado pro user dattos-s3-user-csf-qa (IAM policy sem a action) — config de infra do csf-qa, acionável pra quem opera AWS.
  Permissão negada (RBAC)1 grupos · 9 hits
RBAC negando configuração de processo — comportamento esperado, 0 hits em 24h.
Tabela completa
#CategoriaErroSourceTop tenantTenantsEnvVersões24h72hTend.Loki
1Stress test (30K arquivos)(none): [SetFileStatusAsync] External storage API returned NotFound, file /30KFIBackeng-hotfix2eng-internal16.3.21, 16.3.221.54420.328— estável
2Erro de schema ETL (DuckDB)ASGI/DuckDB (Query): Catalog Error: Table with name matching_<ID> does not existQuerydattos-data-engine-query-aws-16-37other, eng-internal16.3.21, 16.3.225311.197— estável
3Job/fluxo Hangfire falhandoInvalidOperationException: Failed to process the job '98344': A execução do fluxBackagibank30prod16.3.20, 16.3.21160533— estável
4Erro de banco/SQLSqlException: An object or column name is missing or empty (SELECT INTO / alias Backagibank20prod, other, local, eng-internal, demo, dev15.4.11, 15.4.4190528— estável
5Falha EF/DBEntityException: Failed to execute polling task. Transient failure (SqlAzureExecBacklocal-maiglon32local, prod, other, eng-internal16.3.20, 16.3.21188480— estável
6Falha HTTP downstreamInvalidOperationException: Error calling service 'pipeline', operation 'transforBackagibank20prod, eng-internal, other16.3.20, 16.3.21253467— estável
7Erro de banco/SQLEntityCommandExecutionException: An error occurred while reading from the store Backdattos (BTG)33prod, eng-internal, demo, other, hom, local15.4.11, 15.4.1581320— estável
8Pool shutdown race (Pika/multiproc)StreamLostError/pool crash: [!] Critical error in pool process pipeline-16-3: caPipeline+Matching+DataEngineNoWebsite21prod, other, eng-internal, local, demo16.3.11, 16.3.2152318▼ 56%
9Falha HTTP downstreamHttpRequestException: Binder Error: Referenced column "Diferença" not found in FBackafextyc20prod, eng-internal, demo, local16.3.20, 16.3.21126308— estável
10Erro de frontend (null/undefined)FrontException: toastError is not defined — vue-component-42-v-btn: v-on handlerFrontzaffari31prod, hom, eng-internal, demo, local15.4.11, 16.3.1461240— estável
11Conexão Rabbit (dev timeout)AMQP/TCP timeout: AMQPConnectionWorkflowFailed: TCP connection attempt timed outDataEngineNoWebsite4other, local, prod16.3.21, 16.3.688211▲ 43%
12Erro de negócio (validação)ArgumentException: Erro ao enviar e-mail #207827. Destinatário do e-mail não defBackinternal9local, prod, eng-internal15.4.11, 16.3.2037186— estável
13Erro de negócio (validação)BusinessException: Já existe outra execução agendada para o fluxo na pasta selecBackeng-release-fix16eng-internal, local, prod15.4.11, 16.3.2021140— estável
14Falha EF/DBInvalidOperationException: Error retrieving tenant: network-related error establBackNoWebsite1other16.3.21, 16.3.2283134— estável
15Gateway session-init (novo MS)(none): session-init call failed for user=sonar host= (httpx) — Dattos-Gateway 1Dattos-GatewayNoWebsite1other16.4.0110118— estável
16Falha de SMTPSmtpException: 4.4.2 Message submission rate for this client has exceeded the coBackdattos (BTG)2prod, hom15.4.11, 16.3.2229101— estável
17Erro de schema ETL (DuckDB)Catalog/Binder Error: Binder Error: Values list "ETL_<A>_<B>_<C>" does not have Pipelineafextyc7prod, eng-internal, local, demo16.3.21, 16.3.226795▲ 197%
18Erro de DI (Autofac)ComponentNotRegisteredException: Error processing IOutputStep 29639. The requestBackinternal3local, eng-internal16.3.21, 16.3.22194— estável
19Erro de banco/SQLPostgresException: 42601: syntax error at or near 'db_cadastral_analytics' in coBackdattos (BTG)1prod15.4.115592— estável
20Falha EF/DBNullReferenceException: Object reference not set — MatchingService.ValidateConteBackdattos (BTG)12prod, eng-internal, local15.4.11, 16.3.202874— estável
21Falha EF/DBArgumentNullException: Value cannot be null. Parameter name: entity — DbEntitySeBackgaspar12prod, eng-internal, local15.4.11, 16.3.201158— estável
22Bloqueio SSRF (proteção)SsrfException: URL 'https://horizontal-sim-treat-consult.trycloudflare.com/...' Backeng-develop4dev, eng-internal, prod16.3.21, 16.3.221350▲ 28%
23Arquivo ausente (PDF/staging)IO Error (staging DuckDB): IO Error: Cannot open database '/mnt/local/<uuid>/<stPipeline+Matchingsales7prod, eng-internal, demo16.3.21, 16.3.222050▲ 163%
24Arquivo ausente (PDF/staging)FileNotFoundException: File not found on storage Ttl — import\PAN\{data}\portal\Backdattos (BTG)4prod, eng-internal15.4.11, 16.3.201445— estável
25Arquivo ausente (PDF/staging)DirectoryNotFoundException: Could not find a part of the path 'd:\ccr\ttl\importBackccr1prod16.3.20, 16.3.221236— estável
26Falha HTTP downstreamJsonReaderException: DataEngine returned non-parseable JSON on route 'staging/stBackeng-hotfix4eng-internal, hom, prod16.3.21, 16.3.22431▼ 26%
27Arquivo fonte inválido (ETL)xlsx/worksheet (Pipeline): Error: Excel xlsx file; not supported / Worksheet namPipelinetbmtextil5prod, demo16.3.21, 16.3.221824NOVO
28Erro de schema ETL (DuckDB)Conversion Error: Conversion Error: Could not convert string '' / 'SET' to INT32PipelineNoWebsite10other, prod, demo16.3.21, 16.3.22915— estável
29Erro de banco/SQLNpgsqlException: Erro durante importação — The operation has timed out (IsTransiBackdattos (BTG)1prod15.4.11612— estável
30Permissão negada (RBAC)AuthorizationException: Você não tem permissão para configurar um Processo (AnalBackfinanceiro3prod16.3.20, 16.3.2109— estável
31Falha EF/DBInvalidCastException: Reading as 'System.Object' is not supported for fields havBackinternal2local, prod15.4.11, 16.3.2137— estável
32Erro de banco/SQL(none): Cannot open database 'AB_CONTABIL': Login failed for user 'GRUPOBRSA\sysBackapp1prod14.8.426▼ 25%
33Falha HTTP downstreamHttpException: The remote host closed the connection (0x800704CD)Backzaffari3prod16.3.20, 16.3.2226— estável
34Falha EF/DBDependencyResolutionException: Exception activating ApiKeyService -> DattosDbConBackNoWebsite1other16.3.2006— estável
35Erro de schema ETL (DuckDB)Binder/DuckDB (edit rows): Failed to update rows in 'test_table': Binder Error: DataEnginelocal-maiglon2local16.3.2166— estável
36Timeout Redis (sessão)RedisTimeoutException: Timeout performing PSETEX (5000ms), next: PSETEX <uuid>:sBackeng-hotfix1eng-internal16.3.2255NOVO
37Falha HTTP downstreamTaskCanceledException: [SetFileStatusAsync] Failed to set file status — /MFT-CARBackcsf-qa3prod16.3.20, 16.3.2225▲ 67%
38Erro de banco/SQLMySqlException: Unable to connect to any of the specified MySQL hosts (import exBackdattos (BTG)1prod15.4.1105▼ 38%
39Falha de storage (S3)AmazonS3Exception: User arn:aws:iam::...:user/dattos-s3-user-csf-qa is not authoBackcsf2prod16.3.21, 16.3.2214▲ 33%
40Arquivo ausente (PDF/staging)UnauthorizedAccessException: Access to the path 'd:\ipiranga\ttl\import\SFTP\ConBackipiranga1prod16.3.20, 16.3.2213NOVO
41Job/fluxo Hangfire falhandoBackgroundJobClientException: Failed to execute job ISendEmailJob. Background joBackcsf1prod16.3.2103— estável