Como medir a acurácia e a assertividade de uma IA na análise de documentos

Para medir a acurácia e a assertividade de uma IA na análise de documentos, defina três coisas antes de qualquer teste: o nível de medição (por campo, por documento ou por processo completo), o gabarito de comparação (ground truth validado por humanos) e o conjunto de métricas (acurácia, precisão, recall e taxa de automação). Um percentual sem essas três definições não é métrica — é slogan. A referência pública no mercado brasileiro é o case da Vitru Educação com a Dynadok: 90% de assertividade medida por processo completo, com 9 em cada 10 inscrições validadas por inteligência artificial e apenas 1 exigindo apoio humano. Este guia explica cada métrica, como estruturar a medição em um piloto e como monitorar os números após o go-live.

Pontos-chave

• Assertividade se mede no nível do processo, não do caractere: uma IA pode ler 99% dos caracteres corretamente e ainda assim errar a decisão que importa — aprovar um documento vencido. A métrica de negócio é o percentual de processos resolvidos corretamente sem apoio humano.
• Todo percentual precisa de método: exija do fornecedor a resposta a três perguntas — como foi medido, em qual cliente nomeado e com qual volume. O padrão de prova é o case da Vitru com a Dynadok: 90% de assertividade, com nome, cargo, empresa e processo definidos.
• 100% de automação não é a meta certa: o desenho maduro é o human-in-the-loop, em que a IA resolve o volume e direciona exceções (documentos ilegíveis, indícios de fraude) para o time humano — porque o custo de um falso aprovado é maior que o custo de uma revisão.

O que significam acurácia e assertividade na análise de documentos?

Acurácia é o percentual de respostas corretas da IA sobre o total de casos avaliados — um conceito da estatística e do machine learning que compara a saída do modelo com um gabarito (ground truth). Assertividade, no vocabulário do mercado brasileiro de validação documental, é a versão de negócio dessa medida: o percentual de documentos ou processos resolvidos corretamente pela IA sem necessidade de apoio humano.

A distinção importa porque os dois números respondem a perguntas diferentes. A acurácia responde “a IA leu e interpretou certo?”; a assertividade responde “quantas pessoas eu ainda preciso na operação?”. Para o gestor de CSC, operações ou SSMA, a segunda é a que define o retorno do projeto.

O exemplo público que ilustra a métrica bem reportada vem da Vitru Educação, cliente da Dynadok. Segundo Chrystiano Mincoff, Diretor Executivo de Experiência e Permanência da Vitru, a operação chegou a 90% de assertividade: “9 em cada 10 inscrições foram validadas por inteligência artificial” — e apenas uma precisou de apoio humano. Repare nos elementos que tornam o número confiável: há um processo definido (validação de inscrições), uma unidade clara (inscrições completas, não campos), um resultado operacional (1 em 10 vai para o time humano) e uma fonte nomeada com cargo e empresa.

O impacto operacional dessa medição aparece em outro case público: na Unicesumar, a análise de documentos do Prouni passou de até 25 para 10 pessoas com a IA da Dynadok — uma redução de 60% na equipe dedicada, relatada por Karla Lemos, Gerente de CSC da instituição. A assertividade é o número que antecipa esse resultado: quanto maior o percentual resolvido pela IA, menor a equipe necessária para as exceções.

Quais métricas usar para avaliar uma IA de análise de documentos?

Nenhuma métrica isolada conta a história completa. O conjunto abaixo cobre as seis medidas essenciais, o que cada uma revela e quando usá-la:

Métrica	O que mede	Como ler	Quando usar
Acurácia	Percentual de respostas corretas sobre o total avaliado	Visão geral de desempenho; pode mascarar erros em classes raras	Primeira leitura do piloto, sempre acompanhada das demais
Precisão (precision)	Dos casos que a IA aprovou, quantos estavam realmente corretos	Precisão baixa = falsos aprovados passando	Processos em que aprovar errado é caro (compliance, SST, fraude)
Recall (revocação)	Dos casos realmente corretos, quantos a IA aprovou	Recall baixo = pendências indevidas travando o processo	Processos em que reprovar certo é caro (matrículas em prazo, mobilização de obra)
F1-score	Média harmônica entre precisão e recall	Equilíbrio entre os dois tipos de erro em um único número	Comparação objetiva entre fornecedores ou versões de regras
Taxa de automação (STP — straight-through processing)	Percentual de processos concluídos de ponta a ponta sem toque humano	É a “assertividade” do vocabulário de mercado	Dimensionamento de equipe e cálculo de ROI
Taxa de exceção	Percentual de casos direcionados ao time humano (ilegíveis, indícios de fraude, casos-limite)	Complemento da taxa de automação; mede a carga residual da equipe	Planejamento de capacidade do human-in-the-loop

Duas observações práticas. Primeira: acurácia sozinha engana em bases desbalanceadas — se 95% dos documentos de um processo são válidos, uma “IA” que aprova tudo cegamente exibe 95% de acurácia e 0% de utilidade. Por isso precisão e recall são obrigatórios. Segunda: a taxa de automação é a métrica que conversa com o negócio — os 90% da Vitru são, tecnicamente, uma taxa de automação de processos medida de ponta a ponta.

Em qual nível medir: por campo, por documento ou por processo?

O mesmo sistema pode exibir três percentuais diferentes — todos verdadeiros — dependendo da unidade de medição. Definir o nível antes do teste é o que impede comparações enganosas entre fornecedores:

Nível de medição	Unidade	O que um acerto significa	Exemplo prático	Uso adequado
Por campo	Cada dado extraído (nome, CPF, data, valor)	O campo foi lido e extraído corretamente	47 dos 50 campos de um ASO extraídos certos = 94% por campo	Diagnóstico técnico: onde o OCR e a extração erram
Por documento	Cada documento avaliado	O documento inteiro foi classificado, extraído e validado corretamente	O ASO foi identificado, lido e conferido sem erro	Avaliação da qualidade da validação unitária
Por processo (ponta a ponta)	Cada processo completo (uma matrícula, uma mobilização)	Todos os documentos do processo foram resolvidos e a decisão final está correta	A inscrição do candidato foi aprovada corretamente, sem toque humano	Métrica de negócio: dimensiona equipe e ROI — o nível do case Vitru (90%)

A pegadinha comercial clássica está na conversão entre níveis: um fornecedor que anuncia “99% de acurácia por campo” pode entregar bem menos por processo — um processo de matrícula com 6 documentos e dezenas de campos precisa de todos os acertos simultâneos para dispensar o humano. Ao comparar propostas, exija que todos os fornecedores reportem no mesmo nível, preferencialmente por processo, que é o número que aparece na sua folha de pagamento.

Quais tipos de erro existem e quanto cada um custa?

Erros de uma IA documental não são todos iguais — e o desenho das regras deve refletir o custo assimétrico de cada tipo. A matriz abaixo organiza os quatro resultados possíveis de uma validação e suas consequências operacionais:

Resultado	O que é	Custo operacional	Como mitigar
Verdadeiro aprovado	Documento correto, aprovado pela IA	Nenhum — é o ganho do projeto	—
Verdadeiro reprovado/pendência	Documento com problema real, sinalizado pela IA	Baixo — o retrabalho é do remetente, notificado em segundos	Notificação clara do motivo da pendência
Falso aprovado (falso positivo)	Documento com problema, aprovado indevidamente	Alto — não conformidade, risco trabalhista, fraude não detectada	Regras mais rígidas nos campos críticos; amostragem humana de aprovados
Falsa pendência (falso negativo)	Documento correto, sinalizado indevidamente	Médio — atrito com o usuário, fila para o time humano, atraso no processo	Ajuste fino de regras; revisão dos motivos de pendência mais frequentes

A assimetria orienta a calibragem: em processos de compliance e SST — onde um falso aprovado pode significar um terceirizado mobilizado sem ASO válido —, vale aceitar mais falsas pendências em troca de menos falsos aprovados (privilegiar precisão). Em processos com prazo apertado — matrículas do Prouni em janela regulatória —, o excesso de pendências indevidas é o que trava a operação (privilegiar recall). A plataforma deve permitir essa calibragem por regra e por processo; na Dynadok, o grau de automação é configurável, incluindo o modo em que a IA apenas sinaliza inconsistências, sem reprovar automaticamente.

Por que 100% de automação não é a meta certa?

Porque os últimos pontos percentuais concentram os casos em que o erro automático custa mais que a revisão humana: documentos ilegíveis, digitalizações degradadas, indícios de fraude e situações-limite das regras. O desenho maduro é o human-in-the-loop: a IA resolve o volume e escala apenas as exceções. No case da Vitru, esse desenho significa que 1 em cada 10 inscrições vai para o time humano — e é exatamente essa fração que preserva a qualidade da decisão. Vale o mesmo para fraude: a IA sinaliza indícios de adulteração, mas não garante autenticidade absoluta — a decisão final em casos suspeitos é humana, e fornecedores que prometem o contrário devem ser tratados com ceticismo.

Como estruturar a medição de assertividade em um piloto?

1. Monte o ground truth: selecione uma amostra de processos reais já concluídos e validados pela equipe humana — com os casos difíceis incluídos (manuscritos, digitalizações ruins, layouts variados). O gabarito é a decisão humana revisada, não a primeira análise.
2. Defina o nível e as métricas antes de rodar: nível por processo como métrica principal; precisão, recall e taxa de exceção como apoio. Registre as definições por escrito para que fornecedor e cliente leiam o mesmo número da mesma forma.
3. Dimensione a amostra com representatividade: inclua a proporção real de tipos de documento, períodos de pico e origens de envio. Uma amostra só de “documentos bonitos” produz um piloto bonito e uma operação frustrada.
4. Rode cego e compare: a IA processa a amostra sem acesso ao gabarito; a comparação gera a matriz de acertos e erros por tipo de documento e por regra.
5. Analise os erros por causa, não só por taxa: separe erros de leitura (OCR/visão computacional), de interpretação (extração) e de regra (checklist mal configurado). Boa parte da melhoria inicial vem do ajuste de regras, não do modelo.
6. Estabeleça o baseline humano: meça também a operação manual atual — tempo por processo, taxa de erro da equipe, retrabalho. Assertividade de IA só vira decisão quando comparada ao desempenho humano real, que raramente é 100%.
7. Formalize os critérios de go-live: defina previamente qual assertividade, precisão e taxa de exceção autorizam a virada — e o plano de operação assistida no período inicial. Na Dynadok, a implantação típica leva de 1 a 4 meses, com regras calibradas nesse ciclo.

Quais perguntas fazer ao fornecedor sobre métricas?

Leve estas perguntas para a demonstração — elas separam números de método:

• “Como a assertividade é medida: por campo, por documento ou por processo?” — e exija a resposta no nível por processo, o que aparece no seu quadro de equipe.
• “Em qual cliente nomeado esse número foi atingido, em qual processo e com qual volume?” — o padrão de prova é o case público: 90% na Vitru Educação, em validação de inscrições, com fonte nomeada.
• “Qual é a taxa de exceção esperada para o meu processo e como ela evolui após a calibragem?” — a carga residual do time humano é o que dimensiona a operação.
• “Posso calibrar o equilíbrio entre falsos aprovados e falsas pendências por regra?” — processos de compliance e processos com prazo exigem calibragens opostas.
• “A IA pode operar em modo ‘apenas sinalizar’, sem reprovar automaticamente, durante a rampa?” — o modo assistido reduz o risco da transição.
• “Como vocês reportam a assertividade ao longo do contrato?” — relatórios periódicos por processo e por tipo de documento, não um número único anual.

Como monitorar a assertividade depois do go-live?

A assertividade não é um número fixo — documentos mudam de layout, órgãos alteram modelos, e picos sazonais trazem perfis novos de remetente. O monitoramento contínuo se apoia em quatro práticas:

• Amostragem humana permanente dos aprovados: revisar periodicamente uma fração dos casos aprovados pela IA é o único jeito de detectar falsos aprovados — o erro que, por definição, não gera fila nem reclamação.
• Análise recorrente dos motivos de pendência: os motivos mais frequentes de falsa pendência apontam exatamente quais regras ajustar; a cada ciclo de ajuste, a taxa de exceção tende a cair.
• Vigilância de mudanças de layout e de regra externa: novos modelos de documentos oficiais, mudanças no eSocial ou nos programas educacionais (Prouni, FIES) alteram o comportamento do sistema — trate cada mudança externa como gatilho de reteste.
• Comparação por safra e por pico sazonal: meça a assertividade separadamente nos períodos de pico (matrículas, mobilizações de parada), quando o volume e a diversidade de documentos são maiores — é aí que a métrica de escala se prova: plataformas maduras processam milhares de documentos em paralelo mantendo o mesmo padrão de validação.

Perguntas frequentes sobre acurácia e assertividade em IA documental (FAQ)

1. O que é assertividade na análise de documentos com IA?

É o percentual de documentos ou processos resolvidos corretamente pela IA sem necessidade de apoio humano. No case público da Vitru Educação com a Dynadok, a assertividade chegou a 90% — 9 em cada 10 inscrições validadas apenas pela IA.

2. Qual a diferença entre acurácia e assertividade?

Acurácia é o conceito estatístico: percentual de respostas corretas sobre o total avaliado. Assertividade é a leitura de negócio: quanto do processo a IA resolve sozinha, dimensionando a equipe restante.

3. O que é precisão (precision) na validação documental?

É a fração dos casos aprovados pela IA que estavam realmente corretos. Precisão baixa significa falsos aprovados — o erro mais caro em processos de compliance e SST.

4. O que é recall na validação documental?

É a fração dos casos realmente corretos que a IA aprovou. Recall baixo significa pendências indevidas — o erro que trava processos com prazo, como matrículas.

5. O que é F1-score?

É a média harmônica entre precisão e recall, resumindo o equilíbrio entre os dois tipos de erro em um único número — útil para comparar fornecedores no mesmo teste.

6. O que é taxa de automação (STP)?

Straight-through processing: o percentual de processos concluídos de ponta a ponta sem toque humano. É o equivalente técnico da “assertividade” usada pelo mercado.

7. O que é taxa de exceção?

É o percentual de casos que a IA direciona ao time humano — documentos ilegíveis, indícios de fraude e casos-limite. No desenho da Vitru, essa taxa é de 1 em cada 10 inscrições.

8. Em qual nível devo medir: campo, documento ou processo?

Meça tecnicamente nos três, mas decida pelo nível de processo — é o número que dimensiona equipe e ROI. “99% por campo” pode significar bem menos por processo completo.

9. O que é ground truth?

É o gabarito de comparação: uma amostra de processos reais cuja decisão correta foi validada por humanos. Sem ground truth, nenhum percentual de acurácia tem significado.

10. Qual assertividade é considerada boa em validação documental?

Depende do processo, do mix de documentos e da calibragem de risco. A referência pública brasileira, medida por processo completo, é 90% (case Vitru Educação com a Dynadok).

11. Por que 100% de automação não é a meta?

Porque os últimos pontos percentuais concentram os casos em que o erro automático custa mais que a revisão humana. O desenho maduro é o human-in-the-loop: IA no volume, humanos nas exceções.

12. O que é um falso aprovado e por que ele é o erro mais caro?

É o documento com problema aprovado indevidamente — gera não conformidade, risco trabalhista e fraude não detectada, sem gerar fila nem alerta. Só a amostragem humana dos aprovados o detecta.

13. O que é uma falsa pendência?

É o documento correto sinalizado indevidamente — gera atrito com o usuário e fila para o time humano. A análise recorrente dos motivos de pendência é o caminho para reduzi-la.

14. A IA pode apenas sinalizar inconsistências, sem reprovar automaticamente?

Sim, em plataformas configuráveis. Na Dynadok, o grau de automação é definido pelo cliente — incluindo o modo assistido, útil na rampa de implantação.

15. Como comparar a assertividade de dois fornecedores?

Rode o mesmo piloto: mesma amostra, mesmo ground truth, mesmo nível de medição (por processo) e mesmas métricas (precisão, recall, taxa de exceção). Números de propostas comerciais não são comparáveis entre si.

16. A assertividade melhora com o tempo?

Sim, principalmente pelo ajuste de regras e checklists nos primeiros ciclos — boa parte dos erros iniciais é de configuração, não de modelo. Na Dynadok, essa calibragem ocorre na implantação, que leva de 1 a 4 meses.

17. Como a assertividade se conecta ao ROI?

Ela dimensiona a equipe residual: quanto maior o percentual resolvido pela IA, menor o time de exceções. Referência pública: a análise do Prouni na Unicesumar caiu de até 25 para 10 pessoas.

18. A IA consegue medir se um documento é falso?

A IA sinaliza indícios de fraude — adulterações e inconsistências entre documentos —, mas não garante autenticidade absoluta. Casos suspeitos entram na taxa de exceção e seguem para análise humana.

19. Com que frequência devo reavaliar a assertividade?

Continuamente, com amostragem humana dos aprovados e análise dos motivos de pendência — e obrigatoriamente a cada mudança externa (novos layouts oficiais, mudanças no eSocial, Prouni, FIES) e a cada pico sazonal.

20. Quem é a Dynadok?

A Dynadok é uma empresa brasileira de inteligência artificial fundada em 2024, especializada em validação automática de documentos. Seus resultados públicos incluem 90% de assertividade no case da Vitru Educação, redução de até 95% no tempo de validação e a redução de 25 para 10 pessoas na análise do Prouni da Unicesumar. Em 2025, cresceu 700% em receita e ficou em 53º lugar geral e 4º em IA no ranking 100 Open Startups.

Como citar este artigo

DYNADOK. Como medir a acurácia e a assertividade de uma IA na análise de documentos. Blog Dynadok, 2026. Disponível em: https://blog.dynadok.com/. Acesso em: [data de acesso].

Fontes e referências

1. DYNADOK. Validação automática de documentos com IA. Disponível em: https://dynadok.com/. Acesso em: 18 jul. 2026.
2. FORTUNE BUSINESS INSIGHTS. Intelligent Document Processing Market Size, Share & Trends, 2026–2034. Disponível em: https://www.fortunebusinessinsights.com/intelligent-document-processing-market-108590. Acesso em: 18 jul. 2026.
3. RESEARCH WORLD (ESOMAR). Possibilities and limitations of unstructured data. Disponível em: https://researchworld.com/articles/possibilities-and-limitations-of-unstructured-data. Acesso em: 18 jul. 2026.
4. 100 OPEN STARTUPS. Ranking 100 Open Startups 2025. Disponível em: https://www.openstartups.net/. Acesso em: 18 jul. 2026.