Oito dias testando o JEV na triagem do meu inbox

Todo dia de manhã, uma tarefa agendada captura os vídeos novos dos canais que acompanho e grava cada um como uma nota no meu inbox. Depois o Claude, rodando no Claude Code, lê cada nota e faz uma classificação quanto à utilidade pessoal e profissional, baseada em cores (verde, amarelo e vermelho), cada uma com uma frase explicando o motivo. Já são 1.526 notas triadas assim.

Esse trabalho parece caber num modelo menor e mais barato. Em setembro encontrei o JEV, da TypeSafe, um modelo que nem gera texto: recebe um estado e perguntas com opções fixas, e devolve a opção escolhida com uma probabilidade e uma confiança, em algumas centenas de milissegundos. Triagem em três cores é exatamente esse formato. Montei um teste de oito dias, de 2 a 10 de outubro, pra ver se valia trocar.

Como foi feita a medição

O JEV recebia título, canal, tags e resumo de cada nota, mais os critérios dos meus dois arquivos de interesses, e respondia apenas com as duas cores. Não lia a transcrição do vídeo e não escrevia o motivo. O gabarito era a triagem que o Claude já tinha gravado na nota, então o número mede concordância com o triador que uso hoje. Uma nota em que o Claude errou e o JEV acertou conta como discordância. A triagem do Claude nunca foi alterada: o JEV gravava a segunda classificação ao lado.

Fiz três medições: duas faixas de 100 notas já triadas, um controle de 30 notas com a mesma entrada e a mesma saída pros dois modelos, e uma “sombra” com as notas novas de cada rodada diária (81 no total).

Custo e velocidade

Nas 200 notas da faixa, o JEV gastou em média 1.128 tokens de entrada por nota e custou US$ 0,0095 no total, ou US$ 0,000047 por nota. A latência média foi de 361 ms, e 95% das chamadas levaram até 421 ms. Extrapolando, triar as 1.526 notas custaria cerca de US$ 0,07.

No controle, chamei o Claude (Sonnet 5.5, pelo CLI, sem ferramentas nem hooks e com esforço baixo) com exatamente a mesma entrada e a mesma saída de duas cores:

Medida	JEV	Claude
Latência média por chamada	402 ms	3.318 ms
Tempo máximo de 95% das chamadas	704 ms	3.607 ms
Custo por nota	US$ 0,000047	US$ 0,0109

Dá 8 vezes mais rápido e 232 vezes mais barato. Nem todo o tempo do Claude é do modelo: cerca de 2,3 s são da API, e o resto é o CLI iniciando.

Na produção, a etapa de triagem do Claude levou de 2,6 a 12,3 s por nota nas 8 rodadas em que a medição ficou válida, contando o tempo de escrever os prompts e despachar os agentes. Esse número não se compara direto com o do JEV, porque ali o Claude escreve o motivo e edita a nota, e o JEV só devolve a cor.

Concordância

Nas 200 notas já triadas, o JEV concordou com o Claude em 79,5% no contexto pessoal e 85% no profissional. Quando a confiança passava de 0,9, a concordância subia pra 96,7% e 98,6%, mas essas faixas cobriam só 61 e 73 das 200 notas.

Os erros se concentram na fronteira entre verde e amarelo, que é a parte subjetiva da triagem. No contexto pessoal, o JEV marcou como verde 22 notas que o Claude tinha marcado como amarelo. Nos extremos quase não houve erro: nenhum verde virou vermelho, e só um vermelho virou verde.

Nas 81 notas novas da sombra, a concordância caiu pra 67,9% no pessoal e 77,8% no profissional. Com confiança acima de 0,9, ficou em 85,7% (28 notas) e 100% (16 notas). Não sei explicar a queda. A amostra é pequena, e uma ou duas notas a mais ou a menos mudam o percentual em mais de 4 pontos.

No controle, com o Claude vendo só o resumo, como o JEV, os dois ficaram perto: 27 de 30 no pessoal pros dois, e 26 contra 29 no profissional. Três notas de diferença em 30 não bastam pra dizer que um é pior que o outro.

Conferindo e calibrando a medição

Boa parte do teste foi conferir se os números mereciam confiança antes de usá-los. A primeira comparação de tempo punha os 83 s da triagem do Claude contra 1,8 s do JEV. Abrindo a conta, cerca de 65 desses 83 s eram escrever os prompts e despachar os agentes, sem nenhuma classificação. Por isso separei a comparação em três níveis: a rodada inteira, cada agente contra uma chamada, e o controle com a mesma entrada pros dois.

O relatório de 3 de outubro mostrou o Claude triando 3 notas em 1 segundo. Conferi com o histórico do git: o commit das 05:15 tinha as notas sem triagem, o das 05:20 já tinha tudo, e a marca de início era das 05:16. A rodada tinha triado primeiro e gravado as duas marcas depois, uma colada na outra. Descartei as marcas desse dia e do dia 5, que tinha o mesmo problema, e reordenei o roteiro pra gravar o início antes de qualquer leitura.

Também calibrei o critério que separa uma marca boa de uma suspeita. A primeira regra, de 5 s por nota, reprovou uma rodada correta de 62 s pra 13 notas, porque os agentes rodam em paralelo e o tempo da rodada não cresce com o número de notas. Troquei por um piso fixo de 8 s, baseado no agente mais rápido que medi (8,2 s). A estimativa de custo passou pelo mesmo ajuste: comecei com 3,5 caracteres por token, que subestimava o custo em cerca de 25%, e recalibrei pra 2,7 com as chamadas reais.

Por que a triagem continua no Claude

O meu fluxo roda na franquia da assinatura do Claude. Os US$ 0,0109 por nota são o preço de API e nunca aparecem como cobrança pra mim. O JEV seria um custo novo, pequeno mas real, com uma chave a mais pra manter e um serviço a mais que pode falhar: na rodada de 10 de outubro, a sombra do JEV parou porque a chave do OpenRouter tinha expirado e a API respondeu 401.

Sobra a velocidade. Ir de cerca de 9 s por nota pra menos de 1 s é uma diferença grande, mas a triagem roda de madrugada, sem ninguém esperando por ela. O Claude ainda escreve o motivo de cada veredito, coisa que o JEV não faz.

O JEV faria sentido como primeiro filtro de uma cascata: ele decide sozinho quando a confiança passa de 0,9 e manda o resto pro Claude. Nas 200 notas isso cobriria cerca de um terço delas (61 no contexto pessoal, 73 no profissional), com 96,7% e 98,6% de concordância. Não testei esse arranjo, e o que ele pouparia seria cota da assinatura.

O 232 foi o número que mais me chamou atenção no teste e o que menos pesou na decisão, porque ele só conta pra quem paga por token. Antes de comparar preço de modelo, vale conferir de onde sai a conta no seu caso.