ac_estimate_tokens() estima o número de tokens de entrada que um texto
vai consumir, usando uma heurística de caracteres por token. Util para
prever o custo de uma rodada de ac_qual_code() ou para detectar, antes
de enviar ao LLM, documentos que provavelmente excederao a janela de
contexto do modelo.
E uma estimativa deliberadamente barata: não faz nenhuma chamada de rede
nem depende do tokenizador exato de um modelo específico (que varia por
provedor e as vezes nem e público). Para calibrar a heurística contra um
modelo real, use ac_calibrate_tokens() com uma amostra pequena de
textos.
Arguments
- text
Vetor de caracteres com os textos.
- chat
Ignorado nesta versao (reservado para uma futura estimativa específica de provedor via
chat$token_count()). Receber o argumento já na assinatura evita quebrar código que o passar.- chars_per_token
Caracteres por token, usado para a estimativa. Padrao
3.2(razoável para português via BPE; varia por tokenizador e idioma). Calibre comac_calibrate_tokens()se precisar de precisao maior para um modelo específico.
Examples
ac_estimate_tokens("Este e um texto de exemplo para estimar tokens.")
#> [1] 15
ac_estimate_tokens(c("texto curto", "um texto um pouco mais longo que o anterior"))
#> [1] 4 14