▲
- Claude, da Anthropic, pode ser até 30% mais caro para empresas que usam IA comparado ao GPT da OpenAI.
- Se você está considerando a implementação de IA, é essencial entender os custos envolvidos.
- Essa diferença nos custos ocorre devido a métodos distintos de tokenização entre os modelos.
- A escolha do modelo pode impactar significativamente as despesas operacionais em projetos de IA.
Você sabia que os modelos de IA da Anthropic, como o Claude, podem sair até 30% mais caros do que o GPT da OpenAI para empresas? Apesar de terem preços similares por token, a forma como cada um “entende” e processa o texto pode gerar custos extras. Vamos explorar esses detalhes e entender por que essa diferença acontece na prática.
Custos do Claude para empresas: A pegadinha da tokenização
É sabido que diferentes famílias de modelos de linguagem usam diferentes métodos de tokenização. Mas o que isso significa? A tokenização é o processo de quebrar o texto em unidades menores (tokens) para que o modelo possa processá-lo. O problema é que nem todos os tokenizers fazem isso da mesma forma, e essa diferença pode ter um impacto significativo nos custos.
Neste artigo, vamos comparar dois modelos de ponta: ChatGPT da OpenAI e Claude da Anthropic. Apesar de os preços por token serem competitivos, testes mostram que os modelos da Anthropic podem ser de 20 a 30% mais caros do que os modelos GPT. Vamos entender o porquê!
Preços da API: Claude 3.5 Sonnet vs GPT-4o
Em junho de 2024, os preços dos modelos Claude 3.5 Sonnet da Anthropic e GPT-4o da OpenAI eram bem parecidos. Ambos tinham o mesmo custo para tokens de saída, mas o Claude 3.5 Sonnet oferecia um custo 40% menor para tokens de entrada.
Apesar dessa vantagem inicial, observou-se que o custo total para rodar experimentos com o GPT-4o era menor em comparação com o Claude Sonnet-3.5. Mas por quê? A resposta está na “ineficiência do tokenizer“.
Leia também:
A ineficiência oculta do tokenizer
O tokenizer da Anthropic tende a dividir a mesma entrada de texto em mais tokens do que o da OpenAI. Isso significa que, para os mesmos comandos, os modelos da Anthropic acabam produzindo mais tokens. No final das contas, o custo mais baixo por token de entrada do Claude 3.5 Sonnet é compensado pelo aumento na quantidade de tokens, elevando o custo total.
Essa diferença surge da forma como o tokenizer da Anthropic codifica as informações, usando mais tokens para representar o mesmo conteúdo. Esse “inchaço” no número de tokens impacta diretamente nos custos e na utilização da janela de contexto. Para desenvolvedores iOS, é crucial considerar essa diferença ao otimizar aplicativos.
Ineficiência do tokenizer dependente do domínio
A forma como o tokenizer da Anthropic processa diferentes tipos de conteúdo varia, resultando em diferentes níveis de aumento na contagem de tokens em comparação com os modelos da OpenAI. A comunidade de pesquisa em IA já notou diferenças similares aqui. Foram realizados testes em três áreas populares: artigos em inglês, código (Python) e matemática.
Ao comparar o Claude 3.5 Sonnet com o GPT-4o, a ineficiência do tokenizer varia bastante entre os tipos de conteúdo. Para artigos em inglês, o tokenizer do Claude produz cerca de 16% mais tokens do que o GPT-4o para o mesmo texto. Esse percentual aumenta com conteúdos mais técnicos: para equações matemáticas, o aumento é de 21%, e para código Python, o Claude gera 30% mais tokens.
Essa variação acontece porque conteúdos técnicos e códigos geralmente têm padrões e símbolos que o tokenizer da Anthropic fragmenta em partes menores, aumentando a contagem de tokens. Já conteúdos em linguagem natural tendem a ter um aumento menor.
Outras implicações práticas da ineficiência do tokenizer
Além do impacto direto nos custos, a ineficiência do tokenizer também afeta a utilização da janela de contexto. Embora os modelos da Anthropic anunciem uma janela de contexto maior (200K tokens) em comparação com os 128K da OpenAI, o espaço utilizável pode ser menor devido à verbosidade. Isso significa que pode haver uma diferença entre o tamanho da janela de contexto “anunciada” e a “efetiva”.
No mundo da tecnologia, a busca por inovação é constante, e isso se reflete em diversas áreas. Recentemente, a AWS superou a Microsoft e liderou a receita na nuvem em 2025, mostrando como a competição e os avanços tecnológicos estão sempre presentes.
Implementação de tokenizers
Os modelos GPT usam a Byte Pair Encoding (BPE), que junta pares de caracteres que aparecem com frequência para formar tokens. Os modelos GPT mais recentes usam o tokenizer de código aberto o200k_base. Os tokens usados pelo GPT-4o (no tokenizer tiktoken) podem ser vistos aqui.
JSON
{
#reasoning
"o1-xxx": "o200k_base",
"o3-xxx": "o200k_base",
# chat
"chatgpt-4o-": "o200k_base",
"gpt-4o-xxx": "o200k_base", # e.g., gpt-4o-2024-05-13
"gpt-4-xxx": "cl100k_base", # e.g., gpt-4-0314, etc., plus gpt-4-32k
"gpt-3.5-turbo-xxx": "cl100k_base", # e.g, gpt-3.5-turbo-0301, -0401, etc.
}
Infelizmente, não há muita informação disponível sobre os tokenizers da Anthropic, já que eles não são tão acessíveis quanto os da GPT. A Anthropic lançou sua Token Counting API em dezembro de 2024, mas ela foi descontinuada em versões posteriores de 2025.
A Latenode informa que “a Anthropic usa um tokenizer único com apenas 65.000 variações de tokens, comparado com as 100.261 variações da OpenAI para o GPT-4“. Este Colab notebook contém código Python para analisar as diferenças de tokenização entre os modelos GPT e Claude. Outra ferramenta que permite interagir com alguns tokenizers comuns e disponíveis publicamente valida nossas descobertas.
A capacidade de estimar proativamente a contagem de tokens (sem usar a API do modelo) e planejar os custos é essencial para empresas que usam IA. O custos do Claude para empresas pode ser otimizado com essa previsão.
Principais conclusões
- Preços competitivos da Anthropic escondem custos: Apesar do Claude 3.5 Sonnet oferecer custos 40% menores para tokens de entrada em comparação com o GPT-4o da OpenAI, essa vantagem pode ser enganosa devido às diferenças na forma como o texto é tokenizado.
- Ineficiência oculta do tokenizer: Os modelos da Anthropic são inerentemente mais verbosos. Para empresas que processam grandes volumes de texto, entender essa diferença é crucial para avaliar o custo real de implantação dos modelos.
- Ineficiência do tokenizer dependente do domínio: Ao escolher entre os modelos da OpenAI e da Anthropic, avalie a natureza do seu texto de entrada. Para tarefas de linguagem natural, a diferença de custo pode ser mínima, mas domínios técnicos ou estruturados podem levar a custos significativamente maiores com os modelos da Anthropic.
- Janela de contexto efetiva: Devido à verbosidade do tokenizer da Anthropic, sua janela de contexto maior (200K tokens) pode oferecer menos espaço utilizável do que os 128K da OpenAI, levando a uma diferença potencial entre a janela de contexto anunciada e a real.
A Anthropic não respondeu aos pedidos de comentários da VentureBeat até o momento da publicação. Atualizaremos a matéria caso eles respondam.
Este conteúdo foi auxiliado por Inteligência Artificiado, mas escrito e revisado por um humano.
Via VentureBeat