▲
- Os modelos Claude podem sair até 30% mais caros que os GPT em empresas.
- Essa diferença de custo se deve ao aumento na contagem de tokens na tokenização.
- Empresas devem considerar esse fator ao escolher entre Claude e GPT.
- A conversa na comunidade de IA sobre os métodos de tokenização é importante para entender essas variações.
Você sabia que os custos de implementação de IA podem ter algumas surpresas? Modelos como o Claude, da Anthropic, podem sair até 30% mais caros que o GPT da OpenAI para empresas. Vamos entender por que essa diferença acontece e como ela pode impactar o seu bolso.
Custos do Claude em empresas: Por que ele pode pesar mais no bolso?
É fato que diferentes famílias de modelos de IA usam diferentes tokenizers. Mas, pouco se fala sobre como o processo de “tokenização” varia entre eles. Será que todos os tokenizers entregam o mesmo número de tokens para um texto? E, se não, qual a diferença? Será que essa diferença é grande o suficiente para importar?
Neste artigo, vamos explorar essas perguntas e analisar o impacto prático da variação na tokenização. Vamos comparar duas famílias de modelos de ponta: o ChatGPT da OpenAI e o Claude da Anthropic. Apesar de terem preços por token bem parecidos, alguns testes mostram que os modelos da Anthropic podem custar de 20 a 30% a mais que os modelos GPT.
Comparativo de preços: Claude 3.5 Sonnet vs GPT-4o
Em junho de 2024, os preços desses dois modelos avançados eram bem competitivos. Tanto o Claude 3.5 Sonnet da Anthropic quanto o GPT-4o da OpenAI tinham o mesmo custo para tokens de saída, mas o Claude 3.5 Sonnet oferecia um custo 40% menor para tokens de entrada.
Apesar do modelo da Anthropic ter taxas de token de entrada menores, foi notado que o custo total dos experimentos com o GPT-4o era bem menor se comparado ao Claude Sonnet-3.5. Mas por quê?
Leia também:
O tokenizer da Anthropic tende a dividir a mesma entrada em mais tokens do que o da OpenAI. Isso significa que, para os mesmos comandos, os modelos da Anthropic geram bem mais tokens do que os da OpenAI. No final das contas, mesmo com o custo por token de entrada do Claude 3.5 Sonnet sendo menor, o aumento na tokenização acaba compensando essa economia, o que leva a custos totais maiores no uso prático.
Esse custo extra vem da forma como o tokenizer da Anthropic codifica as informações, usando mais tokens para representar o mesmo conteúdo. O aumento na contagem de tokens impacta bastante os custos e o uso da janela de contexto.
Ineficiência da tokenização dependente do domínio
O tokenizer da Anthropic não tokeniza todos os tipos de conteúdo da mesma forma. Isso acaba gerando diferentes níveis de aumento na contagem de tokens em comparação com os modelos da OpenAI. A comunidade de pesquisa de IA já notou diferenças parecidas na tokenização aqui. Para confirmar, foram feitos testes em três áreas populares: artigos em inglês, código (Python) e matemática.
Na comparação entre o Claude 3.5 Sonnet e o GPT-4o, a ineficiência do tokenizer varia bastante dependendo do tipo de conteúdo. Para artigos em inglês, o tokenizer do Claude gera cerca de 16% mais tokens do que o GPT-4o para o mesmo texto. Esse número aumenta bastante em conteúdos mais técnicos: em equações matemáticas, o aumento é de 21%, e em código Python, o Claude gera 30% mais tokens.
Essa variação acontece porque alguns tipos de conteúdo, como documentos técnicos e códigos, têm padrões e símbolos que o tokenizer da Anthropic divide em partes menores, aumentando a contagem de tokens. Já em conteúdos de linguagem mais natural, o aumento é menor.
Outras implicações práticas da ineficiência do tokenizer
Além do impacto direto nos custos, também existe um impacto indireto no uso da janela de contexto. Enquanto os modelos da Anthropic prometem uma janela de contexto maior, de 200 mil tokens, contra 128 mil da OpenAI, o espaço de token utilizável pode ser menor nos modelos da Anthropic por conta da sua verborragia. Ou seja, pode haver uma diferença entre o tamanho da janela de contexto “anunciada” e a “real”.
Implementação de tokenizers
Os modelos GPT usam a Byte Pair Encoding (BPE), que junta pares de caracteres que aparecem juntos com frequência para formar tokens. Os modelos GPT mais recentes usam o tokenizer de código aberto o200k_base. Os tokens usados pelo GPT-4o (no tokenizer tiktoken) podem ser vistos aqui.
Já sobre os tokenizers da Anthropic, não se tem muita informação, já que eles não são tão fáceis de acessar quanto os do GPT. A Anthropic lançou sua Token Counting API em dezembro de 2024, mas ela foi descontinuada em versões posteriores de 2025.
O Latenode diz que “a Anthropic usa um tokenizer único com apenas 65 mil variações de token, contra 100.261 da OpenAI para o GPT-4″. Este notebook Colab tem código Python para analisar as diferenças de tokenização entre os modelos GPT e Claude. Outra ferramenta que permite interagir com alguns tokenizers comuns e públicos confirma nossas descobertas.
Para empresas de IA, é fundamental poder estimar a contagem de tokens (sem precisar usar a API do modelo) e planejar os custos.
Principais pontos
- Custos do Claude em empresas: A precificação competitiva da Anthropic esconde custos adicionais. O Claude 3.5 Sonnet, da Anthropic, oferece custos de token de entrada 40% menores que o GPT-4o da OpenAI, mas essa vantagem pode ser enganosa devido às diferenças na tokenização.
- Ineficiência oculta do tokenizer: Os modelos da Anthropic são inerentemente mais verbosos. Para empresas que processam grandes volumes de texto, entender essa diferença é crucial para avaliar o custo real de implementar esses modelos.
- Ineficiência do tokenizer dependente do domínio: Ao escolher entre os modelos da OpenAI e da Anthropic, avalie o tipo de texto que você vai usar. Para tarefas de linguagem natural, a diferença de custo pode ser mínima, mas domínios técnicos podem gerar custos bem maiores com os modelos da Anthropic.
- Janela de contexto efetiva: Por conta da verborragia do tokenizer da Anthropic, sua janela de contexto maior (200 mil tokens) pode ter menos espaço útil do que a da OpenAI (128 mil), gerando uma possível diferença entre a janela de contexto anunciada e a real.
A Anthropic não respondeu aos pedidos de comentários da VentureBeat até o momento da publicação. A matéria será atualizada caso eles respondam.
Se você quer impressionar seu chefe, a VB Daily te ajuda. Te damos informações sobre o que as empresas estão fazendo com IA generativa, desde mudanças regulatórias até implementações práticas, para que você possa compartilhar ideias para ter o melhor retorno sobre o investimento.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via VentureBeat
