Lançamento dos modelos Llama 4 marca nova era na inteligência artificial multimodal

Apresentamos os primeiros Modelos da família Llama 4, projetados para criar experiências multimodais altamente personalizadas. Esses modelos representam um avanço significativo na inteligência artificial, permitindo interações mais ricas e adaptadas às necessidades individuais dos usuários. Com capacidades que superam seus antecessores e concorrentes, a família Llama 4 promete transformar a forma como interagimos com a tecnologia.

Modelos Llama 4: Scout e Maverick

A nova linha de modelos inclui o Llama 4 Scout e o Llama 4 Maverick. O Llama 4 Scout se destaca com 17 bilhões de parâmetros ativos e 16 especialistas, oferecendo o melhor desempenho multimodal em sua classe. Este modelo possui uma contextualização de até 10 milhões de tokens, superando o Gemma 3, Gemini 2.0 Flash-Lite e Mistral 3.1. Esse nível de contextualização permite que o modelo entenda e responda de forma mais precisa a consultas complexas.

Já o Llama 4 Maverick, também com 17 bilhões de parâmetros ativos, mas com 128 especialistas, supera modelos como o GPT-4o e Gemini 2.0 Flash. Ele alcança resultados comparáveis ao DeepSeek v3 utilizando metade dos parâmetros ativos. Com um ELO de 1417 no LMArena, o Maverick demonstra sua capacidade de competir com os modelos mais avançados do mercado.

Ambos os modelos, Scout e Maverick, derivam do Llama 4 Behemoth, um modelo gigante com 288 bilhões de parâmetros ativos (quase 2 trilhões no total). O Behemoth supera o GPT-4.5, Claude Sonnet 3.7 e Gemini 2.0 Pro em benchmarks STEM, indicando um desempenho superior em tarefas científicas e técnicas. Atualmente, o Behemoth ainda está em fase de treinamento, prometendo ainda mais avanços no futuro.

Para quem busca alternativas de mobilidade, a Xiaomi Motors também está inovando com o controle de carros por gestos no Apple Watch, mostrando como a tecnologia pode ser integrada em diversos aspectos de nossas vidas.

Inovações Técnicas dos Modelos da família Llama 4

Os Modelos da família Llama 4 introduzem diversas novidades técnicas que impulsionam seu desempenho. Uma das principais é a arquitetura nativamente multimodal que utiliza mixture of experts (MoE). Essa abordagem ativa apenas parte dos parâmetros por token, resultando em um treinamento e inferência mais eficientes. A capacidade de suportar um contexto longo é outra inovação notável, com o Scout atingindo 10 milhões de tokens.

O sistema de early fusion permite integrar texto, imagens e vídeos já na entrada do modelo, proporcionando uma compreensão mais rica e completa das informações. Os modelos foram treinados em 30 trilhões de tokens, com uma quantidade de dados multilíngues 10 vezes maior que o Llama 3, abrangendo 200 línguas. Esse treinamento extensivo garante que os modelos possam lidar com uma ampla variedade de tarefas e idiomas.

O uso extensivo de FP8 com 32K GPUs contribui para a alta eficiência dos modelos, enquanto as técnicas “MetaP” escalonam os hiperparâmetros e as metodologias próprias de extensão de contexto otimizam ainda mais o desempenho. Além disso, se você está buscando oportunidades para aprimorar suas habilidades, a plataforma AI HQ da Writer pode transformar o trabalho corporativo com agentes de IA.

Pós-Treinamento e Desempenho dos Modelos da família Llama 4

O processo de pós-treinamento dos modelos Llama 4 inclui um pipeline com SFT leve, online RL e DPO leve, focado em currículos mais difíceis e aprendizado contínuo, o que resulta em um melhor desempenho multimodal. O Maverick possui 400 bilhões de parâmetros totais com 128 experts, enquanto o Scout tem 109 bilhões totais com 16 experts.

Ambos os modelos superam o Llama 3, GPT-4o e Gemini 2.0 em visão, linguagem, codificação, contexto longo e raciocínio. Durante o treinamento, os modelos integram resultados de até 48 imagens na entrada, com testes bem-sucedidos utilizando 8 imagens. A técnica iRoPE (interleave atenção sem embeddings posicionais) permite generalizar em comprimento, aumentando a flexibilidade dos modelos.

E para aqueles que estão sempre em busca de novidades no mundo da tecnologia, vale a pena conferir as últimas notícias sobre o Google e seus avanços em IA com novos chips e modelos Gemini.

Llama 4 Behemoth: O Modelo Teacher

O Llama 4 Behemoth desempenha um papel crucial como modelo teacher para a destilação de conhecimento. Este modelo utiliza uma mix of experts com 288 bilhões de parâmetros ativos e um total de 2 trilhões. Melhorias significativas foram implementadas no pós-treinamento, removendo 95% dos dados fáceis e utilizando RL adaptativo.

A infraestrutura RL foi reescrita para garantir a escalabilidade, permitindo que o modelo lide com grandes volumes de dados e tarefas complexas. Com esses avanços, o Llama 4 Behemoth se destaca como um dos modelos mais poderosos e eficientes disponíveis.

Segurança e Mitigação de Riscos

A segurança é uma prioridade no desenvolvimento dos modelos Llama 4. Para garantir isso, o pipeline utiliza o Llama Guard, Prompt Guard e CyberSecEval. Além disso, ferramentas de red teaming automatizadas (GOAT) são empregadas para identificar e mitigar possíveis vulnerabilidades. Os modelos também apresentam um melhor equilíbrio político-social, com reduções acentuadas em tendenciosidades em comparação com o Llama 3.

Essas medidas garantem que os modelos sejam seguros e confiáveis para uma ampla gama de aplicações. A preocupação com a segurança reflete o compromisso em criar tecnologias de IA responsáveis e éticas. Se você está interessado em segurança digital, pode ser interessante ler sobre como os sistemas de segurança precisam agir como hackers e avaliar usuários em tempo real.

Disponibilidade dos Modelos da família Llama 4

Os modelos Scout e Maverick estão disponíveis em formato open-weight e podem ser baixados no llama.com e no Hugging Face. Além disso, eles estão integrados no Meta AI pelo WhatsApp, Messenger, Instagram e web, facilitando o acesso e a utilização por desenvolvedores e usuários.

O ecossistema Llama continua a evoluir, com foco em modelos multimodais, personalizados e super eficientes. Essa abordagem garante que os modelos permaneçam na vanguarda da tecnologia de IA, oferecendo soluções inovadoras para uma variedade de desafios.

Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.

Via Meta AI

André Luiz

André atua como jornalista de tecnologia desde 2009 quando fundou o Tekimobile. Também trabalhou na implantação do portal Tudocelular.com no Brasil e já escreveu para outros portais como AndroidPIT e Techtudo. É formado em eletrônica e automação, trabalhando com tecnologia há 26 anos.