▲
- A Microsoft lançou o modelo de linguagem Phi-4 e sua versão reduzida Phi-4-mini-reasoning, que pode ser utilizada no Raspberry Pi.
- Se você deseja explorar a IA em hardware modesto, essas opções podem ser interessantes para seu aprendizado.
- O desempenho do modelo reduzido no Raspberry Pi é limitado, mas demonstra como a IA se torna acessível em dispositivos compactos.
- Alternativas ao Phi-4 estão disponíveis, embora seu desempenho não seja comparável a modelos mais robustos.
O mais novo modelo de linguagem da Microsoft, o Phi-4, impressiona com seus 14 bilhões de parâmetros, que ocupam cerca de 11 GB de armazenamento. Mas será que ele roda em um Raspberry Pi? Nem pensar. Porém, uma versão reduzida chamada Phi-4-mini-reasoning, com “apenas” 3,8 bilhões de parâmetros e 3,2 GB, pode ser uma opção mais viável para o miniPC.
Em um vídeo recente, o canal Gary Explains mostrou como adicionar esse modelo de IA ao arsenal do Raspberry Pi. A versão utilizada tem quantização de 4 bits, o que reduz ainda mais o tamanho do modelo, mas também limita seu desempenho. Para quem não está familiarizado com o jargão, quantização refere-se à forma como os pesos do modelo são armazenados – quanto mais parâmetros, maior a capacidade de processamento.
Testando o modelo no Raspberry Pi
Como benchmark, Gary usa a chamada “pergunta da Alice”: “Alice tem cinco irmãos e também três irmãs. Quantas irmãs o irmão de Alice tem?”. Enquanto um humano resolve rapidamente, o modelo no Raspberry Pi 5, com 4 núcleos e 8GB de RAM, leva cerca de 10 minutos para chegar à resposta correta.
A primeira execução parece ágil, mas vale lembrar que foi feita em um PC com GPU. No Raspberry Pi, a lentidão é evidente. Ainda assim, é curioso ver um modelo de linguagem funcionando em um dispositivo tão compacto, mesmo que de forma limitada. Se você está pensando em experimentar IA em hardware modesto, essa pode ser uma opção interessante.
Alternativas ao Phi-4
Se o Phi-4 não for do seu agrado, existem outros modelos menores disponíveis. Embora o desempenho não seja comparável a soluções mais robustas, como o ChatGPT ou Gemini, eles podem ser úteis para projetos específicos ou como forma de aprender sobre o funcionamento desses sistemas.
Leia também:
Ainda não está claro qual seria a aplicação prática de um modelo tão lento, mas, para quem gosta de explorar os limites da tecnologia, essa é mais uma prova de que a IA está se tornando acessível até em dispositivos modestos, como o Raspberry Pi.
Este conteúdo foi auxiliado por Inteligência Artificial, mas escrito e revisado por um humano.
Via Hackaday
