- Raspberry Pi AI HAT+ 2 permite que Raspberry Pi 5 execute LLMs localmente
- O acelerador Hailo-10H oferece 40 TOPS de poder de inferência INT4
- A interface PCIe permite comunicação de alta largura de banda entre a placa e o Raspberry Pi 5
Raspberry Pi expandiu suas ambições de computação de ponta com o lançamento do TENHO CHAPÉU + 2uma placa complementar projetada para trazer cargas de trabalho generativas de IA para o Raspberry Pi 5.
O hardware AI HAT anterior concentrava-se quase inteiramente na aceleração da visão computacional, lidando com tarefas como detecção de objetos e segmentação de cena.
O novo conselho amplia esse escopo apoiando grandes modelos de linguagem e modelos de linguagem de visão executados localmente, sem depender de infraestrutura em nuvem ou acesso persistente à rede.
Mudanças de hardware que permitem modelos de idioma local
No centro da atualização está o acelerador de rede neural Hailo-10H, que oferece 40TOPS de desempenho de inferência INT4.
Ao contrário do seu antecessor, o AI HAT+ 2 possui 8 GB de memória interna dedicada, permitindo que modelos maiores sejam executados sem consumir RAM do sistema no host Raspberry Pi.
Essa mudança permite a execução direta de LLMs e VLMs no dispositivo e mantém baixa latência e dados locais, que é um requisito fundamental para muitas implantações de borda.
Usando um padrão Distribuição Raspberry Pios usuários podem instalar modelos compatíveis e acessá-los por meio de interfaces familiares, como ferramentas de bate-papo baseadas em navegador.
O AI HAT+ 2 se conecta ao Raspberry Pi 5 através do cabeçalho GPIO e depende da interface PCIe do sistema para transferência de dados, o que exclui a compatibilidade com o Raspberry Pi 4.
Essa conexão suporta transferência de dados de alta largura de banda entre o acelerador e o host, o que é essencial para mover entradas, saídas de modelos e dados de câmera com eficiência.
As demonstrações incluem respostas a perguntas baseadas em texto com Qwen2, geração de código usando Qwen2.5-Coder, tarefas básicas de tradução e descrições visuais de cenas a partir de imagens de câmeras ao vivo.
Essas cargas de trabalho dependem Ferramentas de IA empacotado para funcionar na pilha de software Pi, incluindo back-ends em contêineres e servidores de inferência locais.
Todo o processamento ocorre no dispositivo, sem recursos computacionais externos.
Os modelos suportados variam de um a um bilhão e meio de parâmetros, o que é modesto em comparação com sistemas baseados em nuvem que operam em escalas muito maiores.
Esses LLMs menores visam memória limitada e envelopes de energia, em vez de conhecimento amplo e de uso geral.
Para resolver essa restrição, o AI HAT+ 2 oferece suporte a métodos de ajuste fino, como Adaptação de baixo nível, que permite aos desenvolvedores personalizar modelos para tarefas restritas, mantendo a maioria dos parâmetros inalterados.
Os modelos de visão também podem ser treinados novamente usando conjuntos de dados específicos de aplicativos por meio do conjunto de ferramentas da Hailo.
O AI HAT + 2 está disponível por US$ 130, colocando-o acima dos acessórios anteriores com foco na visão, ao mesmo tempo que oferece rendimento de visão computacional semelhante.
Para cargas de trabalho centradas exclusivamente no processamento de imagens, a atualização oferece ganhos limitados, pois seu apelo depende em grande parte da execução local do LLM e de aplicativos sensíveis à privacidade.
Em termos práticos, o hardware mostra que a IA generativa no hardware Raspberry Pi é agora viável, embora o espaço de memória limitado e os tamanhos pequenos dos modelos continuem a ser um problema.
Siga o TechRadar no Google Notícias e adicione-nos como fonte preferencial para receber notícias, análises e opiniões de especialistas em seus feeds. Certifique-se de clicar no botão Seguir!
E é claro que você também pode Siga o TechRadar no TikTok para notícias, análises, unboxings em formato de vídeo e receba atualizações regulares nossas em WhatsApp também.