As NPUs da AMD Ryzen AI Ganham Suporte para LLMs no Linux via Lemonade 10.0 e FastFlowLM
O Que Há de Novo
As NPUs AMD Ryzen AI agora podem executar modelos de linguagem grandes no Linux através da versão 10.0 do servidor de código aberto Lemonade, que inclui suporte a NPUs Linux para LLMs e Whisper. Isso marca o primeiro uso prático das NPUs Ryzen AI no Linux além de código de nicho.
Detalhes Técnicos
A implementação se baseia no FastFlowLM 0.9.35, um runtime voltado para NPUs construído exclusivamente para o Ryzen AI que pode suportar contextos de até 256 mil tokens com as NPUs Ryzen AI da geração atual. O Lemonade 10.0 também adiciona integração nativa com o Claude Code.
Requisitos do sistema:
- Kernel Linux 7.0 OU back-ports do driver AMDXDNA para versões estáveis existentes do kernel
- Runtime FastFlowLM 0.9.35
- Servidor Lemonade 10.0
Este suporte deve funcionar com todos os SoCs atuais da série AMD Ryzen AI 300/400. A AMD desenvolveu o driver acelerador AMDXDNA no kernel Linux principal nos últimos dois anos, mas até agora o suporte a software em espaço do usuário era extremamente limitado.
Contexto
Anteriormente, o próprio software GAIA da AMD no Linux usava Vulkan com iGPUs em vez de suporte a NPUs. O momento deste suporte ao Linux é notável com a série Ryzen AI Embedded P100 chegando ao mercado e a série Ryzen AI PRO 400, que provavelmente verão mais uso no Linux do que em implantações Windows para consumidores.
O Lemonade fornece documentação para executar LLMs no Linux com FastFlowLM e Lemonade.
📖 Leia a fonte completa: HN AI Agents
👀 See Also
A pesquisa mostra que os usuários de IA frequentemente aceitam as respostas de LLMs sem verificação.
Pesquisa da Universidade da Pensilvânia descobriu que usuários de IA se envolvem em 'rendição cognitiva', aceitando respostas de LLMs com escrutínio mínimo. Em experimentos, usuários aceitaram respostas corretas da IA 93% das vezes e respostas incorretas 80% das vezes, mesmo quando a IA estava errada metade do tempo.
O usuário relata ter mudado do Gemini Pro para o Claude Max para obter assistência em projetos acadêmicos.
Um usuário trocou do Gemini Pro para o Claude Max após sentir frustração com o desempenho do Gemini em tarefas práticas. Eles relatam que o Claude revisou com sucesso seu projeto acadêmico, fez perguntas esclarecedoras e sugeriu registrar as informações aprendidas em um arquivo memory.md.
Claude-Code v2.1.32: Aprimorando a Automação e a Precisão da Codificação
O lançamento mais recente do Claude-Code, v2.1.32, traz melhorias cruciais em codificação e automação de IA. Descubra os principais recursos e o impacto na comunidade desta atualização agora disponível no GitHub.
Comprovando a Identidade do Modelo com a Tecnologia Modelwrap da Tinfoil
O Modelwrap da Tinfoil garante que os provedores de inferência sirvam exatamente os pesos de modelo que afirmam, usando compromissos criptográficos verificados por enclaves seguros.