Ryzen AI Halo: quatre ajustos per accelerar la IA local fins a un 15%
Un Ryzen AI Max+ 395 guanya velocitat amb Linux sense escriptori, més memòria GTT i un perfil de rendiment. Expliquem els resultats i el risc de desactivar l’IOMMU.
Tema
AMD
Resums de vídeos per entendre millor aquest tema.
La IA impulsa el maquinari mentre castiga el programari: què hi ha darrere la tesi
Paulo Simon interpreta la pujada dels semiconductors i la debilitat del programari com un senyal que la despesa en infraestructura d’IA continuarà. L’acord entre AMD i Anthropic reforça aquesta lectura, però no converteix les accions de xips en una aposta sense risc.
Clúster de dos Ryzen AI Halo: així executa un model de 397B en local
Alex Ziskind connecta dos AMD Ryzen AI Halo per executar models de fins a 397.000 milions de paràmetres. La prova compara la simplicitat de llama.cpp RPC amb el millor escalat de vLLM i RCCL.