Tema
Resums de vídeos per entendre millor aquest tema.
Donato Capitella converteix una AMD Instinct MI50 de 32 GB reacondicionada en un servidor d’IA local. La memòria HBM2 accelera la generació, però l’arquitectura gfx906 i la falta de suport oficial penalitzen prompts i manteniment.
Alex Ziskind explica tres mesos de proves amb quatre equips Strix Halo. El coll d’ampolla no era l’amplada de banda: calien paral·lelisme tensorial, RDMA i un entorn ROCm compatible.
Tres ASUS NUC 16 Pro reparteixen un Llama 3.3 70B i comparen CPU, GPU, NPU, Ethernet i Thunderbolt. El clúster suma memòria, però no sempre velocitat.
Bijan Bowen prova Bonsai 8B, un model basat en Qwen3 amb pesos d’un bit. És extraordinàriament petit i ràpid, però els tests de codi mostren una degradació clara: genera interfícies bàsiques i conversa, mentre falla en jocs amb lògica més complexa.
Una prova amb Fable 5 passa de 1.143 a 1.880 tokens/s en llama.cpp. Expliquem les dues millores útils, els dos fracassos i els límits.
Un Ryzen AI Max+ 395 guanya velocitat amb Linux sense escriptori, més memòria GTT i un perfil de rendiment. Expliquem els resultats i el risc de desactivar l’IOMMU.
DS4 comprimeix i executa DeepSeek V4 Flash en un MacBook de 128 GB. L’arquitectura MoE i la quantització selectiva ho fan possible, però el titular necessita matisos.
Ternary Bonsai 27B funciona en una RTX 3080 de 10 GB i prova PDFs, OCR, codi, fitxers i Excel. Expliquem rendiment, privacitat, costos i riscos.
