Code Needle: el test que destapa les al·lucinacions dels LLM locals en codi
Alex Ziskind crea un benchmark de recuperació literal sobre codi real. La dada reveladora no és només quantes línies encerta cada model, sinó quantes se n’inventa.
Canal original
Alex Ziskind
Alex Ziskind publica en anglès proves de maquinari, models locals, eines de programació amb IA i fluxos de treball per a desenvolupadors.
Visita el canalArxiu del canal
Resums publicats
RTX Spark amb Windows: 128 GB per a IA local, però a quin preu?
NVIDIA porta RTX Spark a portàtils Windows amb fins a 128 GB unificats i CUDA. Alex Ziskind n'analitza el públic, els dubtes i el preu encara obert.
Per què un clúster AMD de quatre nodes era lent: la lliçó sobre latència, RDMA i vLLM
Alex Ziskind explica tres mesos de proves amb quatre equips Strix Halo. El coll d’ampolla no era l’amplada de banda: calien paral·lelisme tensorial, RDMA i un entorn ROCm compatible.
Beelink SER10 Max: l’AMD HX 470 atrapa l’M4 Pro?
La prova del Beelink SER10 Max mesura CPU, compilació i IA local: Gorgon Point s’acosta a l’M4 Pro, però els resultats depenen molt del programari.
Quantitzar vídeo amb IA: Q4 aguanta, però l’àudio cau abans
Una comparació de Wan 2.2 i LTX-2.3 mostra que Q4 sol ser el punt dolç, Q8 pot superar FP8 i l’àudio es degrada abans que la imatge.
Tres ASUS NUC poden executar un model d’IA de 70B?
Tres ASUS NUC 16 Pro reparteixen un Llama 3.3 70B i comparen CPU, GPU, NPU, Ethernet i Thunderbolt. El clúster suma memòria, però no sempre velocitat.
Clúster de dos Ryzen AI Halo: així executa un model de 397B en local
Alex Ziskind connecta dos AMD Ryzen AI Halo per executar models de fins a 397.000 milions de paràmetres. La prova compara la simplicitat de llama.cpp RPC amb el millor escalat de vLLM i RCCL.