Gemma 4 12B QAT: més IA local amb menys memòria
Tim Carambat prova Gemma 4 12B QAT en un MacBook: multimodalitat sense encoders separats, 256K de context i una tasca llarga amb eines i PDF.
Tema
quantització
Resums de vídeos per entendre millor aquest tema.
Quantitzar vídeo amb IA: Q4 aguanta, però l’àudio cau abans
Una comparació de Wan 2.2 i LTX-2.3 mostra que Q4 sol ser el punt dolç, Q8 pot superar FP8 i l’àudio es degrada abans que la imatge.
Bonsai 8B: què guanya i què perd el model d’IA d’1 bit que ocupa 1,15 GB?
Bijan Bowen prova Bonsai 8B, un model basat en Qwen3 amb pesos d’un bit. És extraordinàriament petit i ràpid, però els tests de codi mostren una degradació clara: genera interfícies bàsiques i conversa, mentre falla en jocs amb lògica més complexa.
Com DeepSeek V4 Flash de 284B pot funcionar en un portàtil
DS4 comprimeix i executa DeepSeek V4 Flash en un MacBook de 128 GB. L’arquitectura MoE i la quantització selectiva ho fan possible, però el titular necessita matisos.
Bonsai 27B a 1 bit i ternari: què es conserva —i què es perd— en comprimir un model nou vegades
Una comparativa entre Bonsai 27B binari, ternari i FP16 revela una compressió espectacular, però també pèrdues de precisió, fiabilitat i velocitat segons el maquinari.