DeepSeek V4 comprimeix el context: així funcionen CSA i HCA
DeepSeek V4 combina compressió temporal, selecció dispersa i resums globals per treballar amb un milió de tokens reduint dràsticament la memòria cau KV.
Tema
Resums de vídeos per entendre millor aquest tema.
DeepSeek V4 combina compressió temporal, selecció dispersa i resums globals per treballar amb un milió de tokens reduint dràsticament la memòria cau KV.
Donato Capitella prova DeepSeek V4 Flash amb DwarfStar sobre un i dos equips Strix Halo: quantitzacions, velocitat, qualitat i configuració.
DS4 comprimeix i executa DeepSeek V4 Flash en un MacBook de 128 GB. L’arquitectura MoE i la quantització selectiva ho fan possible, però el titular necessita matisos.