DeepSeek V4 comprimeix el context: així funcionen CSA i HCA
DeepSeek V4 combina compressió temporal, selecció dispersa i resums globals per treballar amb un milió de tokens reduint dràsticament la memòria cau KV.
Tema
Heavily Compressed Attention
Resums de vídeos per entendre millor aquest tema.