Fable 5 accelera llama.cpp un 64,5%? Com funciona la prova
Una prova amb Fable 5 passa de 1.143 a 1.880 tokens/s en llama.cpp. Expliquem les dues millores útils, els dos fracassos i els límits.
Arxiu del canal
Arxiu del canal
Una prova amb Fable 5 passa de 1.143 a 1.880 tokens/s en llama.cpp. Expliquem les dues millores útils, els dos fracassos i els límits.