Code Needle: el test que destapa les al·lucinacions dels LLM locals en codi
Alex Ziskind crea un benchmark de recuperació literal sobre codi real. La dada reveladora no és només quantes línies encerta cada model, sinó quantes se n’inventa.
Tema
al·lucinacions
Resums de vídeos per entendre millor aquest tema.
ChatGPT Pro contra Claude Fable 5 en matemàtiques de doctorat
Una prova amb problemes de doctorat revela límits de quota, respostes incompletes i un test de Python que confirma una fórmula de manera circular.