Gemini 3.6 Flash i els benchmarks: mateixa puntuació no vol dir cap millora

El llançament: tres models amb objectius diferents

Google ha presentat Gemini 3.6 Flash, Gemini 3.5 Flash-Lite i Gemini 3.5 Flash Cyber. El vídeo de Miguel Torrez qüestiona el relat del llançament perquè el nou Flash obté una puntuació agregada semblant a 3.5 Flash i queda per sota dels models de màxima qualitat en un rànquing extern.

La crítica assenyala un problema real: un gràfic de benchmark no diu automàticament quin model convé per a una aplicació. Però la conclusió inversa —que no hi ha cap millora— tampoc es desprèn d’una sola puntuació.

Els tres productes no competeixen exactament en la mateixa categoria:

• 3.6 Flash és el model general per a programació, multimodalitat i agents;
• 3.5 Flash-Lite prioritza volum, cost i velocitat;
• 3.5 Flash Cyber és una versió especialitzada que Google oferirà només a governs i socis de confiança mitjançant CodeMender en un pilot limitat.

Google confirma que 3.5 Pro continua en proves amb socis. L’absència d’un Pro públic deixa un buit a la part alta del catàleg, però no demostra per si sola que tota la plataforma hagi quedat enrere.

Puntuació igual no significa producte igual

Artificial Analysis assigna 50 punts a Gemini 3.6 Flash en el seu índex d’intel·ligència. En la captura comentada al vídeo, 3.5 Flash apareix al mateix nivell. L’índex combina proves de coneixement, raonament, ciència, codi, eines i context llarg; una mitjana pot quedar igual encara que canviï la distribució interna.

Google publica millores concretes respecte de 3.5 Flash:

• DeepSWE: 49% davant del 37%;
• MLE Bench: 63,9% davant del 49,7%;
• OSWorld-Verified: 83,0% davant del 78,4%;
• GDPval-AA v2: 1.421 davant de 1.349.

Són xifres seleccionades pel fabricant i s’han de validar en entorns independents. Tot i això, mostren per què no és correcte reduir el llançament a «la mateixa puntuació». Una empresa que necessita editar repositoris o controlar interfícies pot valorar una millora específica encara que l’índex global no es mogui.

També pot passar el contrari: un augment de benchmark no garanteix que el model sigui millor en català, en el domini de l’empresa o amb les eines disponibles. Les proves públiques són mostres, no una descripció exhaustiva.

Velocitat: no és l’únic criteri, però sí que importa

El vídeo considera que, un cop s’arriba a uns 60 tokens per segon, una aplicació prefereix qualitat a més velocitat. És cert en algunes tasques individuals i complexes. En altres casos, la velocitat pot ser determinant:

• assistents interactius amb respostes curtes;
• extracció de milers de documents;
• agents que fan molts passos;
• generació de diverses opcions en paral·lel;
• serveis amb molts usuaris simultanis.

Artificial Analysis mesurava aproximadament 235 tokens de sortida per segon per a 3.6 Flash, molt per sobre de la mediana de la seva classe. També registrava un temps fins al primer token d’uns 19 segons. Aquest contrast recorda que velocitat de sortida i latència inicial són mètriques diferents.

El temps real d’una tasca inclou raonament, crides d’eines, execució de codi, xarxa i reparacions. Un model que escriu molt de pressa però necessita tres intents pot acabar més tard que un altre de més lent i precís.

Preu per token i cost per tasca

Gemini 3.6 Flash costa 1,50 dòlars per milió de tokens d’entrada i 7,50 per milió de sortida. Flash-Lite baixa a 0,30 i 2,50 dòlars respectivament. Aquestes tarifes no determinen soles el cost final.

El càlcul útil és:

cost de la tasca = entrada + sortida + memòria cau + eines + repeticions + infraestructura pròpia.

Google afirma que 3.6 Flash utilitza un 17% menys de tokens de sortida que 3.5 Flash en l’índex d’Artificial Analysis i fins a un 65% menys en DeepSWE. Si es manté la taxa d’èxit, aquesta reducció pot compensar una diferència de tarifa.

El vídeo destaca que Grok 4.5 apareix en el gràfic amb més puntuació i menor cost per tasca. És una comparació vàlida dins d’aquella configuració, però no una regla universal. El cost d’Artificial Analysis és una mitjana ponderada dels seus benchmarks, amb preus, memòria cau i tokens generats. Un flux amb vídeo d’una hora, un repositori privat o una resposta de cent paraules pot invertir l’ordre.

La multimodalitat de Gemini és forta, però no exclusiva

El vídeo diu que Gemini és l’única IA capaç d’analitzar nativament vídeo, documents i qualsevol contingut. La formulació és massa absoluta. Altres famílies també accepten combinacions de text, imatge, àudio o vídeo, segons el model i el proveïdor.

La documentació oficial sí confirma una cobertura àmplia per a 3.6 Flash: text, imatge, vídeo, àudio i PDF com a entrada, amb una finestra de més d’un milió de tokens. També integra cerca, execució de codi, funcions, sortida estructurada i ús de l’ordinador.

L’avantatge potencial no és ser l’únic, sinó oferir aquestes modalitats i eines dins del mateix ecosistema amb gran velocitat. Cal provar la qualitat real d’OCR, taules, vídeo llarg i citacions: admetre un format no garanteix interpretar-lo perfectament.

Flash-Lite pot ser el llançament més rellevant

Miguel Torrez considera Flash-Lite el membre més atractiu per a anàlisi a escala. Google anuncia 350 tokens de sortida per segon, un milió de tokens de context i preus baixos. També incorpora diferents nivells de raonament i l’eina d’ús de l’ordinador.

És una combinació adequada per classificar, extreure, resumir i encadenar subagents quan cada error té un cost baix i es pot verificar automàticament. No és necessàriament la millor opció per a una decisió jurídica, una migració crítica o un problema científic difícil.

Que Flash-Lite quedi lluny dels models de frontera en l’índex d’intel·ligència és esperable. La pregunta de producte és si supera el llindar de qualitat del flux a una fracció del cost.

Com triar sense creure cegament cap benchmark

Una avaluació interna petita és més útil que deu rànquings:

1. reunir entre 30 i 100 tasques representatives;
2. definir criteris automàtics o revisió cega;
3. fixar el mateix context, eines i límit de temps;
4. repetir cada tasca per mesurar variabilitat;
5. registrar èxit, cost total, latència i intervenció humana;
6. separar errors tolerables d’errors crítics.

Per a codi, cal executar tests i analitzadors. Per a documents, comprovar camps i cites. Per a agents, mesurar quants passos acaben sense bloqueig. Una puntuació general pot servir per seleccionar candidats, però la decisió final ha de reproduir el treball real.

Conclusió

La prudència del vídeo davant del màrqueting és saludable: Gemini 3.6 Flash no és el model més intel·ligent de tots els rànquings i la rapidesa no compensa qualsevol error. Tampoc es pot concloure que Google només ha generat soroll.

3.6 Flash ofereix guanys específics en codi, ús de l’ordinador i eficiència de tokens, amb una velocitat de sortida excepcional. Flash-Lite apunta a volum i Cyber a un entorn restringit. El buit d’un nou Pro explica que qui busqui màxima qualitat compari alternatives.

No cal «creure» els benchmarks: cal entendre què mesuren, contrastar fonts i executar una prova pròpia. El millor model no és el primer d’una classificació, sinó el que completa la tasca requerida amb el nivell d’error, temps i cost que el producte pot assumir.