GPT‑5.6 Sol a 750 tokens/s: què compra OpenAI amb Cerebras
Caleb Writes Code analitza per què OpenAI ofereix GPT‑5.6 Sol amb una via de baixa latència sobre Cerebras. La velocitat és real, però el vídeo barreja dades oficials amb estimacions no publicades i calcula el retorn sobre un acord que les declaracions de Cerebras valoren en més de 20.000 milions de dòlars, no en 10.000 milions.
La velocitat amb què un model escriu la resposta sol aparèixer després de la qualitat, el preu i el context en qualsevol comparativa. El vídeo de Caleb Writes Code gira l’ordre: es pregunta què canvia quan un model de frontera passa d’unes desenes a centenars de tokens per segon, i per què OpenAI ha reservat tanta capacitat de Cerebras per aconseguir-ho.
La pregunta és pertinent. GPT‑5.6 Sol es pot servir mitjançant una via d’inferència de baixa latència que OpenAI anuncia amb velocitats de fins a 750 tokens per segon. Abans, GPT‑5.3‑Codex‑Spark ja havia superat els 1.000 tokens per segon en una versió més petita i especialitzada per programar en temps real.
Ara bé, el vídeo combina tres nivells d’informació que convé separar:
- dades publicades per OpenAI i Cerebras;
- càlculs aproximats sobre capacitat i concurrència;
- hipòtesis no confirmades sobre la mida del model i l’estratègia comercial.
La tesi general —la baixa latència pot crear usos nous i més interacció— és sòlida. En canvi, la xifra de 10.000 milions de dòlars del títol, la suposada mida de GPT‑5.6 Sol i el càlcul d’1,6 milions de subscriptors Pro no descriuen bé l’acord conegut avui.
Què vol dir realment «750 tokens per segon»
Un token és una unitat de text que el model processa o genera. No equival exactament a una paraula: segons l’idioma i el contingut, una paraula pot ocupar un token, una fracció o diversos tokens.
Els tokens per segon mesuren principalment la velocitat de generació una vegada comença a sortir la resposta. Si un sistema produeix 750 tokens per segon, pot escriure un bloc llarg gairebé de manera instantània per a una persona. Però aquesta xifra no és tota la latència percebuda.
El temps total també inclou:
- la transmissió de la petició;
- la lectura o prefill del context;
- el temps fins al primer token;
- el raonament intern;
- les crides a eines;
- l’execució de codi o consultes;
- els viatges entre client, servidor i serveis externs.
La documentació de Codex‑Spark ho explicita: la durada d’una tasca és la suma de generació, prefill, eines i sobrecàrrega de xarxa. Per això, multiplicar els tokens per segon per divuit no implica que una tasca agentiva sencera acabi divuit vegades abans.
També cal llegir amb precisió l’expressió «fins a 750». És una velocitat màxima anunciada per la via ràpida, no una garantia pública que cada usuari mantindrà exactament aquesta taxa en qualsevol context, moment i càrrega.
Per què Cerebras pot prioritzar la latència
Les GPU de Nvidia i AMD dominen bona part de l’entrenament i la inferència. Cerebras adopta una arquitectura diferent: el seu Wafer Scale Engine integra una quantitat enorme de còmput, memòria i amplada de banda en un únic xip a escala d’oblia.
L’objectiu és reduir moviments de dades i colls d’ampolla que apareixen quan un model s’ha de repartir entre molts acceleradors. Això pot afavorir la generació seqüencial, on cada token depèn de l’anterior i la latència de comunicació pesa molt.
El vídeo representa aquesta diferència amb una gràfica de rendiment agregat i velocitat per usuari. La intuïció és correcta: un centre de dades pot optimitzar per atendre moltes peticions simultànies o per generar molt ràpid per a cada sessió. La velocitat individual i el rendiment total no són la mateixa mètrica.
Els números concrets de l’exemple, però, són hipotètics. El canal dibuixa una línia estimada per a Cerebras, calcula 600 usuaris simultanis i compara el maquinari necessari per allotjar un model de dos bilions de paràmetres. No són dades publicades per OpenAI sobre el desplegament de GPT‑5.6 Sol.
OpenAI mateixa presenta les dues infraestructures com a complementàries. Diu que les GPU continuen sent la base i que produeixen els tokens més rendibles per a l’ús general, mentre que Cerebras aporta una ruta especialitzada quan la latència molt baixa justifica el cost.
GPT‑5.3‑Codex‑Spark va ser el primer tast
El vídeo recorda que Codex‑Spark ja funcionava a més de 1.000 tokens per segon. OpenAI el va presentar el febrer de 2026 com un model més petit, de text, amb context de 128.000 tokens i optimitzat per a edicions ràpides.
Aquesta distinció és important. Spark no intentava substituir tots els models de raonament llarg. Estava pensat per a un bucle interactiu: demanar un canvi, veure’l de seguida, interrompre, redirigir i iterar. Durant la previsualització tenia límits d’ús propis.
El vídeo diu que molta gent el troba «ràpid però poc intel·ligent». És una valoració anecdòtica, no una conclusió publicada. OpenAI sí que afirma que el seu estil per defecte és més lleuger, fa canvis mínims i no executa proves automàticament si no se li demana. Això pot semblar menys exhaustiu, però és també una decisió de producte per reduir latència.
GPT‑5.6 Sol planteja una prova més ambiciosa: combinar un model de frontera amb una ruta molt ràpida. Si funciona, la velocitat deixa de ser només una característica de models petits.
La mida de GPT‑5.6 Sol no és pública
Al minut dedicat a la inferència, el vídeo reconeix que OpenAI no ha revelat la mida de GPT‑5.6 Sol, però tot seguit assumeix que té entre dos i quatre bilions de paràmetres.
No hi ha una font oficial que confirmi aquesta forquilla. Tampoc es pot deduir directament de la qualitat, el preu o la velocitat. Arquitectures amb experts, quantització, memòria, encaminament i altres optimitzacions poden canviar de manera radical quants paràmetres s’activen per token i quanta memòria necessita una petició.
Per tant, els càlculs posteriors sobre catorze GPU B300 o noranta WSE‑3 s’han de llegir com un exercici il·lustratiu construït sobre una hipòtesi, no com una descripció tècnica del sistema d’OpenAI.
La informació oficial disponible és una altra: GPT‑5.6 Sol és el model principal de la família, OpenAI diu que obté més feina útil amb menys tokens i l’API costa 5 dòlars per milió de tokens d’entrada i 30 dòlars per milió de sortida. El nombre de paràmetres no forma part de la fitxa pública.
L’acord no és de 10.000 milions de dòlars
El punt central del vídeo és l’economia de l’acord. Afirma que OpenAI ha pactat «10.000 milions» per llogar 750 MW de capacitat fins al 2028 i pregunta com els recuperarà en trenta mesos.
La informació corporativa més recent modifica aquesta premissa. L’anunci d’OpenAI del gener no publicava cap import: només deia que Cerebras afegiria 750 MW de còmput d’inferència i que la capacitat entraria en servei en diverses fases fins al 2028.
Posteriorment, Cerebras va declarar en el seu formulari S‑1 davant la SEC que l’acord plurianual està valorat en més de 20.000 milions de dòlars. El contracte es va signar el desembre de 2025, preveu desplegaments durant 2026, 2027 i 2028 i cada tram té el seu propi període de servei. També hi ha opcions i elements financers addicionals.
Això invalida dos simplismes:
- el denominador no és 10.000 milions;
- el contracte no es pot tractar com una factura homogènia que s’ha de recuperar íntegrament amb trenta mensualitats de ChatGPT Pro.
La capacitat arriba per trams i pot donar servei a Codex, ChatGPT, API i productes empresarials. A més, comparar valor contractual amb ingressos bruts ignora costos operatius, energia, marges, impostos, finançament, ús efectiu i durada de cada segment.
Per què el càlcul d’1,6 milions de Pro no quadra
El vídeo multiplica 200 dòlars mensuals per 30 mesos: 6.000 dòlars per usuari. Divideix 10.000 milions per aquesta quantitat i obté aproximadament 1,6 milions de subscriptors Pro.
L’aritmètica és correcta dins de l’exemple, però no és un punt d’equilibri empresarial. Té cinc problemes:
- utilitza una valoració contractual avui superada per la documentació pública;
- confon facturació amb benefici disponible per pagar infraestructura;
- atribueix tota la subscripció a una sola ruta de còmput;
- ignora API, Business, Enterprise, Plus i altres ingressos;
- pressuposa que tots els clients es mantenen trenta mesos i que tota la capacitat es monetitza igual des del primer dia.
El percentatge calculat sobre «1.000 milions d’usuaris mensuals» tampoc resol aquests errors. Una base d’usuaris actius no és una base de clients amb la mateixa disposició a pagar, ni indica quants necessiten inferència de latència ultrabaixa.
Una anàlisi útil hauria de separar, com a mínim, ingressos incrementals, cost marginal per token, utilització del maquinari, preu de la modalitat ràpida, durada dels compromisos, retenció i valor dels nous casos d’ús.
La velocitat no «crema» automàticament més tokens
El canal proposa que OpenAI pot recuperar l’acord fent que la velocitat esgoti abans els límits i empenyi usuaris cap al pla Pro. Observa que el mode ràpid de Codex consumeix més crèdits.
La documentació oficial confirma que el mode ràpid té una tarifa superior. També confirma que el consum actual de Codex es calcula segons tokens d’entrada, entrada en memòria cau i sortida. Per a GPT‑5.6 Sol, la targeta publicada assigna 125 crèdits per milió de tokens d’entrada i 750 per milió de sortida; el mode ràpid hi aplica un recàrrec.
Però generar la mateixa resposta més de pressa no crea, per si sol, més tokens. La taxa física de generació i el volum facturat són variables diferents.
El que sí que pot passar és un efecte de comportament:
- menys espera permet més iteracions per hora;
- un agent responsiu convida a provar variants;
- tasques que abans eren massa lentes es tornen viables;
- més persones utilitzen IA durant més parts de la jornada;
- les aplicacions en temps real generen nova demanda.
OpenAI aporta una pista en aquesta direcció: afirma que la producció diària de tokens dels seus investigadors actius amb GPT‑5.6 va superar el doble del màxim observat amb GPT‑5.5. És correlació interna, no una prova que la velocitat sola en sigui la causa, però encaixa millor amb la tesi d’augmentar el valor i la freqüència d’ús que no pas amb la idea de «buidar» límits de manera artificial.
Velocitat, rendiment i eficiència poden avançar alhora
El vídeo acaba plantejant una tensió: si un model resol una tasca amb menys tokens, el laboratori factura menys volum; si genera més de pressa, pot estimular més ús. La realitat comercial és més àmplia.
Un model que necessita menys tokens pot ser més rendible encara que el preu per token baixi o el volum d’una petició sigui menor. Redueix temps de còmput, permet atendre més feina amb la mateixa infraestructura i pot completar tasques que abans fallaven. L’usuari compra un resultat, no el màxim nombre possible de tokens.
GPT‑5.6 es promociona precisament sobre aquesta combinació: més qualitat per token, menys temps total i preus diferents segons la mida del model. La baixa latència és un altre eix, no l’oposat inevitable de l’eficiència.
El repte econòmic és assignar cada feina a la infraestructura adequada:
- GPU per a volum general i cost eficient;
- Cerebras per a interacció immediata i sortides llargues;
- models petits per a tasques simples;
- models de frontera per a problemes on la qualitat paga el cost;
- memòria cau i eines programàtiques per evitar processament repetit.
El patrocini també forma part del vídeo
Entre l’explicació de la demanda i la de la infraestructura, el canal inclou una promoció de Merlin AI. El servei es presenta com una manera d’accedir a diversos models amb una sola subscripció i s’ofereix un codi de descompte.
És contingut comercial separat de l’anàlisi d’OpenAI. La promesa que un agregador pot cobrar menys perquè compra crèdits a l’engròs depèn dels límits, les condicions i el patró d’ús de cada servei. Abans de contractar-lo, cal comparar models disponibles, privadesa, retenció de dades, quotes reals i renovació després del descompte.
Conclusió
El vídeo encerta la pregunta important: quan una resposta arriba prou ràpid, la IA deixa de semblar una consulta asíncrona i es converteix en una eina que es pot dirigir en temps real. Aquesta diferència pot transformar la programació, els agents, la veu i altres fluxos interactius.
També explica bé que tokens per segon i rendiment total obliguen a prendre decisions d’infraestructura. Cerebras no substitueix totes les GPU; aporta una ruta de baixa latència per a les tasques on esperar és especialment car.
Les xifres econòmiques, en canvi, necessiten correcció. OpenAI no ha publicat la mida de GPT‑5.6 Sol. Els càlculs de xips i concurrència del vídeo són supòsits. I Cerebras declara davant la SEC que l’acord supera els 20.000 milions de dòlars, de manera que no es pot justificar amb el càlcul de 10.000 milions dividits entre trenta quotes Pro.
La millor lectura és, doncs, estratègica: OpenAI aposta que una part dels usuaris i desenvolupadors pagarà més —o farà molta més feina— quan la latència deixi de ser el coll d’ampolla. Si aquesta demanda compensa una infraestructura extraordinàriament cara només es podrà saber amb dades d’utilització, preus i marges que avui no són públiques.
Contrast i context
Fonts consultades
-
01
Caleb Writes Code OpenAI’s $10B Bet on their biggest model yet
- 02
-
03
OpenAI Previewing GPT‑5.6 Sol
- 04
- 05
-
06
OpenAI Help Center Codex rate card
-
07
U.S. Securities and Exchange Commission Cerebras Systems: Form S‑1, abril de 2026
Font de treball
Transcripció amb marques de temps
Consulta la transcripció
-
0:00
, obre el vídeo en una pestanya nova
When Sam Altman asked Andre Karpathy whether LLM should be made smarter or faster, his response was smarter model as the answer. And many people would probably prefer a smart model over a fast model given the same option. And we often look at benchmarks that show intelligence before even look at the speed. But what about speed? And how fast should LLMs really be? Most flagship models are currently served at around 60 tokens per second looking at OpenRouter. Opus 4.8 at around 60 tokens per second, Fable 5 around 40 tokens per second, and GPT 5.6 Soul also at around 40 tokens per second. Why can't companies just simply push all their flagship models from this band to a much higher band like 750 tokens per second? I mean, the difference between a 60 token per second on the left compared to 750 tokens per second on the right seems pretty huge. So, shouldn't companies like OpenAI, Anthropic, models to run at much faster
-
0:55
, obre el vídeo en una pestanya nova
speed instead? Typically, as you move towards the right in the X axis here, the higher the capital expenditure to actually achieve them at scale. And this increased capital expenditure comes down to the cost of graphics cards. So, in a way, there is this hardware barrier between GPUs like Nvidia and AMD and more specific chips like Rock and Cerebras chips. And the price difference between them is huge where Cerebras system can easily cost 20 to 50 times more than normal GPU configuration. And yet, OpenAI is offering their GPT 5.6 Soul model with both traditional GPUs at 40 to 50 tokens per second here and also at 750 tokens per second powered by Cerebras chips. So, if companies like OpenAI have to spend so much capital expenditure to gain 18 to 20 times in speed, why on earth is OpenAI offering their model using Cerebras chips? OpenAI actually already has a model that they have been offering at more than 1,000 tokens per
-
1:50
, obre el vídeo en una pestanya nova
second called GPT 5.3 Codex Spark, which was announced back in February. And most people find this model fast but dumb. Most likely because they traded off less intelligent model to run faster since they tend to be smaller. So, until now, what we found is that aggregate demand for faster LLMs tend to dry up as you move to the right of this x-axis since companies like OpenAI push smaller models to the right since it makes more economical sense. And from the user side, most people prefer to served at 50 tokens per second rather than 20 times faster but less intelligent model on the right. So, if that's true, did OpenAI just invert this entire assumption by serving their biggest and most intelligent model in both spectrums here. But first, quick shoutout for Merlin AI sponsoring this video. Merlin AI is an all-in-one AI tool and they're offering a special heavy discount. As you continue to work with AI, you realize that
-
2:46
, obre el vídeo en una pestanya nova
every AI tool is good at something. So, sometimes you go to chat GPT and other times you go to Claude or even Gemini, which means my conversations are all scattered. And worse, I have to pay multiple subscriptions at the same time. One thing I find cool about Merlin is the ability to actually choose all top AI models to chat with while keeping my conversation in one place. I can also use their deep research feature to expand on topics that I'm really interested in. And Merlin is able to help me generate this report on semiconductors as you can see. And pricing is really the big part. ChatGPT, Claude, and Gemini each cost around $20 per month and paying for each really adds up fast and most people don't fully use up their credits. But Merlin AI offers cheaper pricing since Merlin buys API credits in bulk and charges only for what users typically need. And right now, you can get a 75%
-
3:41
, obre el vídeo en una pestanya nova
discount with promo code and only pay $5 per month until the deal lasts. Link in the description below. OpenAI didn't disclose the size of the GPT 5.6 sold, but it's safe to assume that the model is sized at at least 2 trillion parameters and possibly up to 4 trillion parameters in size, which by all measure is a large model. And taking such large model from 40 tokens per second and moving it all the way to 750 tokens per second is not for the faint of heart because of the huge capital expenditure along the way. One way to look at this is by looking at the chart from Nvidia where they broke down their system showing the throughput on the Y axis and responsiveness on the X axis. Now, if this graph confuses you, you're not alone. It took me a bit of practice to frame my thinking to get this as well. What you're seeing here essentially is this. If you
-
4:37
, obre el vídeo en una pestanya nova
want to promise your users to serve the model at, let's say, 340 tokens per second at all times using Nvidia B300 chips can get you a throughput at about 450,000 tokens per second at the data center level with 1 MW power, which means you can have about 1,324 concurrent active users where every single users will experience up to 340 tokens per second. So, as long as only 1,324 users access your system at the same time, you can honor your word to your customer that you will meet the 300 tokens per second SLA. What you're not seeing here in this chart is the Cerebrus chips. And even if we make an educated guess to draw this line, say, using the same Cerebrus chip can get you 450,000 tokens generated per second, but at 750 tokens per second per user. In this case, you can only have 600 concurrent active users, which is more than two times less concurrent active users compared to
-
5:32
, obre el vídeo en una pestanya nova
Nvidia, but the users that do have access to Cerebrus chips are generated at more than two times the speed. And assuming GPT-5.6 Soul is a 2 trillion parameter model, which is a low estimation, the hardware cost just to fit the model with Nvidia chips is 14 Nvidia B300 chips, and in the case of Cerebrus, 90 WSE-3 chips, and the cost difference here is huge. So, is this thing even worth it for OpenAI just to provide their most capable model at lightning speed? Here's where things get interesting. Currently, Codex already offers an option to run the model at 1.5 times the speed, and it explicitly says that it will draw more usage in exchange. And the keyword here is usage. In order for OpenAI to drive their revenue, they need to encourage more of their users away from free subscription and convert them to the $200 per month pro membership. And one of the best way to push their users in that
-
6:27
, obre el vídeo en una pestanya nova
direction is by draining their usage faster, leaving more users wanting more token allowance by signing up for higher plans. And going back to our price difference between Nvidia GPU and Cerebrus chips, the capex in this case for OpenAI isn't actually in the hardware cost since they didn't buy Cerebrus chips, but instead they made a $10 billion deal with Cerebrus to rent their 750 MW worth of compute from their data center through 2028, which means OpenAI has the next 30 months to make this $10 billion deal worth the price tag. And a large portion of OpenAI's revenue source comes from the ChatGPT subscription. So, for the sake of simple analysis here, let's assume that OpenAI will only serve their Cerebrus chip-backed GPT 5.6 soul through their subscription model only. Though in reality, they'll probably collect revenue from all three sources. OpenAI's $200 per month pro membership would bring them about $6,000 per users for the next 30 months, which means they
-
7:23
, obre el vídeo en una pestanya nova
have to theoretically convert about 1.6 million users to the pro membership, which is about 0.16% of their 1 billion monthly active users. And the fastest way to get this conversion is by draining their token allowance and setting a premium cost for processing your requests faster through Cerebrus chips instead. Like we saw earlier, OpenAI already charges their users higher usage when they select 1.5x speed, but for the same tokens at the end of the day. So, effectively, Cerebras chips that offer up to 750 tokens per second SLA, which practically for the users could be 18.5 times speed up, which is huge. And it'll likely drain your token allowance that much faster, depending on how optimized Open AI actually made their model to run on Cerebras chips. Now, like I said, in reality, their revenue will probably be collected not just from subscription alone, but through business and API as well. And beyond Codex through subscription, people might deploy a low-latency app through
-
8:18
, obre el vídeo en una pestanya nova
API, reaching Cerebras chip for workflows that need a fast inference. So, these would all collectively create demand for Cerebras chips separate to the back of the napkin math that we just did on subscription revenue thesis alone. Now, one element we haven't discussed is token efficiency or cost of tokens, which adds yet another dimension to this entire equation and changes the economics upside down once again. More and more models like Grok 4.5 that we just saw from SpaceX AI are becoming token efficient, where models use less tokens to get the same job done. So, in a way, token efficiency works diametrically opposite to token speed, at least from the Frontier Labs who are trying to encourage more token usage for higher revenue. All of these are, I think, such interesting factors to consider as the AI race continues to unfold and we're seeing more competition driving Frontier Labs to not only offer their models smarter, but also faster and also more cost-efficient.
