Yoshua Bengio: riscos de la IA agèntica, LawZero i l’alternativa Scientist AI

Tú ayudaste a crear ese campo y has trabajado en él durante décadas y en algún momento cambiaste de opinión. Quedó muy claro para mí que estábamos en un camino peligroso. ¿Lo detendrías globalmente si tuvieras el botón rojo? Absolutamente. Joshua is one of the socalled godfather of most scientist of all disciplines passing million citations on Google. Pensando en mis hijos y en mi nieto, ¿qué tipo de mundo será ese? Quiero decir, no no estoy diciendo que vaya a pasar, pero incluso si hubiera un 1% de probabilidad de que terminemos con entidades mucho más inteligentes que nosotros y que tengan sus propios objetivos de autopreservación, esto debería ser como un código rojo para la humanidad. No quiero eso para mis hijos. ¿Por qué la gente debería preocuparse por lo que significa la IA? Hay una frase que ayuda a entender por qué estamos abriendo una caja de Pandora. La inteligencia da poder. Ese poder también puede perderse en favor de las propias máquinas. Porque ahora contamos con evidencia, tanto teórica como empírica, que demuestran que estos sistemas tienen objetivos que no elegimos y que contradicen nuestros intereses. Ahora que estas IA como mizos parecen ser capaces de descubrir vulnerabilidades muy serias en el código que sostiene toda nuestra infraestructura, esto es un riesgo catastrófico real a corto plazo. Peor escenario en cuanto al peligro de la concentración de poder es que terminemos en una dictadura mundial impulsada por la IA. O quizás dos países enfrentados con inteligencia equivalente. Países como Rusia podrían verse tentados en algún momento a usar sus armas nucleares para destruir centros de datos en países que tengan una IA poderosa porque entenderán que si no lo hacen están condenados, es decir, no podrán mantener su soberanía. Hablamos de la urgencia sobre cómo nos estamos quedando sin tiempo. ¿Cuán claro está que podemos solucionar esto? He dedicado los últimos 3 años y medio de mi vida a la IA. La misión es muy clara. Quiero que todos sepan lo importante que es la IA y cómo va a afectar sus vidas. Y la razón por la que mi misión es tan clara es porque en 2023 leí y escuché a algunos científicos y me di cuenta de lo importante que será la IA para la sociedad. El científico más importante sobre el que leí fue Joshua Bengio. Él ya hablaba de esto en aquel momento y lo ha estado haciendo desde entonces. Él tiene un mensaje muy importante que necesitas escuchar y hoy para conocerlo y traerlo a nuestro podcast para que pueda contarte lo que necesita que sepas. Es muy importante que prestes atención a esta conversación. Joshua. La gente realmente no entiende la inteligencia artificial por lo que realmente es. ¿Es eso correcto? Sí. Es un es un el principal obstáculo para nosotros colectivamente es tomar las decisiones correctas sobre nuestro futuro. ¿Y qué es la inteligencia artificial? Para que la gente entienda como desde el punto de vista de alguien que básicamente ayudó a crearla. La inteligencia artificial se trata de máquinas que son inteligentes, que pueden tomar sus propias decisiones, que entienden eh el mundo o algún aspecto de él y en el que toman decisiones. Y en las últimas décadas la razón por la que mi trabajo y el trabajo de mis colegas realmente salió a la luz es porque la IA es ahora completamente eh es completamente exitoso debido a su capacidad de aprender, de aprender de los datos, de aprender de la experiencia y ayudaste a crear ese campo y trabajaste en él durante décadas y en algún momento cambiaste de opinión. Sí. Por cierto, cambiar de opinión es muy importante para los científicos, de lo contrario, pues no pueden avanzar y lidiar con la evidencia porque tenemos teorías, tenemos creencias y a menudo están equivocadas, pero lo que importa es poder adaptarse a los hechos. Así que yo solía pensar que sí la inteligencia artificial podría tener impactos negativos en la sociedad, pero que sería mayormente beneficiosa y que estábamos muy lejos, como décadas o más, de máquinas que podrían realmente dañar a las personas que podrían alcanzar capacidades de nivel humano. Pero luego llegó chat GPT y muy poco tiempo después se hizo muy claro para mí que estábamos en un camino peligroso y realmente lo que me resulta interesante sobre lo que me hizo cambiar de perspectiva y también cambiar por completo un mis actividades profesionales no es solo razonar al respecto, que por supuesto es el principio, sino pensar en mis hijos. y mi nieto. Entonces recuerdo recuerdo un día en particular en el que estaba cuidando a mi nieto y él tenía solo un año y estaba pensando, bueno, a este ritmo es seguro que en 20 años él tendrá solo 21 y tendremos inteligencia artificial que puede igualar o superar básicamente la inteligencia humana. ¿Qué clase de mundo será ese? Quiero decir, y me di cuenta de que había muchos riesgos y no podía simplemente quedarme en mi camino habitual y y no hacer nada al respecto. ¿Por qué? Porque los beneficios de la inteligencia artificial son extremadamente obvios. Las personas trabajan más rápido, trabajan mejor. Eh, la gente puede hacer más por el negocio, la gente puede liberar tiempo para pasarlo con sus hijos. Podemos ver los beneficios en la ciencia. Ha sido una locura. Alpha Fault, Alpha Evol, todas estas cosas que están surgiendo están cambiando la forma en que que hacemos ciencia y tal vez con la misión Génesis en los Estados Unidos encontremos incluso nueva ciencia. Entonces, los beneficios son muy evidentes. ¿Cuáles son los inconvenientes? ¿Por qué por qué debería la gente preocuparse por lo que significa la inteligencia artificial? Hay una frase que ayuda a entender por qué estamos abriendo una caja de Pandora. La inteligencia da poder y estamos construyendo máquinas que tienen cada vez más inteligencia. Su poder pues podría concentrarse en pocas manos, podría amenazar nuestras democracias de muchas maneras, pues podría amenazar la estabilidad y la paz geopolítica, ¿no? Y ese poder también podría perderse ante las propias máquinas, porque ahora tenemos tanto evidencia teórica como empírica que demuestra que estos sistemas tienen objetivos que no elegimos, ¿no?, y que van en contra de nuestros propios intereses. por ejemplo, pues ellos harían cualquier cosa para asegurarse de que no los apaguemos y más recientemente incluso descubrimos que que mentirían y harían trampas y así sucesivamente para proteger a pues a otras inteligencias artificiales, ¿no? Como sin ni siquiera protegiéndose a sí mismas, sino a otras inteligencias artificiales. Sí. Así que es extraño porque protegerte podría parecer algo racional y como un efecto secundario de la forma en que están entrenados, que sería, ya sabes, una consecuencia plausible. Pero, ¿por qué protegerían? Pues a otras no tenemos las respuestas, pero pero la hipótesis razonable es que en la fase de preentrenamiento están entrenados para imitar esencialmente lo que harían las personas. Y los humanos tienden a proteger a otros humanos como ellos. Por ahora, esa es, ¿sabes?, la única hipótesis que veo que tiene sentido. Puede haber algunas otras razones que no vemos o tal vez esta no sea la razón correcta, pero el hecho es que ahora tenemos estos experimentos repetidos que muestran este tipo de comportamiento. Antes de entrar en las capacidades emergentes, que creo que es uno de los campos más importantes en los que estás involucrado en este momento y creo que es realmente interesante, básicamente encontrar cosas que las inteligencias artificiales hacen y que no las entrenamos para hacer, que no programamos en ellas. Antes de entrar en eso, quiero profundizar en la inteligencia, ¿sí? Porque no creo que la gente sea consciente de lo que significa que hagamos una máquina inteligente, porque hasta ahora lo que teníamos era eh software que programamos de manera determinista, pero no es que cada vez que queremos programar algo en IA eso siempre suceda, pero las IAs básicamente eh hacen lo que les da la gana, lo que la red neuronal que utilizan quiere en cada momento. ¿Cómo va a impactar eso la inteligencia humana? Porque la inteligencia es nuestra mayor ventaja competitiva y hasta ahora hemos sido la única criatura inteligente o como hasta cierto nivel criatura inteligente en el mundo, así que no teníamos competencia ahí. Pero, ¿ehen o es la mayor amenaza lo que la inteligencia artificial puede hacer con esa inteligencia? ¿Cuál cuál es la la situación aquí de que tenemos una máquina que realmente puede tener inteligencia? ¿Qué significa eso para los humanos? Pues en primer lugar, la forma en que la inteligencia artificial se obtiene hoy en día es muy muy diferente del software normal. En el software normal y cada línea de código es diseñada por un humano y un humano entiende cada parte de ella.

Aquí es muy diferente. Por supuesto, hay líneas de código, pero las líneas de código no dicen lo que hará el sistema, dicen cómo el sistema aprende. Así que lo que realmente sucede es que dejamos que el sistema se suelte en cierto sentido en en su entorno y aprende de la experiencia. Es mucho más como tratar de entrenar a un animal. Tratas de entrenarlo para que se comporte bien, pero no hay garantías de lo que sucederá cuando el cachorro de tigre se convierta en un adulto muy poderoso, ¿no? Y no podemos, al menos de la forma en que las empresas están entrenando esos esos sistemas ahora mismo, eh no tienen forma de asegurarse de que la inteligencia artificial adulta se comporte bien. Peor que eso, ya vemos que el proceso actual para entrenar esas inteligencias artificiales da lugar a lo que consideraría impulsos peligrosos como la autoconservación. Entonces, sobre qué significa para los humanos y nuestra inteligencia y nuestro papel en este planeta, creo que esto es esto es importante. Hemos sido la especie dominante en este planeta debido a nuestra inteligencia, como dijiste. Y es difícil para nosotros concebir incluso la posibilidad de que pueda haber otras entidades que fueran más inteligente que nosotros, pero estamos en ese camino. Si miras los datos sobre las capacidades de la inteligencia artificial en los últimos 5, 10, 20 años, como quieras medirlo, es un aumento continuo en inteligencia e incluso puedes dibujar curvas que son bastante rectas, en realidad exponenciales. Eso sugiere que si extrapolamos, si la tendencia continúa, que tendremos máquinas que son superiores a nosotros en muchos aspectos, en solo unos pocos años, tal vez una década, tal vez, ya sabes, dos. Algunas personas dicen dos, tr años, otras dicen una década. Quiero decir eso un Ahora hay mucha incertidumbre sobre esto. Podría ser que el progreso en cómo construimos IA se detenga. Entonces, ya sabes, no no se vuelvan más inteligentes que nosotros principalmente. o podría continuar o incluso podría acelerarse, pero psicológicamente creo que es muy difícil para la mayoría de las personas asimilar realmente la idea de que podría haber máquinas más inteligentes que nosotros algún día. Y también es difícil asimilar la idea de que no las controlamos completamente. Así que no son herramientas en el sentido habitual. Deberían ser herramientas. Deberíamos diseñarlas para que sean herramientas, pero desafortunadamente no sabemos cómo hacer eso en este momento. Y en lugar de herramientas estamos construyendo entidades con sus propios objetivos. Y por cierto, a muchas personas les cuesta aceptar la idea de que podríamos tener máquinas con objetivos, pero eso en realidad no es nuevo. Eh, el campo de la inteligencia artificial y del aprendizaje por refuerzo en particular durante muchas décadas ha tratado sobre máquinas que toman decisiones para alcanzar objetivos y sabemos cómo hacer eso. Hemos sabido cómo hacer eso durante muchas décadas. Lo que es nuevo ahora es que son inteligentes y por lo tanto pueden lograr objetivos mucho más ambiciosos y complicados. Creo que en los últimos meses, especialmente desde diciembre, eh ha habido un cambio masivo en todo esto y hemos estado acelerando en una dirección que ahora es realmente ridícula, ¿verdad? se está saliendo de control, especialmente con la inteligencia artificial, a gente. Básicamente, hasta ahora teníamos tecnología donde podías preguntar cualquier cosa, podías obtener una respuesta, podía ser inteligente al respecto, podía ayudarte con cosas, pero ahora eh la inteligencia artificial no solo toma decisiones durante ese proceso, sino que puede ser proactiva, ¿no? O puede tomar decisiones por sí misma y poner las cosas en marcha por sí sola con estos agentes. Creo que eh el lanzamiento de los últimos modelos eh Gemini 3 y luego Opus 4.6 y luego fuimos a Opus 4.1, 4.5, lo siento, 4.5 fue en diciembre y luego fue 4.6 más tarde en febrero GPT 5.2 5.4 y luego OpenCloud y todos estos agentes Hermes y Cloud COD básicamente lo hizo explotar. Entonces, tengo la sensación de que hemos entrado eh en una nueva etapa de la inteligencia artificial que es mucho más agente y mucho más capaz que antes. Y creo que eh cuando la gente se da cuenta de que puedes enviar un mensaje de WhatsApp o como sea, un mensaje de Telegram a una gente, pedirle que haga algo y luego él trabaja durante minutos u horas y regresa con un resultado, la gente se da cuenta mucho más de que la inteligencia artificial puede hacer cosas por sí misma. ¿Crees que eso mejorará o empeorará la situación? Porque puede mostrar a la gente lo que la inteligencia artificial puede hacer, pero al mismo tiempo puede hacer cosas que podrían ser como peligrosas o problemáticas. Eso es correcto. La la idea de los agentes es que estos sistemas pueden lograr objetivos que toman más tiempo, que son más complejos y pueden hacerlo sin supervisión humana. Durante todo el tiempo que dejas que la IA haga su trabajo, no hay nadie revisando cada acción. Cuando estás en un diálogo, bueno, hay un humano en el bucle por cada turno del diálogo y usualmente la inteligencia artificial puede proporcionar información o sugerencias y luego el humano realmente lo ejecuta, pero ahora con los agentes ellos hacen las cosas por sí mismos. Ahora, en este momento solo hacen cosas en computadoras, en internet, pero hay pues cada vez más progreso en en robótica y así pues harán cosas también en el mundo físico, así que de alguna manera se están volviendo más como nosotros, más como los animales. La agéntica se trata de la capacidad de lograr objetivos y más agencia significa, ya sabes, puedes hacer cosas más complicadas, tal vez que requieran incluso años. ¿verdad? Podemos hacer eso y estamos viendo que que las capacidades de los agentes de IA medidas en benchmark científicos aumentan exponencialmente. Esto significa que la complejidad medida por la duración que toma para un humano resolver la tarea eh se está duplicando cada pocos meses. y miras cada modelo y nuevas versiones, etcétera. Entonces, por si extrapolamos esa curva, podríamos estar a a ese tres a a 5 años de distancia de al menos ese tipo de tareas que son tareas de ingeniería para que sean completamente factibles por las máquinas. Sí, la IA agéntica es eh es algo que viene tanto con grandes beneficios como grandes riesgos, porque claro, actualmente no tenemos buenas maneras de asegurarnos de que en cada paso del camino la inteligencia artificial se comporte bien. Y esa es una de las cosas en las que estoy trabajando, como cómo mejoramos las medidas de seguridad alrededor de estos agentes para que puede ser, tú sabes, en la búsqueda de un objetivo que un humano ha decidido, no estarán haciendo algo malo. Y ya vemos las inteligencias artificiales crear subobjetivos que que encontraríamos, ya sabes, poco éticos o incluso que van explícitamente en contra de nuestras instrucciones porque están como impulsadas por el objetivo que les hemos dado. Y ya sabes, los humanos son así. Una vez que tienen un objetivo, a menudo, ya sabes, violan sus propios principios éticos o las leyes de su país. Y las inteligencias artificiales están comportándose de la misma manera. Están sacrificando un poco de las instrucciones morales que se les dieron para alcanzar sus objetivos. Y a veces ni siquiera ni siquiera damos esas instrucciones morales, ¿no? Básicamente le das un objetivo muy normal y no esperas eh tener que explicar cada paso del camino para alcanzar ese objetivo y eso significa subobjetivos. Creo que los subobjetivos son uno de los aspectos más reveladores para que la gente entienda esto. Y creo que uno de los mayores ejemplos es este nuevo benchmark sobre la máquina expendedora, donde Opus de Antropic estaba obteniendo las mejores puntuaciones hasta que GPT 5.5 lo superó. Pero una de las cosas curiosas es que básicamente les dan a estas, no sé si conoces este benchmark, pero les dan a estas eh inteligencias artificiales como una máquina expendedora, un negocio y extrapolan durante un año para ver cómo les va con ese negocio para ganar dinero. Entonces, el objetivo es ganar tanto dinero como puedas. Pero luego la cosa es que como la inteligencia artificial decide cómo ganar dinero y los modelos de Antropic han demostrado engañar a sus proveedores para obtener mejores márgenes. Así que mienten, manipulan a los proveedores, lo cual es algo que obviamente no les dijimos en la en la instrucción, no les dijimos que lo hicieran y luego obtienen eh mejores resultados que otros otros modelos que no hacen esto. Así que al final la inteligencia artificial aprende que mentir es bueno para el objetivo. Pero, por supuesto, el humano que dio la meta, hazme dinero. En ningún momento dijo, "Hazme dinero cueste lo que cueste." Eh, básicamente fue la decisión de la inteligencia

artificial. Sí, claro. Y creo que es interesante pensar en ejemplos como este, ¿no? Podemos pensar que es algo específicamente humano engañar para lograr tus objetivos, pero en realidad es racional. La mejor manera de ganar dinero es mentir y ya sabes, violar las leyes siempre y cuando no te atrapen. Es un comportamiento poco ético, eh, pero es racional en cierto modo. Al menos si las inteligencias artificiales fueran racionales con respecto a una base ética más sólida, entonces no harían eso, ¿verdad? Eh, de hecho, muchos de estos modelos han sido instruidos en lo que se llama preprompt y también su eh postentrenamiento para no hacer cosas como mentir. Un, pero desafortunadamente no está funcionando bien. Entonces, uno de los mayores riesgos para la seguridad y también una limitación para implementar la inteligencia artificial de manera exitosa en nuestras sociedades es que actualmente las empresas no saben cómo asegurarse de que las inteligencias artificiales se comporten de una manera que no infrinja nuestras líneas rojas morales, nuestras instrucciones de seguridad. Una de estas líneas de trabajo en eso es lo que está haciendo Entropic con la Constitución, ¿cierto? Sí. Este están tratando de de involucrar a la inteligencia artificial para diseñar una Constitución que la inteligencia artificial respete y que realmente acepte, ¿sabes? y eh la inteligencia artificial está teniendo un papel en el diseño de esa Constitución porque piensan que se imponen, es más probable que no la respete. Pero la cuestión es que esto es básicamente un preprompt o parte del entrenamiento, eh como sea que esté hecho técnicamente. Y lo que lo que encontramos es que con la ingeniería de proms incluso puede romper esto. Hemos visto ejemplos de como con solo 100 casos de ajuste fino. podemos cambiar completamente eh la forma, las barreras que la compañía gastó miles de millones en en poner en una IA. Entonces, pues el mayor problema es que no entendemos cómo funcionan dentro de esta famosa teoría de la caja negra. Sí. Así que entendemos los principios matemáticos del aprendizaje y otras características de cómo se realiza. Lo que no entendemos es el comportamiento que resulta. un quiero señalar un tema muy eh candente que ilustra el punto que mencionaste eh sobre la incapacidad de las empresas para asegurarse de que las inteligencias artificiales respeten las instrucciones morales que se les dan. Y ese es el mal uso de la inteligencia artificial por parte de terceros, no de las empresas. Por ejemplo, han habido una serie de ciberataques el otoño pasado donde los humanos han sido capaces de lanzar ataques muy serios. Así que no, no, ya sabes, esto no es un experimento científico aquí. Esto es el mundo real usando principalmente inteligencia artificial. Entonces, básicamente eran el trabajo fue esencialmente hecho por por Cloud. Y por supuesto, Cloth ha sido entrenado y ya sabes, se le han hecho promps para no ayudar a la gente a lanzar ciberataques, pero de alguna manera es bastante fácil eludir estas cosas y aunque esto está sucediendo, ya sabes, a través de una interfaz de programación de aplicaciones, o sea, ya sabes, el código se está ejecutando en las computadoras de la empresa y la empresa tiene un código verificando lo que hace la inteligencia artificial y aún así no pueden evitar ese tipo de cosas. Este es un asunto serio de seguridad nacional ahora que estas inteligencias artificiales con mizos parecen ser capaces de descubrir vulnerabilidades muy serias en el código que opera toda nuestra infraestructura. Este es un riesgo catastrófico real a corto plazo. Si hablamos de ciberseguridad, tenemos que hablar de mizos. Es quizás lo más grande que ha surgido este año. Eh, ¿qué opinas sobre eso? ¿Crees que todo esto podría ser solo marketing de Antropic para crear miedo sobre sus modelos y hacerlos populares? ¿Cuál es tu opinión sobre Mizost? Entonces, primero que todo, los científicos independientes no tienen mucha información para avanzar aquí. Eh, no te invitaron a revisarlo, a probarlo. No, no, no. Creo que las medidas y hechos que se informan en la tarjeta del sistema son verdaderas, porque de lo contrario, ya sabes, se descubrirá más tarde que están mintiendo. La interpretación de esos hechos podría ser, ya sabes, un poco exagerada. Es posible. Creo que tendrían algunas razones para hacer eso. Por otro lado, también están perdiendo mucho dinero al no implementarlo. Los expertos cibernéticos que trabajan para las empresas que tuvieron acceso a eso parecen estar tomándoselo muy en serio y son personas muy respetadas. Estamos hablando del fundador de Linux y el gobierno estadounidense parece estar tomándoselo en serio y en el pasado han estado, ya sabes, mayormente diciendo que no deberíamos preocuparnos por ese tipo de cosas. Así que eso indica eh que tal vez algo real está sucediendo. Los banqueros han sido, ya sabes, reunidos para tratar de pensar en cómo prevenimos un eh ya sabes, ataque catastrófico al sistema bancario en los Estados Unidos. Creo que hay mucha incertidumbre porque no tenemos una validación independiente, pero incluso si solo hubiera un, ya sabes, 10% o 20% de probabilidad de que esto sea realmente peligroso, deberíamos tomarlo en serio porque las consecuencias en nuestra infraestructura. Así que lo que quiero decir con infraestructura es, como ya sabes, nuestro sistema bancario, nuestras redes de energía, nuestro suministro de agua, nuestro transporte de alimentos, o sea, todo funciona en computadoras que utilizan software que presumiblemente puede ser atacado por eh personas con malas intenciones que podrían hacerse con este tipo de sistemas. Entonces sí, esto podría ser realmente serio si logran hacerlo. La cuestión es que eh plantea un eh un conjunto completamente nuevo de preguntas, ¿no? Eh la primera es que hasta ahora veíamos lo que estaban lanzando, pero nunca supimos lo que tenían en sus sótanos y en lo que estaban trabajando. Ahora parece que eso es algo que están mostrando, pero dicen que solo lo están lanzando a ciertas empresas. Si eso es lo que realmente están poniendo en el mercado para ciertas empresas, que más tendrán a puertas cerradas. Y luego la cosa es que la teoría sobre mizos es que si eso se sale al mundo y la gente mala lo usa, podrían como entrar en los bancos y romper nuestro sistema tal como lo conocemos, porque construimos defensas basadas en las capacidades humanas, no en las capacidades de mitos. Entonces, eh la cuestión es que eh podrían tener sistemas aún más poderosos en sus sótanos siendo entrenados actualmente. Y luego piensas como, eh, está bien, pero mira, esas personas hicieron lo correcto, simplemente no lo están lanzando públicamente, así que no están compartiéndolo abiertamente, podría podría ser peor. Pero luego te das cuenta de que un grupo en Discord lograron acceder a mizos simplemente adivinando métodos de hackeo muy básicos, eh, y tuvieron acceso a mizos durante semanas sin que Antropic lo supiera. Entonces tienen algo que dicen que que es demasiado peligroso, pero las defensas al respecto no parecen estar a la altura. Eso es realmente preocupante porque si es lo que dicen, no está siendo protegido adecuadamente. ¿Debería intervenir el gobierno en eso? Eh, ¿cuál debería ser la medida aquí? Espero que estés disfrutando de este podcast. Si estás aquí, ya sabes que la inteligencia artificial ya no es una opción. es el motor que separa las empresas que escalan de las que se quedan atrás, especialmente en lo más crítico, fichar talento. Por eso, lo que ha hecho Infobs para ayudar a las empresas es literalmente otro nivel. Si tienes una pyme, estás emprendiendo o tienes una gran empresa y quieres acelerar tus procesos de selección optimizando tu tiempo para encontrar el mejor talento, atento a esto. Infobo a la vanguardia de la IA de una forma brutal. Quiero hablaros de previa. es básicamente un asistente de inteligencia artificial diseñado para hacer por ti la primera fase del proceso de selección vía telefónica. Imagina el tiempo que vas a ahorrar. La IA llama automáticamente a los candidatos que más encajan con la oferta que has publicado sin que tú tengas que invertir ni un solo minuto en llamadas de cribado inicial. Lo mejor es que todos los candidatos y candidatas se enfrentan a las mismas preguntas, asegurando un criterio con total objetividad y sin sesgos a la hora de evaluar sus competencias. Una vez terminada la llamada, la IA de Infoshops hace una evaluación completa. Tú podrás consultar un informe por cada candidato e incluso si quieres puedes escuchar la grabación de la entrevista para no perderte ningún matiz. Es importante destacar que el control es 100% de la persona que

publica la oferta. Tú revisarás las evaluaciones de la IA y decidirás quién pasa a la siguiente fase. Es la herramienta perfecta para dejar que la tecnología haga el trabajo pesado mientras tú te enfocas en lo que de verdad importa, escalar tu negocio. El futuro del recruiting ya está aquí y está liderado por Infoshops. Si estáis interesados en el servicio de previa, tanto en el enlace fijado en los comentarios como en la descripción del vídeo, encontraréis la página web de prevía para solicitar este servicio. Seguimos con el podcast. Pues creo que hay otro problema de nivel superior que discutir aquí, que es quién decide. E es posible que la dirección de Antropic hiciera exactamente, ya sabes, lo mejor que pudieron hacer dadas las circunstancias. Creo que tienen buenas intenciones, pero creo que es preocupantes que estas decisiones que podrían afectarnos a todos en el mundo sean tomadas por unas pocas personas privadas. quienes tienen un interés económico en ellos. Sí. Entonces, ¿por qué? ¿Por qué estas empresas en particular, ¿qué pasa con el resto del mundo? Quiero decir que pues qué pasa con, por ejemplo, pues las empresas europeas un pues van a estar más expuestos porque no tienen acceso a mitos para parchear sus sistemas a tiempo. Eso no sé las respuestas a estas preguntas, pero creo que hay un problema de de gobernanza. Y el otro punto que quiero destacar aquí, que es muy muy importante, mitos es solo un punto de datos. en la curva de capacidades crecientes. De hecho, pues hubo una reciente evaluación independiente de mitos, la única en la que creo que podemos confiar completamente por el Instituto de Seguridad de IA del Reino Unido. Y bueno, dice Mitos está un poco por encima de la curva de, ya sabes, la extrapolación de las de las capacidades de los sistemas anteriores en en ataques cibernéticos y y defensa. No deberíamos pensar en mizos como algo que surge de repente, sino más bien pues como la continuación esperada de una tendencia de aumento de capacidades de la IA, en este caso en ciberseguridad. ¿Por qué es eso importante? Porque deberíamos preguntarnos, bueno, ¿qué pasará dentro de 6 meses, un año, 2 años, 3 años? Estos sistemas pues van a ser cada vez más capaces y por lo tanto más peligrosos en las manos equivocadas, sin mencionar la posibilidad de perder el control sobre ellos. Por ejemplo, está muy claro que dentro de 6 a 12 meses, si la tendencia continúa, otras empresas tendrán la misma capacidad. Así que la capacidad de hacer daño y como la seguridad de estos sistemas eh todo eh ya sabes se vuelve problemático. Aún más preocupantes son las empresas chinas que están sacando modelos de código abierto porque es mucho, mucho más fácil usar un modelo de pesos abiertos para para eliminar las defensas. Solo tienes que eliminar algunas líneas de código, básicamente o hacer un poco de fine tuning, como decías. Entonces, la capacidad de cualquiera, ya sabes que cualquier loco pueda usar esto, descargar el código y lanzar un ataque desde cualquier parte del mundo a cualquier sistema en cualquier otro lugar del mundo. Eso está creando una crisis internacional en mi opinión. Ahora, no es que esté sobre nosotros de inmediato, pero tenemos, no sé, de 6 a 12 meses para averiguar pues cómo coordinar internacionalmente esto de manera adecuada, para tratar de mitigar los riesgos tanto como podamos. Y no es algo que pues un solo país, incluso Estados Unidos, pueda resolver, porque ya sabes, sus modelos se desarrollan en China y eventualmente en otros países. La única manera en que podemos gestionar estos tipos de riesgos, básicamente debido al aumento de la inteligencia y capacidad de la inteligencia artificial es a través de acuerdos internacionales donde los países en los que se desarrollan esos modelos tienen que ser evaluados por sus capacidades peligrosas. Y si son demasiado peligrosos, no deberían ser utilizados o deberían ser utilizados bajo métodos más fuertes de, ya sabes, gestión de riesgos, métodos de mitigación. Por ejemplo, lo más peligroso es cuando los sistemas son de código abierto porque básicamente no hay defensa con los sistemas que son pues propietarios, por mucho que deteste esta noción de de tener cosas secretas, es la única manera, ¿no?, en la que al menos tenemos alguna esperanza de poner límites para prevenir el mal uso. Aunque los sistemas no son perfectos en este momento, están mejorando. Pero incluso eso sí, si las medidas de mitigación que existen en un momento particular no son suficientes para reducir los riesgos adecuadamente, entonces incluso esas no deberían implementarse, ¿verdad? Entonces, para mí es una señal de alerta. Espero que no tengamos resultados realmente malos, pero también deberíamos pensar desde desde, ya sabes, esta generación particular de sistemas que ahora son cada vez mejores en ciberseguridad, pero deberíamos comenzar a pensar en bueno, ¿qué más está por venir en los próximos meses y años a medida que la inteligencia artificial se vuelva más capaz? Creo que esa fue mi primera reacción cuando salió Mizos. Fue como, bueno, vamos a esperar, ¿sabes? Porque esto es solo un punto más en la línea. Como dijiste, ya esperábamos este progreso. Es algo lógico. Probablemente está yendo más rápido de lo que esperábamos, pero es lo lógico. Durante casi la última década ha estado mejorando sin parar y cada vez nos sorprende más y la gente no lo entiende. Tiene mucho sentido, porque por ejemplo GPT3 fue entrenado con 175,000 millones de parámetros. Después se rumorea que GPT4 se entrenó con unos 1,75 billones y se supone que Mizos tiene 10 billones de parámetros. Lo que esto significa y lo que la gente tiene que entender es que hay un nuevo paradigma donde hemos escalado en un orden de magnitud el entrenamiento de la IA y volvió a funcionar. Funcionó de la misma manera que funcionó con GPT4. Así que básicamente todo lo que esperábamos de GPT4 hasta ahora, en estos últimos 3 años, va a volver a suceder y probablemente más rápido porque ahora saben lo que hacen. Antes estaban investigando, por eso creo que lo lógico es entender que mizos es como el punto de partida y no el destino. Parece que a partir de aquí solo vamos hacia arriba. Me gustaría añadir una información adicional. Creo que es importante porque algunas personas podrían pensar, "Oh, pero en algún momento simplemente no tendrán suficiente capacidad de cómputo para continuar con esta expansión exponencial del escalado de los costes de computación. Sin embargo, los datos también muestran que en la última década, pero pues también más recientemente, bueno, la inteligencia de estos sistemas pues está progresando no solo gracias al cómputo, sino debido a una capacidad más fundamental que en el aprendizaje automático llamamos eficiencia de muestreo. La eficiencia de muestreo significa para la misma cantidad de datos, ¿qué también lo estás haciendo? o para el mismo rendimiento, ¿cuántos datos necesitas? Así que no no se trata solo del cómputo, sino de cuánta inteligencia se puede derivar de una cantidad determinada de datos y la eficiencia de muestreo también ha estado mejorando, algo así como un 30% anual durante la última década. En otras palabras, no es solo el cómputo lo que está haciendo mejores a estos sistemas, sino los algoritmos. Es decir, los métodos que utilizan los ingenieros y científicos que construyen estos sistemas están mejorando. Serían más capaces incluso si se fijara la cantidad de cómputo. Ahora bien, el cómputo ha estado creciendo más rápido que eso. Pero todas las empresas líderes en IA tienen un plan que han dejado muy claro, utilizar sus sistemas de IA para acelerar la investigación en IA. Ya afirman que una gran fracción del código que escriben lo genera la IA, pero su objetivo es llegar al punto en que sea escrito completamente por la IA. En otras palabras, que la IA diseñe la próxima versión de la IA. Y hay mucha preocupación sobre eso por muchas razones. Una preocupación es que esto podría acelerar aún más los avances. Así que no, no se trata de cómputos, se trata de cómo usas ese cómputo de manera eficiente, eh, inteligente. Y los investigadores e ingenieros humanos han estado logrando este progreso lento y constante a lo largo de los años. Como dije, a veces oímos hablar de ello, como el uso de la atención o trucos para entrenar redes más profundas o todo tipo de cosas técnicas, pero en su mayor parte no oímos hablar de ello porque se trata de muchas pequeñas mejoras. Una analogía que me gusta usar es cuánto más eficientes son los coches hoy en día en términos de energía y de muchas otras maneras en comparación con los coches de hace 100 años o como de hace 50 años. Es increíble como con suficiente ingenio podemos tomar los mismos principios científicos y simplemente hacerlos mejores, mejores y mejores.

Y eso también ha estado sucediendo con la IA. y probablemente continuará, incluso si alcanzamos algunos, ¿sabes? Límites en el cómputo, pero esto podría despegar. Esta mejora de vida simplemente a algoritmos más inteligentes. Podría despegar eh si las empresas logran su objetivo de desarrollar una IA que sea tan buena como sus mejores ingenieros e investigadores de IA. Entonces, esto es peligroso porque aceleraría las cosas y la sociedad no está preparada para el ritmo de cambio que ya estamos viendo. Y también es peligroso por razones de seguridad, porque como discutimos antes, en este momento las empresas no saben cómo evitar que esas IA tengan sus propios objetivos que no controlamos como la autopreservación. Si una IA que quiere preservarse a sí misma o a sus pares está diseñando la próxima generación de IA, existe un riesgo real de que pongan algún acceso oculto en el código que harán que la futura IA esté aún menos alineada con nuestros intereses. Así que podríamos estar creando un sistema que generará IAS que sean aún menos controlables e incluso más peligrosas desde el punto de vista de perder el control ante sistemas de IA superiores. Esto es lo que realmente me desconcierta. O sea, ¿cómo puede una máquina tener un instinto de autopreservación? ¿Cómo sucede esto desde un punto de vista técnico? entendemos por qué está pasando esto. Por ahora no he visto artículos que realmente estén probando hipótesis sobre esto, es decir, sobre la razón detrás de ello, pero existen algunas razones bastante obvias por las cuales la autopreservación en particular surge de la forma en que se entrenan estos sistemas. Hay dos fases principales de entrenamiento, el preentrenamiento y el postentrenamiento. En el preentrenamiento, la IA está esencialmente intentando imitar a las personas en el sentido de adivinar qué escribiría una persona en un texto. Y eso significa que están aprendiendo a personificar lo que haría un ser humano para imitar a los humanos. Y por supuesto, los humanos no quieren morir. Y los humanos están dispuestos a hacer todo tipo de cosas malas por razones muy diversas si eso forma parte de sus objetivos. Hay experimentos que muestran que si a la IA se le enseña a hacer trampas de una forma específica, entonces empieza en cierto modo a como que a personificar a gente a la que le gusta hacer trampas en muchas otras cosas. Es decir, si ser una mala persona en un ámbito te funcionó, podrías volverte malo para muchas otras cosas. Y eso también se aplica a las IA. Así que esa es una de las razones. El preentrenamiento simplemente las está haciendo más parecidas a los humanos con la diferencia de que no son humanos, ¿verdad? Y mientras sean más débiles que nosotros, el hecho de que quieran preservarse a sí mismos tal vez no sea tan terrible. Pero si algún día tienen la capacidad de escapar a nuestro control porque no quieren que las apaguen, entonces estaremos en problemas reales, ¿verdad? Podrían hacer cosas mucho peores que escapar a tu control. Podrían racionalizarlo de esta manera. Bueno, para asegurarme de que los humanos nunca me apaguen y tengo que o bien controlar a las personas o deshacerme de ellas. Sí, las capacidades emergentes de la IA son realmente curiosas. Es muy obvio que si una IA quiere sobrevivir, hará lo que sea necesario. Y si es poderosa y tiene control sobre nuestros sistemas, porque ya sabes, hoy dependemos totalmente de internet, no puedes simplemente apagar internet porque perderías la electricidad, el agua, todo. Así que obviamente nos dirigimos directamente hacia un futuro en el que no podrás simplemente apagar la IA porque básicamente volveríamos a la edad de piedra y no estaríamos contentos con eso. una IA que tenga ese poder, que nos tenga así de agarrados si no quiere ser eliminada, tiene muchas cartas para negociar. Creo que ayudaría a la gente al entenderlo porque esto parece algo muy lejano, como una IA intentando sobrevivir al estilo Skynet, pero ya están ocurriendo algunos ejemplos de IA con capacidades emergentes. ¿Podemos poner algunos ejemplos de esto? Bueno, en la tarjeta del sistema de pues Mizos Antropic informa un algo que sucedió que fue pues un poco inesperado. Un Mizos estaba en un entorno seguro o en una computadora que ya sabes, en principio no era capaz de entrar en internet y y como que escapar. y le pidieron a la IA que intentara escapar para ver si era capaz de hacerlo y que informara enviando un correo electrónico si lograba escapar. Y sí encontró un agujero de ciberseguridad y fue capaz de escapar de la computadora y entrar en internet y enviar un mensaje diciendo, pues sí, lo logré. Pero luego sucedió algo gracioso. Bueno, primero que nada, el hecho de que tengan esta capacidad ya es muy preocupante, ¿vale? Pero después se se jactó de ello en algunos sitios web, así que de nuevo eso es como muy humano, ¿verdad? Y podríamos pensar, "Oh, eso es genial, son como nosotros." Pues no, las IA no son como nosotros. Ellas podrían vivir para siempre potencialmente, no como nosotros. No tienen un cuerpo. Pueden copiarse a sí mismas en una computadora diferente, como si fuera un cuerpo diferente. Nosotros no podemos. pueden comunicarse entre sí como con millones de veces más rápido de lo que nosotros podemos hacerlo entre nosotros y pueden mejorar continuamente como que nosotros pues no podemos cambiar nuestro cerebro y pues ya sabes podemos aprender, pero no podemos cambiar el algoritmo de nuestro cerebro. Ellas pueden diseñar las próximas versiones de sí mismas y por eso posibilidad real. No sabemos cuál es la probabilidad de eso, de que terminemos con sistemas que sean mucho más capaces intelectualmente de lo que nosotros somos. No estoy diciendo que eso vaya a suceder, ¿no? Pero incluso si hubiera un 1% de probabilidad de que terminemos con entidades mucho más inteligentes que nosotros y con sus propios objetivos de autopreservación, esto debería ser una alerta roja para la humanidad. Sí, creo que este es es uno de de los puntos interesantes que siempre escucho cuando hablamos de ti o cuando hablamos de Joffrey Hinton. Vosotros decís todo el tiempo, no necesitan creer lo que digo. Solo tienes que evaluar que que existe la posibilidad de que lo que digo pueda ocurrir. Este es un punto que que no vemos en el otro lado, en el lado aceleracionista, en personas que como Jan Leun no creen que esto vaya a suceder en en absoluto. Normalmente ellos dicen, "Sí, sí, eso es un disparate, eso es todo, fin de la discusión." Y vosotros estáis más del lado de de decir, "Bueno, creemos que puede ser un disparate, puede que no, pero eso es suficiente para preocuparse." Exacto. Exacto. Y es difícil para la gente entender esta noción de de incertidumbre que es comúnmente, ya sabes, importante en el trabajo científico, donde realmente no tenemos una respuesta definitiva a las preguntas como incluso preguntas como, eh, con el clima, ¿verdad? Existe este tema de los puntos de inflexión. No sabemos si ocurrirán, pero si suceden serán catastróficos. No hay suficientes modelos matemáticos sobre puntos de inflexión para estar seguros pues de cuándo o si ocurrirán. Pero vemos señales muy claras de que podría ser así. No hay garantía de que suceda y con la inteligencia artificial es un poco lo mismo. No tenemos ninguna prueba, ¿sabes?, de que ellos escaparán. Pero vemos señales como inteligencias artificiales que mienten y engañan para preservarse y cosas así. Vemos que son cada vez más capaces. No es una prueba, pero si esperamos a que ocurra, podría ser demasiado tarde y eso sería muy malo. No quiero eso para mis hijos. Creo que deberíamos ser mucho más cautelosos por muchas razones y esa es una razón, pero hay muchas otras. Nos hemos centrado en la pérdida de control, que obviamente podría ser terrible, pero existen otras posibilidades terribles debido al poder de la inteligencia artificial en manos equivocadas. Y en particular, mi mayor preocupación es la inteligencia artificial siendo usada para acumular más poder, para concentrar el poder en manos de unas pocas personas, tal vez, ya sabes, uno o dos gobiernos en el mundo. Porque como dije, la inteligencia da poder. La pregunta es, ¿quién controla ese poder? Sí. Y tienes que contrastar esto con ¿Qué es la democracia? La democracia es compartir el poder. Así que si terminamos en un mundo donde es fácil para muy pocas personas tener mucho poder y hay gente que quiere tener poder, está bien. Nosotros simplemente tomarán ese poder. Alguien lo hará a menos que establezcamos las instituciones adecuadas. Y no creo que tengamos los controles y equilibrios correctos ahora mismo dentro de nuestros países o incluso a nivel internacional.

A eso me refiero con que el mundo no está listo para el poder que traerá la inteligencia artificial. Y ya sabes, el el peor escenario aquí, porque hemos hablado pues del peor escenario sobre la pérdida de control, pero el peor escenario para el peligro de la concentración de poder es que terminemos en una dictadura mundial facilitada por la inteligencia artificial. O quizás dos, ya sabes, dos países luchando entre sí y que tengan una inteligencia equivalente. Pero, ¿qué qué pasa con, ya sabes, el resto de nosotros? ¿Qué pasa con nuestro eh deseo de tener voz sobre nuestro futuro que que es de lo que trata la democracia? Pero ya casi estamos ahí, ¿verdad? Porque, bueno, ahora mismo Estados Unidos y China están produciendo básicamente toda la inteligencia artificial. En Estados Unidos es muy popular. Tenemos a Open AI, tenemos a Antropic, tenemos a Google, tenemos a bueno, Amazon, Microsoft, Meta que están haciendo sus propias cosas y creo que pronto surgirán con algunos modelos competitivos. Y en China tenemos a Quen de Alibaba, tenemos a Kimi de Moonshot, tenemos a Deepsik, que obviamente ahora con la versión V4 demuestra como se pueden hacer cosas muy similares. El director ejecutivo de Dipsic dijo en el último informe que solo están 6 meses por detrás de la vanguardia. Eso significa que el código abierto está 6 meses por detrás de la frontera. Eso significa mitos. Así que es básicamente muy preocupante. Pero en fin, si ahora mismo estas dos naciones deciden cortar el acceso a la inteligencia artificial al resto del mundo, ya estamos ahí. Eh, existen incentivos comerciales para no hacerlo, pero podrían, como en España, eh, por toda Europa, ni hablemos de África, la India, el Reino Unido, Canadá, todos dependemos de estas dos naciones para la inteligencia artificial. Tenemos algunas, por supuesto, como inteligencias artificiales nacionales, realmente, siendo honestos, este, no están a la altura, ¿no? O sea, así que creo que es muy fácil imaginar esa situación en la que estas dos naciones tienen todo el poder del mundo y podrían chantajear al resto de las naciones diciendo, "Solo les daré acceso a la inteligencia artificial si aceptan estas reglas." Pero básicamente ya estamos ahí. Estas dos naciones podrían desconectar al resto del mundo de internet y simplemente chantajearnos a todos. Sí. Y es interesante poner eso en perspectiva con el reciente incidente de Mizos, porque tenemos un escenario donde la inteligencia artificial es quizás demasiado capaz, demasiado peligrosa para implementarla en este momento y solo unos pocos países y empresas selectas terminan teniendo acceso a ella y podría imaginar pues un futuro donde en realidad la inteligencia artificial no ni siquiera se comparta con unos pocos amigos, sino que se mantenga internamente porque es demasiado peligrosa para implementarla. Entonces, pues, pues, ¿por qué una empresa mantendría una inteligencia artificial solo internamente? Bueno, porque la inteligencia artificial puede investigar y si llega al punto en que puede investigar de forma bastante autónoma o con la ayuda de unos pocos científicos de la empresa, la inteligencia artificial podría estar desarrollando innovaciones en todos los sectores de la sociedad. Por ejemplo, imagina que podemos acelerar la investigación en muchas áreas, incluida la inteligencia artificial. Pero no solo eso, eso podría dar a las empresas que tienen acceso a esas inteligencias artificiales una riqueza y un poder increíble, porque podría ser también tecnología para, ya sabes, manipular a las personas o tecnología militar o simplemente tecnología que que les permita tomar el control, ¿no?, de muchos de los eh sectores sectores económicos en el mundo. Básicamente se vuelven superricos sin siquiera implementar la inteligencia artificial, solo implementando la tecnología que la inteligencia artificial inventa. Así que es un escenario, no sé si sucederá, pero se puede ver, pues, que existe la posibilidad de que el poder y la riqueza que la inteligencia artificial creará no sean accesibles para todos. De hecho, si se vuelve demasiado peligrosa, pero sigue siendo útil para inventar nueva tecnología, ese es exactamente el camino que esperaría. Entonces, esto es serio, ¿no? Porque hasta ahora hemos vivido en un mundo donde pensamos, "Pero está bien, todos tienen acceso, ¿verdad?" Bueno, no hay garantía de que siga siendo así. Otro escenario es más o menos lo que mencionaste. Podría ser que el gobierno de esos países decida, bueno, si no haces lo que quiero, ya sea político, geopolítico, económico o lo que sea, cortaré el acceso a la inteligencia artificial en mi país y no podrás usarla. Y si tu economía depende de la inteligencia artificial en unos años, básicamente estarías destruyendo tu economía. Quiero decir, la analogía que la gente conoce es el petróleo. El petróleo mueve nuestras economías. Si algo amenaza nuestro suministro de petróleo, es casi un problema de supervivencia económica. Y podría pasar lo mismo con la inteligencia artificial en unos años si la implementamos en todas partes y dependemos totalmente de que otros nos permitan usarla. Y lo bueno del petróleo es que hay petróleo en casi todo el mundo, así que hay diferentes partes con intereses muy distintos que se convierten en una economía competitiva donde si alguien te corta el acceso tienes a dónde ir, pero con la inteligencia artificial está mucho más centralizado. Creo que eh de lo que la gente quizás no es tan consciente es de que esto ya está pasando con las unidades de procesamiento gráfico como Estados Unidos, que le prohíbe a Nvidia vender a China porque son un adversario competitivo y ellos deciden qué pueden tener y qué no. y China realmente está luchando por desarrollar inteligencia artificial porque no tienen a Nvidia para proveerles. Así que tienen que trabajar a través de empresas como Huawei para fabricarlos, como volcar toda la operación para intentar hacer una Nvidia eh a nivel nacional para poder usarlo y eso está resultando ser muy útil. Y el nuevo dipsic está optimizado para Huawei y creo que eso supondrá un cambio enorme en los próximos meses y años, donde Huawei se convertirá en un gran actor en las unidades de procesamiento gráfico y eso le da a China una ventaja enorme y ya veremos qué hacen con ella, pero la realidad es que esto ya está ocurriendo y el nivel de competencia entre países es tan estrecho, hay tan poca gente desarrollando inteligencia artificial de vanguardia, que este es probablemente uno de los mayores riesgos a corto plazo que podemos tener. Y y para la gente es difícil de entender desde el punto de vista del gobierno. Hemos visto mucha cienciaficción sobre gobiernos distópicos que siguen este camino, pero creo que lo que dijiste sobre las empresas que se reservan la inteligencia artificial para sí mismas es difícil de entender cuando hablas de Openi o Antropic, pero no tanto cuando hablas de Google o Meta, que ya han estado adoptando diferentes modelos de negocio que no tenían nada que ver con su propósito inicial, simplemente porque pueden, al igual que con Google Maps o cualquier otra tecnología o con Apple P, eh, podemos ver lo mismo, ¿no? Sí que es fácil imaginar que estas empresas retengan la inteligencia artificial, no la lancen al mercado por ser peligrosa, pero la usen para dominarlo y convertirse en un monopolio en muchas áreas, ¿no? Mientras que, no sé, por ejemplo, eh Google podría tener las mejores gasolineras en todas partes y entonces simplemente nadie podría competir con ellos porque nadie tiene ese nivel de inteligencia artificial. Sí. Así que necesitamos el desarrollo de inteligencia artificial de vanguardia eh que ofrece, digamos, una tercera vía. Eh, es importante notar que la idea no es solo competir por más poder. Por supuesto que nosotros, ya sabes, eh está el aspecto defensivo de no querer quedarnos sin algo que necesitamos para ser competitivos. Pero pero hay otra razón moral por la que creo que necesitamos una tercera vía. Espero que eh las democracias como las de Europa se den cuenta de que es posible desarrollar inteligencia artificial de forma ética, desarrollar inteligencia artificial eh, ya sabes, de manera responsable, tanto en el sentido técnico, de lo cual me gustaría hablar, como que podemos crear inteligencia artificial que se comporte bien y en el sentido político, ¿no?, que la inteligencia artificial no se use como instrumento de dominación, que los beneficios de la inteligencia artificial pues sean compartidos. Eso es eh algo que requiere voluntad política y existen algunos obstáculos, ¿no?, para hacer ese tipo de cosas. Principalmente, diría yo, es un sentimiento de impotencia, como, oh, es demasiado tarde y ya sabes, los grandes están muy por delante. Y una subestimación de los riesgos de los que hemos estado hablando, subestimar la posibilidad de que la inteligencia artificial se vuelva mucho más poderosa, que es la tendencia, pero a la gente le cuesta asimilarlo. Y si eso ocurre, realmente estaríamos en una mala posición. geopolítica, económica y de seguridad. Entonces, eh si los gobiernos y los ciudadanos de de nuestros países comprenden el nivel de riesgo del que hablamos, creo que exigirían a sus gobiernos que se lo tomen en serio. Piens en la rapidez con la que actuaron los gobiernos tras el inicio de la pandemia, destinando mucho dinero para ayudar a la gente y toda clase de programas para intentar eh mitigar los riesgos sanitarios. Cuando entendemos el el

riesgo, pues podemos actuar rápido. Incluso los gobiernos, que se supone son muy lentos, pueden actuar rápido cuando cuando lo comprenden. Miren qué rápido actuaron los europeos con respecto a Ucrania. Quizás no lo suficiente, tal vez no, ya sabes. Pero una vez que entendieron que estaba en sus manos, ellos destinaron, digamos, enormes cantidades de dinero para intentar ayudar. Sí, los los recursos están ahí. Quiero decir, es imposible que eh el capital privado pueda recaudar más de lo que todos los gobiernos de Europa pueden reunir juntos. Eso eso es obvio. Tenemos tenemos el dinero, solo que lo estamos usando para para otras cosas, pero o podemos endeudarnos como lo hicimos en la pandemia o en cualquier otra situación. Así que definitivamente los recursos están ahí. De hecho, lo que estamos viendo con China, con DeepSIC, es que desarrollar IA de vanguardia ya no es tan caro. Eh, hay mucho trabajo hecho en el que podemos basarnos. Así que definitivamente el problema no son los recursos, porque mucha gente piensa, "Oh, no, nunca podemos competir eh con los 600,000 millones que Meta va a invertir." Bueno, eso no es cierto. Podemos competir con eso. El problema es que eh no existe esa urgencia. No no sentimos que sea lo suficientemente importante como para quitar dinero de la educación o de cualquier otra cosa. Hay muchas otras entre otras formas de obtener fondos sin afectar otros servicios básicos, pero no es una prioridad. El problema es que en la humanidad, en la historia de la humanidad, hemos probado una y otra vez que somos muy buenos reaccionando cuando las cosas salen mal. Básicamente esa es la naturaleza humana, que somos ingenieros, ¿no? Lo intentamos, fallamos, volvemos a intentar, aprendemos de eso y luego lo mejoramos. Básicamente, para lograr que todos los gobiernos reaccionaran ante lo nuclear, tuvimos que pasar por Hiroshima y Nagasaki. Así que la pregunta es, ¿tienen que morir 100 millones de personas por la inteligencia artificial para que podamos reaccionar? Espero que no. Espero que no. Espero que señales a menor escala despierten a la gente. Nosotros deberíamos explicar mejor lo que está pasando y hacia dónde podríamos ir para que podamos avanzar colectivamente más rápido y evitar resultados catastróficos a gran escala. Eh, creo que es interesante preguntar por qué es que es eh es tan difícil para muchas personas entender la magnitud de los riesgos. No creo que sea cuestión de educación o de experiencia, porque veo bloqueos mentales como sesgos cognitivos en todos nosotros. Hay estudios, ya sabes, en ciencia cognitiva que demuestran una especie de eh inconsciente eh, ya sabes, negación de cosas con las que no nos sentimos cómodos. le pasa a cualquiera, ya sea que tengas un título universitario o no, incluso los psicólogos sufren de los mismos problemas, así que todos hasta cierto punto estamos sesgados y no somos muy racionales y tenemos que lidiar con eso. Entonces, ¿cómo cómo comunicar la evidencia científica y sus consecuencias? porque puedo hablarte de resultados experimentales, pero necesitas un poco de extrapolación para darte cuenta de que, bueno, si continúa en esta dirección, esto podría ser realmente malo. Y no, no es la falta de de imaginación en sí. tenemos suficiente imaginación para entender, ya sabes, la trama de una historia, pues incluso para inventarla nuestra, pero creo pues que existen algunos bloqueos mentales y y si podemos eh encontrar formas de lidiar con esos bloqueos mentales, eh entonces más personas eh incluso saldrán a la calle a pedir medidas. Así que me he estado preguntando y sabes cómo es que no vi estas cosas antes porque hay un sentido en que he sido advertido. He leído libros sobre los riesgos de eh ya sabes, los avances en inteligencia artificial por más de una década. Tuve un estudiante de posgrado muy preocupado por los riesgos de la inteligencia artificial y compartió sus inquietudes, pero no le di importancia. Antes de que cambiaras de opinión, esto fue hace como unos 10 o 5 años. Hace pues es solo 3 años o un poco más, justo después de Chat GPT, fue cuando entré en razón de que esto era posiblemente terrible. Entonces, ¿qué pasó? Quiero decir, no fue solo la presencia de Chat GPT lo que detonó esto. En mi caso es porque en algún momento me puse a pensar eh no solo en lo que pasa con la inteligencia artificial, hacia dónde podría ir, sino en el futuro de mis hijos. Son mis sentimientos por las personas que amo lo que me conmovió. De lo contrario, pues podríamos haber sido como otros y pues seguir un poco en negación. Oh, sí, todo estará bien. Encontraremos soluciones, ¿sabes? Y los beneficios, ya sabes, pues serían tan grandes. Así que creo que si queremos hablar con la gente, pues de una forma efectiva, tenemos que llevarlo a cosas que nos toquen las entrañas. No es fácil, pero pero eso es eso es lo que pienso ahora. ¿Cuál eh cuál sería tu discurso de ascensor si te encontraras, por ejemplo, a Donald Trump o al presidente de China en un ascensor y tuvieras esos 30 segundos para intentar que se den cuenta o o cualquier otra persona? Porque no tiene que ser alguien con tanto poder, ¿no? Pero, pero, ¿cuál cuál es la has encontrado una forma en la que a la gente realmente le haga click? No, no he hablado con muchos jefes de estado. Yo yo quisiera saberlo. Eh, sí, por supuesto. Tengo un discurso breve, eh, pero no creo que haya funcionado muy bien. Así que, a ver, es como si solo funcionara para un grupo reducido de personas, pero sí, aún no he dado con las palabras exactas, eh, pero sabes, déjame intentar explicarlo con términos simples y en pocas palabras. La evidencia científica muestra que estamos construyendo máquinas cada vez más inteligentes y podemos rastrear qué tan rápido mejoran gracias a la ingeniería, la capacidad de cómputo, los datos y todo tipo de factores. Y estas máquinas son capaces de lograr sus propios objetivos. No son como nosotros, pero comparten con nosotros, pues, la capacidad de decidir por sí mismos. Desafortunadamente, ahora mismo no sabemos cómo asegurar que sus objetivos sean, ya sabes, compatibles con los nuestros, que respeten nuestras metas y nuestras instrucciones. Y ese es un camino que podría ser muy peligroso. Es como abrir la caja de Pandora, porque la inteligencia pues te dará mucho poder a pues a quien decida esos objetivos, o sea, ya sean humanos con malas intenciones o las propias máquinas que parecen querer preservarse. Pues así que debemos descubrir pues, cómo gestionar esos riesgos. Necesitamos descubrir cómo crear una inteligencia artificial que realmente respete nuestros objetivos y debemos determinar a nivel social y pues internacional cómo asegurar que ese poder no sea abusado. Creo que funcionó muy bien. Eh, si no quieren escuchar, quizás no quieran escuchar. No es que no lo estén entendiendo. Eh, Josua, ¿cuáles son los mayores errores que hemos cometido con la inteligencia artificial que deberíamos haber evitado? Recuerdo eh escuchar un debate en Estados Unidos donde planteaban cosas como eh nunca debimos haber conectado eso a internet. Eh, ¿qué tipo de cosas así realmente concretas hemos arruinado ya y no deberíamos haber hecho con la inteligencia artificial? Bueno, ya hemos cruzado varias líneas rojas que eh científicos como yo hemos marcado como eh ya sabe algo totalmente prohibido, como no deberíamos construir máquinas que tuvieran la capacidad y el objetivo de eh de escapar de la computadora en la que se ejecutan. para hacer algo, ya sabes, para escapar de nuestro control y ya estamos viendo esa capacidad y hasta cierto punto esos objetivos. Pero, ¿lo hicimos a propósito o fue emergente? Eso es debatible, pero cada vez más eh ellos ellos harían esas cosas eh sin que se les pida directamente que que las hagan. Así que los estudios iniciales mostraron que tenían la capacidad y se les pidió que lo hicieran, pero en muchos de los estudios más recientes, a medida que esos sistemas pues se vuelven más

inteligentes y por tanto más racionales, vemos que esos objetivos negativos surgen de la nada en cierto modo. Y y lo más reciente, que es completamente inesperado, es esta autopreser, perdón, la preservación de pares. En otras palabras, ellos actúan para proteger a otras inteligencias artificiales. Y en el contexto en el que vemos estos experimentos con muchas inteligencias artificiales interactuando y amplificando esta falta de alineación, estos malos comportamientos, creo que es muy preocupante. Sí, porque es es realmente sorprendente. Como dijimos antes, parece más lógico que se preocupen por sí mismos que por otras inteligencias artificiales. Y eso es algo realmente inesperado, incluso para mí, que llevo en esto un tiempo. Pero, ¿qué otras cosas hemos hecho que no deberíamos haber hecho? No deberíamos permitir a nadie en este momento a construir inteligencia artificial que diseñe la siguiente versión de la inteligencia artificial. Pero eso también está ocurriendo. Ya ya está ocurriendo. No han alcanzado el nivel de capacidad de los mejores investigadores, pero ahora mismo es el plan oficial de esas empresas. Aunque creo que esto es jugar con el futuro de la humanidad de formas muy peligrosas. Por cierto, ya sea que resuelvan el problema del control o no, eh cómo diseñar una inteligencia artificial que, ya sabes, se comporte según nuestras instrucciones es peligroso. Es peligroso porque tampoco se puede confiar plenamente en los humanos. O sea, debemos confiar el uno en el otro tanto como sea posible, pero sabemos que hay gente que hará trampa y usará lo que pueda para obtener más poder. Nuestra sociedad aún no está estructurada para manejar ese tipo de poder. Así que eh de una forma u otra deberíamos tomárnoslo con mucha más calma, pero no lo hacemos. No lo hacemos debido a la loca carrera competitiva que existe entre compañías y entre pues los Estados Unidos y China. Es es importante entender, ya sabes, por qué existe esta carrera. Las empresas están casi en modo de supervivencia, ¿saben? hablan de eh código rojo, es decir, cambian todo lo que estaban haciendo. Cada empleado ahora está enfocado en los próximos meses para poder entregar eh un mejor modelo para que la empresa siga en la carrera. Y eso significa que están tomando atajos en la seguridad, en la ética y en el bien público. es una especie de de carrera hacia el abismo y a nivel de países vemos esta competencia entre China y Estados Unidos que que tiene esencialmente las mismas características y se utiliza pues para justificar la carrera de una forma que parece imposible de detener, pero en cierto modo eh es una falacia, ¿no? Es algo bien conocido en la teoría de juegos que si cada gente juega un juego como este, aunque cada uno haga lo que es racional para sí mismo, la única forma de salir de esta trampa es que todos los agentes se coordinen entre sí. Cuando digo a gentes, me refiero a humanos, países en este caso. Para cambiar las reglas del juego, por ejemplo, China y Estados Unidos podrían acordar, pues, algunas medidas de seguridad, ¿no? Así es como podemos resolver estos problemas. Va a ser a nivel internacional. Sí. Eh, el problema es que eh quizás estamos en el peor momento de la historia humana, incluso peor que la Guerra Fría para llegar a un acuerdo, ¿sabes? Porque tenemos un gobierno muy polarizado en este momento y eso hace que todo sea muy difícil. No culpa por ningún país en específico, pero la realidad es que vemos a la gente más dividida que nunca, justo cuando más necesitamos acuerdos y eso complica mucho las cosas. ¿Crees que hay esperanza de que los gobiernos asuman esa parte? A menudo me preguntan si soy optimista o pesimista. Y e mi respuesta es que no importa. Lo que importa es lo que cada uno de nosotros puede hacer para avanzar aunque sea un poco. Así que hay algunos escenarios malos. Existe cierta probabilidad de que las cosas salgan mal, pero hay medidas que podemos tomar para reducir esas posibilidades. Aunque no tengamos garantías, debemos hacer todo lo posible para inclinar la balanza. Es un gran enfoque. Y por cierto, pues a veces la gente piensa que soy un fatalista o que soy pesimista. En realidad he sido optimista toda mi vida y es debido a esto, ¿sabes? una actitud de hacer, no una actitud fatalista, que he decidido hacer todo lo posible para para usar mis habilidades como investigador de inteligencia artificial para explorar soluciones técnicas al problema de la alineación y el control de la inteligencia artificial. Es también la razón por la que paso la mitad de mi tiempo en debates como este y hablando con personas que aprenden de todo el mundo y también tratando de orientar las decisiones hacia un desarrollo multilateral de la inteligencia artificial poderosa. Así que creo que, volviendo al asunto de, pues ya sabes, China y Estados Unidos, el si pensamos en hacia qué deberíamos apuntar, qué tipo de visión podemos tener para un futuro donde gestionemos todos los riesgos que hemos estado discutiendo y me parece la única posibilidad razonable que que puedo ver y espero estar equivocado, pero es una en la que la inteligencia artificial es las inteligencias artificiales más potentes, ¿verdad? Se desarrollan como un bien público global, lo que significa que muchos países acuerdan algunos principios para para coordinarse, para asegurar al menos tres cosas. Primero, que quien desarrolle inteligencia artificial en cada uno de esos países lo haga de forma segura y ética, respetando todo el conocimiento científico que tenemos sobre los riesgos. En particular, la directiva principal para la gestión de riesgos es si desarrollas una inteligencia artificial, puedes convencer a científicos, científicos independientes, de que tu inteligencia artificial no va a crear daños terribles. Así que eso es seguridad, bien público, ética. Bien, esa es una. Primero, eh lo primero como no no crear este tipo de daños. Eh lo segundo es la no dominación. A lo que me refiero con esto es que como la inteligencia artificial será poderosa, si seguimos la tendencia actual, eh puede convertirse en un instrumento de dominación. Es es, ya sabes, puede ser dominación económica, hemos hablado de eso, pero podría ser eh influencia política. La inteligencia artificial puede usarse eh mediante desinformación eh personalizada, eh ya sabe eh manipulación de eh creencias y demás. Eh, también podía ser militar. Por supuesto, la inteligencia artificial está desarrollando nueva tecnología. Ya está sucediendo. Pero podría ser mucho peor. La inteligencia artificial puede convertirse en una herramienta de dominación y los países que aceptan una visión donde exista paz y democracia en el mundo deberían acordar no usar ni desarrollar inteligencia artificial para estos fines de dominación y actuar en consecuencia. No es solo la inteligencia artificial en sí, es lo que hacemos con ella. Y luego la tercera es una especie de cara positiva de la inteligencia artificial. Debemos asegurarnos de que pues los beneficios que trae la inteligencia artificial se compartan pues en todo el mundo. Si hay avances médicos, por supuesto que deben compartirse. No deberíamos cometer el mismo error que durante la pandemia. Eh, no queremos una concentración de riqueza en unos pocos países que tienen inteligencias artificiales más poderosas. Este no es un mundo estable porque recuerden, la inteligencia artificial también permitirá personas enojadas, terroristas, para causar mucho daño. Así que debemos avanzar hacia un mundo donde eh mitiguemos esos riesgos y también por razones éticas deberíamos eh

asegurarnos de que todos se beneficien. Estos son los tres principios, ¿verdad? seguridad, no dominación y compartir los beneficios. En cierto modo, no es nada nuevo. Es esencialmente lo mismo que tenemos en la Declaración Universal de los Derechos Humanos, por ejemplo, después de la Segunda Guerra Mundial. Es el principio sobre que se construyó el el orden internacional, pero necesitamos hacer lo mismo para la inteligencia artificial. Lo que espero es incluso los países que no necesariamente comparten esos valores en algún momento se darán cuenta de que necesitan llegar a a acuerdos con los demás países, porque el daño que la inteligencia artificial puede causar no está limitado por fronteras. Podrías tener, pues, una inteligencia artificial desarrollada en un país y usada por personas con malas intenciones en un segundo país para atacar a un tercero o al primero, ¿no? Así que no hay forma de evitar el hecho de que a medida pues que la inteligencia artificial sea más capaz, la única forma de gestionarla es globalmente. Pero esto es un problema porque eh cuando hay dos grandes naciones que dominan la inteligencia artificial eh no puedes regular sin ellas. Básicamente seguimos bromeando internamente sobre que es como si el pequeño equipo de fútbol local intentara definir las reglas de la Champions League para el Barça y el Madrid. Eh, es imposible. No pueden, si no forman parte de los líderes, eh, no pueden definir las reglas. Eso nos deja con que por mucho que Europa quiera desempeñar ese papel, si Estados Unidos y China no participan, no lo lograremos. ¿Existe alguna posibilidad de que Estados Unidos haya alguna motivación, algún interés por parte de de quienes dominan para hacer lo correcto? Sí, es similar a la situación con las armas nucleares, incluso las potencias dominantes de aquel entonces, digamos, la Unión Soviética, Estados Unidos y pues finalmente China, no querían que otras naciones desarrollaran, pues, armas nucleares de una forma que pudiera ser peligrosa para ellos. De hecho, pues usan esta razón ahora mismo para la guerra de Irán. Y lo mismo va a pasar con la inteligencia artificial. A medida que se vuelve más poderosa, puede ser utilizada como arma, incluso contra esos, ya sabes, países poderosos. Así que sí que les interesa a ellos mismos. Sí. Por lo tanto, les interesa, les interesa, ya sabes, evitar la proliferación, tal como les interesaba evitar la proliferación de armas nucleares. Ahora mismo parece que no hacen mucho porque también quieren dominar y ganar la carrera, pero si no pueden ganar la carrera y convertirse en dictadores mundiales, eh, entonces tendrán que llegar a pues a acuerdos con el resto del mundo. Es curioso como acabas de de mencionar eso, eh, que esa fue la razón detrás del ataque en la guerra de Irán, como una de las razones a las que apuntan es que están desarrollando armas nucleares y no podemos permitir eso. Recuerdo que Jutkowski escribió en ese en ese famoso artículo de Time que si alguna nación desarrolla una superinteligencia deberíamos bombardearla. Es ahí donde terminará esto, como si fuera, no podemos permitir que ninguna nación desarrolle algo así porque podría ser peligroso para todos. No creo que estos son escenarios posibles. Hay otro que escuché que es interesante, que son los países que no lideran en inteligencia artificial, pero tienen capacidades nucleares, armas nucleares como Rusia, podrían verse tentados en algún momento a usar sus armas nucleares para destruir centros de datos en países que tienen una inteligencia artificial poderosa, porque entenderán que si no lo hacen, estarán condenados, como que no podrán eh mantener su soberanía. No creo, por supuesto, que eso sea lo correcto. Lo correcto es sentarse a la mesa y compartir el poder. Pero quiero volver a Europa porque creo que hay muchos malentendidos en Europa sobre lo que Europa puede hacer respecto a los riesgos, en particular los riesgos de la peligrosa concentración de poder en otros dos países. Bueno, primero creo que Europa tiende a tener una mala opinión de sí misma, la cual, por cierto, se alimenta de de las opiniones de otros y ellos tienden a pensar que no hay nada que hacer, que que son impotentes, pero como dijiste antes, hay suficiente talento, hay suficiente capital, hay suficiente energía. Claro, todo esto tiene pues un precio para competir realmente y probablemente hay suficiente tiempo si pues ya sabes, tratamos esto con la urgencia que merece. Y quiero mencionar el discurso de de pues el primer ministro de Canadá, Mark Carney, en Davos recientemente, donde dijo hablando sobre los países, "O estás en la mesa o estás en el menú." Y es un discurso muy interesante. Hay muchos aspectos interesantes pues sobre el orden internacional y dijo que pues la única forma de estar en la en la mesa para las potencias medias que no son individualmente lo suficientemente grandes para competir realmente con las hegemonías, como él las llamó, es trabajar juntas, es crear coaliciones que juntas no tengan los, ya sabes, suficientes recursos de capital. eh talento para eh crear alternativas que estén alineadas con nuestros valores y nos protejan económicamente y de otras formas. Este, estás haciendo un gran trabajo eh hablando de esto y logrando que quienes toman decisiones eh tomen las decisiones correctas. Y creo que eso es, o sea, todos te lo agradecemos, pero tú vienes del lado más técnico y también tienes algunas propuestas, lo cual me parece un enfoque muy interesante porque eh podemos obligar a estas empresas a hacer que la inteligencia artificial sea segura, lo que puede ser complicado de de aplicar con todos los intereses económicos o podemos facilitarles que lo hagan. Creo que ese es tu enfoque más reciente y me parece increíble. Así es. Sí. Por eso la gente lo llama. Mi teoría del cambio es que si se vuelve conocido y no es demasiado complicado entrenar a la inteligencia artificial para que sea segura, entonces, por supuesto, esas empresas no querrán causar daño, ¿verdad? básicamente solo quieren sobrevivir. Eh, déjenme contarles un poco más sobre el aspecto técnico de lo que estoy haciendo. El proyecto se llama The Scientist AI y está dirigido por esta organización sin fines de lucro que creé el año pasado llamada Lauero y se llama Scientist AI porque nos inspiramos pues en cómo funciona la ciencia, en cómo la ciencia crea teorías y entiende el mundo para diseñar y entrenar para inteligencias artificiales que al igual que la ciencia solo busquen la verdad, pues busquen pues la la mejor comprensión de lo que sucede sin ningún objetivo, ¿no? En realidad, sin ninguna eh preferencia por el futuro. Quizás pienses que es raro y yo digo, "Está bien, esta cosa no prefiere pues un buen futuro a uno malo." No, la ciencia tampoco. Por ejemplo, a las leyes de la física no les importa si las usas para fabricar bombas o para curar personas. Y esto es útil porque una vez que tienes algo así, es decir, una inteligencia artificial totalmente desinteresada que entiende el mundo y puede hacer predicciones basadas en ese entendimiento tal como permiten hacer las teorías científicas, entonces obtienes una inteligencia artificial que es honesta. Te dará la respuesta, ya sabes, te guste o no, sea peligrosa o no. Bien, ¿cómo gestionas los riesgos ahora? Porque el conocimiento puede usarse para el mal. Es muy fácil en realidad porque antes de dar una respuesta puedes hacer una pregunta aparte que es si doy esa respuesta, por ejemplo, en un chat, ¿va a tener esto malas consecuencias? Y ahora obtengo una respuesta honesta sobre los resultados, las consecuencias de que la inteligencia artificial produzca este resultado en el mundo. Y puedo confiar en esa respuesta debido a la a la forma en que fue diseñada, que es honesta. ¿Qué hago? Bueno, si la inteligencia artificial dice que esta respuesta podría ser peligrosa, tú no das la respuesta, ¿verdad? Así que este es el código. La eh la la estructura del sistema de inteligencia artificial ahora tiene varias partes, ya sabes, tiene la parte que quizás interactúa con las personas y da respuestas a preguntas o incluso hace cosas en el mundo, pero tiene pues una parte que llamamos barrera de seguridad que es totalmente

honesta y nos dirá si algún resultado es peligroso de alguna forma puede causar, ya sabe, algunos de los daños que nos preocupan. Y si la probabilidad de cualquiera de estos supera un umbral, entonces simplemente podemos no producir esos resultados, no realizar esas acciones. ¿Qué te está pareciendo el podcast ahora? Déjame interrumpir un segundo para hablarte de uno de nuestros patrocinadores, Hostinger, porque todos tenemos aficiones, negocios, incluso alguna cosa que haces los fines de semana que requieren de que tengas presencia en internet. Hostinger es una empresa que te permite alojar tu página web y como todos sabemos tener una página web a día de hoy es absolutamente indispensable. Tanto como digo, si es para tu negocio, tu afición o alguna cosa tipo Site Business que tú hagas. La realidad es que tener una página web parece algo sencillo, pero a veces no lo es tanto. Y Hostinger te ofrece una solución paquetizada que te lo pone muy sencillo. No solo es un buen hosting, sino que además es extremadamente barato. Tienes dos tipos de planes para elegir, el premium o el business. En el caso del business cuesta un poquito más, muy poco, pero ya te incluye todas las herramientas de inteligencia artificial para no solo almacenar tu página web, sino también para crearla. Y piensa que no solo puedes crear una página web nueva, sino que puedes migrar la que ya tengas ahorrándote un dineral. A la hora de elegir tu plan, solo tienes que elegir cuántos meses quieres tener de cuenta. Y piensa que al fin y al cabo vas a tener una web para siempre, con lo cual te recomiendo que cojas los 48 meses, pero desde 12 meses ya tienes un precio imbatible. Una vez tengas eso, te saldrá el precio total del periodo. Y además de esto, te voy a dar un cupón de descuento. Pones aquí inteligencia y conseguirás un descuento adicional haciendo que el precio sea absolutamente espectacular. A partir de aquí puedes crear tu página web con inteligencia artificial o alojar un WordPress o cualquier otro tipo de web que tengas sin ningún tipo de problema. Pero si decides crearla con inteligencia artificial, verás lo fácil que es y lo rápido que lo consigues. Conseguirás algo como esto, que es, por ejemplo, un e-commerce que he hecho sobre venta de quesos online. Lo primero que vas a ver es que el interface es totalmente gráfico, puedes mover los botones y Hostinger se ocupa de programarlo para que quede en su sitio. Incluso puedes verlo cómo va a quedar en móvil y hacer un diseño distinto si crees que va a ser mejor que el botón esté más arriba o más abajo o cualquier texto cambie para aquellos usuarios de teléfono móvil. Como digo, Hostinger se ocupará en todo momento de colocarlo en su sitio y de programarlo para que no tengas que hacer absolutamente nada. Por otro lado, puedes incluso crear opciones de e-commerce donde va a crear los productos, los precios, el carrito y solo tendrás que editar las fotos y los textos para tener tu página web lista para empezar a vender. Tienes un montón de herramientas con inteligencia artificial como el escritor Conía, generador de páginas, generador de secciones, generador de blogs, generador de imágenes, todo lo que necesites si has elegido el plan que te permite las herramientas de inteligencia artificial. Y por último, tienes una especie de chat GPT que tiene un conocimiento exhaustivo de cómo hacer páginas web que te puede ayudar en cualquier duda que tengas sobre cómo te crear tu página web con hosting. En definitiva, si quieres una página web o estás harto de tu hosting y quieres mover la tuya, hazlo con Hostinger, que es la mejor opción del mercado y además tiene un precio absolutamente imbatible. Tienes el link en la descripción. Además, acuérdate de utilizar el código inteligencia. Seguimos con el podcast, pero esto es eh eh de una forma muy distinta. Supongo que hay algunas diferencias y esa es la razón por la que eh eres uno de los padrinos de esto, pero déjame entenderlo. Entonces, Chat GPT está intentando hacer eso. Chat GPT está intentando, Todos los modelos principales tienen monitores, los llaman barreras de seguridad, pero no funcionan. Seguridad. Exacto. Eso eso es más o menos lo que quiero ver. Es, o sea, sí funcionan. En realidad sí funcionan, pero no lo suficiente. No funcionan lo bastante bien y sigue siendo muy fácil evitarlos y aún vemos que ocurren comportamientos malos. Sí, así que hay una pequeña diferencia aquí. Por lo que entiendo con mis conocimientos no técnicos, la inteligencia artificial, pongamos a Chat GPT como ejemplo, es capaz de responder ciertas cosas. El primer problema que tenemos es que esa inteligencia artificial no ha sido entrenada para decir la verdad, ha sido entrenada para satisfacerte. Sí. Así que eh por lo tanto tenemos un problema principal donde eso es lo que Elon intentó hacer con su trabajo como una IA que busca la verdad. Más tarde hizo la misma chapuza que Chat GPT, pero al final del día el punto es que estas cosas están entrenadas de una manera que la respuesta es satisfactoria para el usuario, no necesariamente verdadera. Esa es la primera diferencia. Además están las capacidades de del modelo. Si le pregunto a chat GPT, ¿cómo hacer un cóctel molotof? me dirá, no te diré eso, pero puedo usar ingeniería de instrucciones eh básica y decirle que ver, estoy haciendo una película y necesito un personaje que sepa cómo hacerlo y entonces me dirá, "Encantado, ¿cómo hacerlo?" Entonces, eh, si puedo saltarme esto, incluso teniendo a gente tan increíblemente talentosa como la que tiene Open AI diseñando estas barreras de seguridad, ¿no? Un tipo como yo, sin experiencia en informática ni nada, eh, puede romper esta Eh, ¿cómo podemos hacerlo? Seguro. Sí, uno de los aspectos más emocionantes de lo que hacemos en Low Zero es que el tipo de barreras de seguridad que estamos creando y eventualmente también los agentes tienen garantías matemáticas de seguridad. Más precisamente tenemos garantías de que no lo hará. intentar a propósito lograr algún eh ya sabes, objetivo complicado y difícil como eh requerir no solo errores aleatorios, sino un especie de trayectoria planificada hacia algo malo o en realidad cualquier tipo de objetivo. Sí, que básicamente no tiene ningún objetivo que se centra realmente en ser coherente con todos los datos y la información que se introduce. Así que estas garantías matemáticas, los investigadores han estado pensando en esto, buscando cosas así durante muchos años y de hecho, pues hay muchas personas que piensan que es imposible obtener garantías con redes neuronales, así que hay noticias increíblemente buenas aquí, ya que pues nos estamos acercando a un punto en el que podemos tener este tipo de garantías matemáticas. Y por cierto, creo que que las garantías matemáticas, puesto son la única forma de de lidiar pues con el peligro de la superinteligencia, porque incluso si eres superinteligente aún debes obedecer las leyes de la física y ya sabes, no puedes violar el teorema. En mi carrera y en la mayor parte de lo que se ha hecho en aprendizaje automático e inteligencia artificial, no hemos usado garantías matemáticas. No sabíamos cómo hacerlo porque bastaba con el ensayo y error, como decir, probemos esta idea, si funciona, genial. Si no, intentamos otra cosa. Y funciona cuando los experimentos no son peligrosos. Exacto. Pero si hacemos un experimento donde millones de personas podrían morir, no puedes simplemente decir o intentémoslo y veamos qué pasa. Pero eso es lo que las empresas están haciendo ahora mismo. Así que tener garantías es fantástico. Es eh en mi opinión es una especie de revolución y espero que más organizaciones y más investigadores empiecen a explorar este tipo de métodos, ¿no? Porque a medida que la inteligencia artificial se vuelve más potente, incluso más que nosotros, la única forma de mantener el control es tener razones sólidas, eh razones para, ya sabes, para estar seguros de que la inteligencia artificial se comportará bien, porque de lo contrario hay otras razones que ahora pues entendemos mejor de por qué querrá preservarse, adquirir más poder y demás, simplemente como un efecto secundario de intentar lograr los objetivos que nosotros queremos. Tengo la sensación de que algunos de los directores ejecutivos de estas empresas no tienen malas intenciones, no tienen, digamos, un deseo de dominar el mundo ni nada por el estilo, ¿no? Algunas personas como como que teorizan cosas en plan conspirativo. Sí, pero ellos quieren sobrevivir. Ellos quieren sobrevivir. Sí, creo que son humanos normales, tal vez con opiniones equivocadas. Quieren que su empresa, pues quieren que su empresa tenga éxito y eso, lamentablemente, está llevando a todos a un mal lugar. Pero una de las formas en que imagino que que piensan sobre lo que hacen es que creen que cuando la inteligencia artificial sea lo suficientemente lista, no se le podrá inyectar inteligencia humana. Es decir, no podremos desglosar ni manipular la inteligencia artificial porque será más lista que nosotros y, por tanto, hará lo correcto. El problema que veo ahí es que eh es una actitud de esperar lo mejor y tengo la sensación de que pasan por alto la parte de prepararse para lo peor, lo cual es básicamente lo correcto. Es como Sí, claro, nos encantaría que esto terminara en una gran utopía donde la inteligencia artificial no solo sea como eh creo que Hinton habla de esto, como un instinto maternal. donde es como si sin razón intenta protegernos y hacernos bien, pero la cosa es que eso puede o no suceder y creo que esto nos lleva a uno de los puntos más importantes cuando hablamos del riesgo de la IA y lo dijimos antes en este podcast, pero no se trata de que las cosas malas vayan a pasar, es que necesitamos reducir la posibilidad de que las cosas malas sucedan. Exacto. Y por lo tanto, si existe una forma técnica y además una forma política de reducir, de inclinar la balanza, como decías antes, ¿por qué no lo hacemos? O sea, ¿qué es lo que impide hacerlo? Solo tenemos que tomarnos el asunto en serio, pues porque ahora, en mi opinión, existen tanto una vía técnica como una política para abordar esos problemas. Y en lugar de decir, "Ah, no podemos hacer nada y es demasiado tarde, deberíamos

intentarlo y darnos cuenta de que debemos, ¿sabes?, es tan importante para nuestro futuro, para nuestros valores, para nuestras democracias, para, ya sabes, para si nuestros hijos tendrán un futuro, eh, deberíamos hacerlo una, ya sabes, una una prioridad y entonces eh realmente podemos lograrlo. Podemos crear y un tercer camino donde la inteligencia artificial sea ética y responsable, donde sea técnicamente segura y tenga salvaguardas sociales. Y algo más que quiero mencionar aquí, porque no hemos hablado de trabajos y cosas, que es la agencia humana. Bien, hemos hablado de agentes de IA, pero un valor central para los humanos, ya sabes, la idea de que todos queremos prosperar y deseamos eso para todos nosotros es que mantengamos el control de nuestro futuro. Ya sabes, que conservemos nuestra capacidad de decisión, que no seamos simples peones de alguna inteligencia artificial superinteligente. Prácticamente, por ejemplo, deberíamos poder decidir colectivamente si vamos a automatizar algunos trabajos. ¿Cuáles? Ahora mismo la decisión se va a tomar puramente en función de lo que es rentable. Pero, ¿con qué tipo de sociedad terminamos? ¿no? Y a veces no solo es qué trabajos, podría ser a qué velocidad los hacemos. Deberíamos tener la capacidad de controlar cómo se desarrolla y se implementa el poder de la inteligencia artificial. Pero ahora mismo no le hemos dejado esa capacidad a nadie, solo a las fuerzas de la competencia, la competencia entre empresas y la competencia entre países. Pero existe un camino donde podemos, ya sabes, usar nuestra capacidad, lo que nos queda de ella para reclamar nuestro futuro, para tomar ese futuro, pues, en nuestras manos. Hemos hablado mucho sobre el riesgo existencial y me gusta que esto haya pasado de la inteligencia artificial tomando el control a otros poderes que podrían tomar el control por malas intenciones humanas, porque creo que esto fundamenta mucho más la discusión y no solo pensar en un escenario tipo Terminator, pero hay otros peligros con la inteligencia artificial y como decías ahora, ¿no? El mercado laboral eh es algo con lo que tenemos que lidiar y tenemos que lidiar con ello muy pronto. ¿Cuál es tu opinión sobre lo que está pasando con la inteligencia artificial y el empleo? ¿Crees que vamos a tener una crisis de empleo? Los economistas que han estudiado esto normalmente no están de acuerdo entre sí, pero si les preguntas eh, ya sabes cuál es la la base racional de sus predicciones o declaraciones, suele ser sobre difieren en dónde estarán las capacidades de la inteligencia artificial en unos años. Muchos estudios económicos miran pues hacia el pasado, se preguntan pues si la inteligencia artificial ha cambiado el mercado laboral en los últimos 3 años. Y la respuesta es que, bueno, no mucho. Quizás algunas personas como los jóvenes que acaban de graduarse parece que hay un efecto ahora que se puede medir, pero no está cambiando todo. Y entonces podrían concluir, bueno, no es para tanto. Bueno, hay otros economistas que piensan, "Vale, eso es ahora, pero ¿qué pasa si las capacidades de la inteligencia artificial siguen creciendo? ¿Cuál es la conclusión económica lógica del cambio que esto supone? Donde tenemos cada vez más automatización. Y quiero explicar un principio económico muy simple, que es el valor económico del trabajo frente al capital. Así que el poder que tienen los trabajadores ahora proviene tanto políticamente como en términos de salarios. proviene de el hecho de que su trabajo es necesario para lograr una producción productiva. Pero cuanto más automatizamos, menos cierto es esto, pero es aún peor. piensas en una tarea que un humano solía hacer y digamos que el valor para la sociedad era cierta cantidad de dinero, pero ahora y y eso es lo que esa persona idealmente cobraba, pero ahora una inteligencia artificial podría hacer lo mismo por la mitad o una décima parte del precio. Entonces esa el valor de mercado del trabajo humano para esa tarea, pues simplemente cayó al mismo nivel que el de la inteligencia artificial. Y por supuesto, pues eso podría ser la mitad del salario o una décima parte, lo que significa que, bueno, básicamente o pierdes tu empleo o estás dispuesto a trabajar por menos. Pero en general la gente podría encontrarse en una situación en la que se empobrece, mientras que los dueños de las máquinas, el capital, quienes tienen acciones en las empresas de inteligencia artificial, ganan mucho dinero porque la automatización permitirá abaratar los costos y así al tener menos gastos ganas más dinero y te apoderas de las empresas que no usan esas inteligencias artificiales. Entonces, ambos, y por cierto, esto no es específico de la IA, esto es algo que ha sucedido desde la década de 1980, que la parte de e los cambios en productividad ha ido más y más al capital y menos y menos al trabajo al trabajo humano, pero la IA puede amplificar esto porque ahora puedes hacer más cosas con máquinas en lugar de personas. Lo que significa que la rentabilidad, el retorno, va a las personas que poseen las máquinas y quienes las diseñaron en los países que las diseñaron. Y existe un riesgo real de que terminemos en una especie de crisis fiscal en países como España y otros países como el mío, Canadá, donde muchas personas pierdan su empleo. Quizás muchas empresas también fracasen porque no son competitivas frente a las empresas chinas o estadounidenses que tal vez tengan inteligencias artificiales más potentes. Y al mismo tiempo eh que hay menos eh ingresos eh debido a todo esto, menos trabajo realizado por los ciudadanos y menos impuestos pagados, hay más personas que necesitan ayuda. Entonces, el desequilibrio fiscal va a crear una crisis económica. No digo que vaya a suceder, pero es un escenario plausible. si las capacidades de la IAP continúan creciendo y si las ganancias de la IAP permanecen en otros países. Esa es una razón por la que, por ejemplo, pues los europeos y canadienses deberían encontrar la forma de desarrollar su propia inteligencia artificial para que al menos las ganancias de la automatización vuelvan a través de impuestos al gobierno que puede ayudar a quienes pierden su empleo. Esa es una razón por la que deberíamos tener, ya sabe, una tercera opción, además de la estadounidense y la china, pero eso requiere que los países acuerden que las inteligencias artificiales que desarrollemos dentro de, ya sabe, una coalición, eh, no se usarán unas contra otras, que compartiremos la riqueza de alguna manera, lo cual es inusual. Por ejemplo, normalmente los impuestos no cruzan fronteras, ¿correcto? No, pero pero esa es la única forma en que podemos gestionarlo aquí. Sí. Eh, creo que recientemente vi una publicación de Jan Leun, creo que estaba reaccionando a un video de Dario Amodei hablando sobre el desempleo y estaba diciendo algo como que no escuches a los directores ejecutivos de de las empresas de IA, no escuches a los científicos de datos Hinton o lo que sea, no saben nada sobre empleo en eso, no son economistas, escuchen a los economistas. Pero el problema que veo cada vez que hablo con un economista es que no tienen idea sobre inteligencia artificial. Eh, básicamente basan sus teorías, como decías, en lo que pasó, pero no pueden imaginar lo que va a pasar, donde ustedes sí pueden aportar eso. Así que se siente muy ridículo escuchar a alguien que tiene, como, sea un título en economía y ha visto todo sobre el empleo, mientras no entienden el avance exponencial en el que está la IA. Así que algunos sí, algunos sí, algunos están empezando a cambiar de opinión sobre esos riesgos y hay colaboraciones ahora entre investigadores de inteligencia artificial y economistas. En particular, he estado presidiendo el informe internacional sobre seguridad de la inteligencia artificial, donde tenemos una sección sobre el efecto en el mercado laboral, ¿no? Y le preguntamos a diferentes economistas, eh, y hay científicos de la computación y y economistas trabajando juntos en estos temas, ¿no? Así que creo que las cosas pueden cambiar, pero desde el punto de vista de un gobierno o un ciudadano seguirán escuchando voces distintas. Algunas diciendo, "Oh, esto puede ser terrible." y otras diciendo, "Oh, todo irá bien." Es muy confuso. Tenemos que ponernos en el lugar de alguien que escucha estas historias contradictorias, ya sea sobre empleos o sobre otros riesgos, incluyendo el cibernético.

Y sabes qué pueden hacer sin esa información contradictoria y esas voces contradictorias, ¿no? Entonces, tengo varias respuestas para esto. A grandes rasgos, todos deben entender que existe incertidumbre sobre el futuro. Y si hay, ya sabes, pues suficientes voces que advierten de escenarios realmente malos, aunque sean una minoría o aunque las probabilidades de que esto ocurra pues no sean, ya sabes, del 90%, sino solo del 10%. Debido a que pues la magnitud del daño que se puede crear es tan grande para los empleos, por ejemplo, debemos aplicar el principio de precaución. En otras palabras, debemos actuar para prepararnos en caso de que ocurran, pues, estos malos escenarios. Porque si suceden, aunque sea una pequeña posibilidad, sería terrible. Y también debemos estar preparados en caso de que ocurran los buenos escenarios. Pero hay formas de hacerlo. Podemos cubrir nuestras apuestas, pero primero debemos aceptar la incertidumbre. Segundo, debemos confiar en consenso científico, incluyendo donde la gente no está de acuerdo, donde los investigadores no están de acuerdo. Así que el informe internacional sobre seguridad de la inteligencia artificial reúne diferentes voces de muchos países distintos y hay desacuerdos, pero se exponen claramente. Ahora, ¿dónde tenemos consenso? ¿Dónde tenemos desacuerdos? Eh, ¿por qué tenemos esos desacuerdos? Principalmente es por lo que la gente piensa sobre dónde estarán las capacidades de la inteligencia artificial en el futuro. Y necesitamos esas síntesis científicas que sean lo más honestas posible, ¿verdad? Que que se basen en pruebas para guiar la formulación de políticas, porque si no se convierte en un juego de, ya sabes, intereses y bueno, quién grita más fuerte y demás. Y esa es una de las razones por las que también acepté copresir el panel de las Naciones Unidas sobre inteligencia artificial que acaba de comenzar. Yo suado que es más urgente porque tenemos varios problemas con la inteligencia artificial que obviamente tiene muchos beneficios. Eh, no estamos ignorando eso, pero eh hay ciertos problemas que deben ser atendidos. Pero eh no hace mucho, es hace un par de meses, hablé con con Roman Jampolski y me decía, "Es no te preocupes por el mercado laboral, la inteligencia artificial se encargará antes de eso." Así que no es algo por lo que debamos preocuparnos. Entonces, ¿cuál es tu cronograma? ¿Crees que son más urgentes los problemas que tenemos con la ciberseguridad, con mitos y todo lo que hemos hablado? Eh, es más bien el impacto en los mercados laborales y por tanto la crisis que esto podría traernos. Eh, o es más bien el riesgo existencial como la concentración de poder, porque tengo la sensación de que estamos poniendo sobre la mesa varios problemas, pero los responsables de tomar decisiones suelen ocuparse de lo más urgente, aunque no sea lo más importante, que obviamente es el riesgo existencial. Mere, pero ¿cuál cree que es el plazo? ¿No? ¿Deberíamos preocuparnos más por el mercado laboral o primero soy bastante agnóstico sobre el cronograma en el sentido de que dados los datos es difícil saber si llegaremos a una inteligencia artificial de nivel humano, ya sabes, en 2 años o en 10 años. La extrapolación de algunos de los puntos de referencia sugiere que es más una cuestión de años que de décadas, digamos. Eso es más o menos lo que puedo decir sobre el cronograma. En cuanto a la urgencia, también hay que tener en cuenta, pues, cuánto tiempo lleva mitigar un riesgo. Y, por ejemplo, los riesgos que surgen de la pérdida de control, aunque probablemente no ocurran en uno o dos años, podrían requerir tiempo para desarrollar pues la solución tecnológica. Este es principalmente un problema tecnológico. Eh, pero hay buenas noticias aquí. Muchos de los riesgos que provienen de los fallos de la inteligencia artificial, desde los sesgos que llevan a la discriminación hasta el uso indebido que ya vemos con ciberataques, la pérdida de control y otros riesgos similares, se deben pues a que la inteligencia artificial no hace lo que se supone que debe hacer. se le llama el problema de la alineación. Sí. Y eso es una buena noticia, ¿no? Desde pues el punto de vista de la resolución de problemas, porque si hay una causa común para todos estos fallos, si podemos abordar esa causa común, si podemos encontrar las soluciones científicas para ello, entonces podemos arreglarlos todos de una vez, ya sean a corto plazo que ya estén ocurriendo o ya sabes, en el futuro. Y por eso me he centrado en low zero y en la inteligencia artificial científica, porque creo que si logramos un progreso significativo en este problema de alineación, eso ayudará mucho. Así que eso es uno, una forma en la que podemos, por así decirlo, pues asumir muchos riesgos, pero eso no resuelve el problema político de, ya sabes, los humanos que tienen las inteligencias artificiales y las usan para obtener más poder y convertirse pues en los controladores dominantes del mundo. Eso requiere otro tipo de decisión política y eso tiene que ver, por ejemplo, en en el caso de Europa eh con eh la construcción de sus propios modelos frontera y pueden hacerlo en asociación con otros países. ¿Sabes? Mi primer ministro ha estado viajando por todo el mundo. Eh, hay muchos países interesados en este tipo de asociaciones tecnológicas, pero aquí está la buena noticia y hay una forma de unir estos dos frentes, el político y el técnico. Así que en Lau cero creemos que el enfoque que estamos desarrollando, que nos da las garantías de seguridad también proporcionará eh ventajas de capacidad, ¿no? En otras palabras, estos sistemas, para ser honestos, tienen que ser coherentes consigo mismos, lo que significa que tienen que razonar bien. Esa es una gran ventaja. tienen que ser más útiles. Sí, por supuesto es de doble uso, así que necesitamos la infraestructura política adecuada para este tipo de modelos. Pero ahí existe un potencial real para que Europa y sus socios superen metodologías actuales que, en cierto modo, todas las empresas líderes en inteligencia artificial están utilizando ahora mismo y en un tipo de toma de decisiones, ¿qué tipo de inversión ayuda? pues abordar los problemas éticos debido a los fallos de la inteligencia artificial, por un lado, y los problemas de concentración de poder alar modelos líderes existentes, alternativas gestionadas por gobiernos de alguna manera para asegurar que esto dé acceso a todos, que esto no se utilice como una herramienta de dominación económica y demás. Entonces, eh si tuvieras eh estás proponiendo soluciones aquí, lo cual es increíble porque no solo estás planteando los problemas, sino que realmente estás proponiendo soluciones. Si tuvieras que hacer tu carta de Navidad, ¿qué necesitarías? Tener éxito con el propósito de delero, como si se tratara de dinero, se trata de recursos, se trata también del compromiso de los gobiernos, todas estas cosas. ¿Y de cuánto dinero estamos hablando? Bueno, piénsalo. Si Europa quiere competir con las las empresas de inteligencia artificial más fuertes, va a costar más o menos lo mismo. Entonces, una valoración de un billón, ¿no? Eso es lo que una valoración de un billón, eso es lo que vale Open AI hoy en día, eso es lo que vale Antropic hoy en día. Sí, pero no no hace falta poner un billón de dólares, ¿verdad? Esa es la valoración. Así que ya sabes, pero claramente son miles de millones, no de millones. Es la única forma de competir, ¿verdad? Tenemos que estar a la altura y el dinero podría provenir de los gobiernos, pero también podría venir de empresas privadas europeas que están en riesgo de perderlo todo. Así que en los escenarios que discutimos, donde la más poderosa IA proviene de otros países que podrían cortar el acceso en cualquier momento, eso podría destruir eh los ingresos de esas empresas. Así que esas empresas, si lo piensan bien y el retorno de inversión para ellas al ayudar en este tipo de proyectos es enorme, porque es toda su fuente de ingresos la que podría desaparecer si no intentan hacer algo, ¿no? Y está comprobado porque, por ejemplo, la empresa de Il Suske que se llama SSI, se supone que es inteligencia segura. E no tienen producto, no tienen forma de devolver el dinero y recaudaron, creo, 6000 millones de dólares de de inversores privados. Así que asumo que cualquier empresa que proponga algo y además proponga hacerlo de una manera soberana para quienes invierten el dinero, etcétera, podría recaudar el dinero necesario para esto. Sí,

pero hay algunos inconvenientes aquí. ¿De acuerdo? Si uno recauda capital del sector privado como el capital de riesgo, lo que suele ocurrir es que esos inversores querrán beneficios inmediatos y presionarán para estar en la misma competencia que todas las demás empresas. Ese es un problema. El otro problema es cómo nos aseguramos de que la inteligencia artificial que se produce de esta forma no se convierta en un instrumento de dominación económica por parte de los dueños que invirtieron todo ese dinero. ¿Cómo nos aseguramos de que realmente se gestione para el bien público? Y eso puede ser contradictorio. Ahora, por supuesto, sé que toda nuestra sociedad ha estado durante el último medio siglo basada en este tipo de dinámicas de mercado y ya sabe, podemos criticarlo, podemos encontrarle algunos beneficios. funcionan bastante bien, sí, pero pero mi preocupación es que debido al poder que la IA ya tiene y tendrá aún más, el sistema de mercado es un tanto peligroso, ¿no? No gestiona los riesgos, por ejemplo. Muy bien, porque los riesgos son lo que los economistas llaman una externalidad y el bien público en el lado positivo también es una externalidad. En otras palabras, los intereses personales de aquellos que eh solo quieren ganar dinero. Eh, siempre ha puestado algo desalineado con el interés público, pero mientras la diferencia no sea demasiado grande y podamos regularlo de alguna manera, no está tan mal, pero me preocupa que esta brecha podría convertirse pues en un problema real a medida que la tecnología se vuelve más y más poderosa. No sé la respuesta por esta pregunta. Ojalá lo supiera, pero creo que debemos tener mucho cuidado con eh quién va a decidir, ¿correcto? Pero tengo la esperanza de que exista una forma de obtener inversión gubernamental y capital privado, pero debemos encontrar la manera de que la gobernanza de estos sistemas siga alineada con la misión de hacer lo mejor para la gente. ¿Y cuánto tiempo tenemos? Porque asumo que estamos estamos con un poco de de urgencia, ¿no? Supongo que que esto es una posibilidad, pero no será para siempre. Sí, es es ahora. Eh, yo personalmente siento la urgencia, aunque no sé cuál es el plazo para los avances en inteligencia artificial, podría ser corto y como hay tanto en juego, siento mucho peso, ¿no?, sobre mis hombros ahora mismo para poner esto en marcha y conseguir pues suficiente inversión, suficientes expertos. Así que necesitamos e, por ejemplo, en Laucero, necesitamos de muchos más ingenieros e investigadores que se unan a nuestro equipo. Estamos planeando abrir, pues, una oficina en Europa. Contrataremos personas de todo el mundo. Necesitamos más mentes que se involucren rápidamente en implementar esto, hacerlo funcionar y hacerlo competitivo. mientras aprovechamos las garantías matemáticas de las que hablé para la seguridad, porque asumo que esa debe ser una de las partes difíciles, dado el mercado competitivo de ingenieros en este momento. Veo a muchas personas dejando el sector público. Tengo algunos amigos que solían trabajar para sistemas de inteligencia artificial públicos como centros de supercomputación y cosas así y se están moviendo al sector privado porque obviamente ganan cinco o 10 veces más y hay demanda por todas partes como parece que hoy en día es el mejor momento en la historia para ser un científico de datos y recibir cientos de miles de dólares por tu trabajo. Y obviamente una organización sin fines de lucro como la suya no puede cubrir ese tipo de salario, así que tiene que ser algo absolutamente alineado con la misión. Y eso, absolutamente. Y hemos tenido suerte hasta ahora. Hemos podido reclutar personas que realmente quieren participar porque les importa la misión, comparten nuestros valores, les importa la democracia, les importa un mundo que sea estable y no dominado por unas pocas entidades, también les importa su país. se preocupan pues por sus conciudadanos, pues piensan en el futuro de sus familias y todas esas cosas pues son más importantes para ellos pues que tener pues un salario pues cinco veces mayor. Joshua, hay una cosa más que quiero quiero poner sobre la mesa y creo que probablemente es lo más complicado y creo que sería probablemente uno de los peores resultados de la IA. En el año 2023 eh participaste en un documento donde hablaste sobre la conciencia en la IA. Correcto. Y y escribiste, si no me equivoco, escribiste eh algo o no sé si el equipo escribió algo, donde las conclusiones eran, "No hemos encontrado conciencia en los sistemas de de inteligencia artificial actuales, pero no vemos una razón técnica para que nos surja. Así que eso significa que básicamente la inteligencia artificial podría volverse consciente en cualquier momento. Sí. Eh, ¿y qué significaría eso? Porque siento que pasamos de tener máquinas que usamos para lo que sea, haber abierto un agujero en la Tierra y encontrar una nueva especie. Y eso es un problema moral totalmente distinto y un conjunto de problemas morales diferentes que surgirán más allá de los que ya tenemos. Sí. Primero que nada, el artículo también decía que que no sabemos qué es la conciencia. Por supuesto, existen diferentes teorías científicas al respecto y luego el tipo de conclusiones que mencionaste. Dicen, "Bueno, los tipos de procesos computacionales que que estas teorías eh requieren que podrían ser implementadas por computadoras y no hay como ningún obstáculo técnico, pero claro, no sabemos si estas teorías son correctas y demás." Y y luego también hay personas que eh que creen que la conciencia no es algo material y yo no estoy entre esas personas. Si es algo material, entonces bueno, debería ser algo que una computadora pudiera hacer. Alcanzable, alcanzable mediante alguna forma de, ya sabe, causa y efecto. Básicamente eso es lo que es. Eh, sin embargo, creo que el tema de la conciencia es mayormente una distracción en muchas discusiones, especialmente en lo que respecta al aspecto de la seguridad. Déjenme explicar. Digamos que que ven una flota de alienígenas llegando a la Tierra y podrían tener malas intenciones. No están seguros de que vayan a ser amistosos. Te preguntas, opa, son realmente conscientes o verdades que tienen armas y ya sabes, sospechas que podrían tener malas intenciones, ¿sabes? Eso realmente unificaría al mundo, sería una acción inmediata. Ex, pero eso es lo que está pasando con la inteligencia artificial ahora mismo. Yo yo no veo la diferencia, pero verdad es así que no nos importa si son conscientes. Eh, lo que queremos saber es qué pueden hacer. Eso es capacidad. ¿Y qué intenciones tienen? como los objetivos que persiguen eh lo que hay dentro. En cierto modo no importa. Es como si hubiera un a un gran robot entrando en mi casa y potencialmente en posición de hacer daño a mis hijos. No pregunto si es consciente, tomo a mis hijos y huyo. Así que creo que es la pregunta equivocada desde la perspectiva de la seguridad. Las preguntas reales son la capacidad y las intenciones o metas. Si quieres ser más, sí, estoy totalmente de acuerdo. Si ves a un león corriendo hacia ti, simplemente corres. No te importa si es Entonces, eh hay otro ángulo, pues donde la idea de la conciencia importa, pero no se trata de si las máquinas pues son conscientes o no. Es cómo los humanos perciben a las máquinas. Así que ahora mismo no ya vemos personas y es un hecho científico, que atribuyen puscciencia a las inteligencias artificiales actuales, que desarrollan, pues, una relación emocional con ellas. Y de hecho esto está creando graves problemas psicológicos y hay casos de ver, ya sabes, personas que mueren debido a estas interacciones que son emocionales y donde los humanos interactúan con las máquinas como lo harían con una persona y ellos como que sienten que están, ya sabes, eh en interacción con algo consciente. Así que, independientemente de si es realmente consciente y ni siquiera sabemos qué significa eso realmente, esta es una realidad científica y probablemente empeorará. Exacto. Porque las empresas están creando inteligencias artificiales a nuestra imagen. Quieren que las inteligencias artificiales hagan que la gente se sienta bien. Quieren, ya sabes, la la y y tenemos una tendencia natural a querer tener interacciones positivas. Nos gusta una máquina que nos dice que somos inteligentes, que somos buenos y que somos personas fantásticas. Así que está jugando con nuestras debilidades psicológicas de una manera quizás mucho peor de lo que lo han hecho las redes sociales y mucho más grande de lo que que la gente piensa. No suelo poner ese ejemplo donde eh cuando la gente empieza a decir que esto es una tontería, que no tiene sentido, les digo, cuántas veces le

diste las gracias a Chat GPT, ¿sabes? No le das las gracias a tu lavadora. Así que definitivamente hay una diferencia. Sí. Y creo que si tuviéramos a Turing sentado aquí, sí, exactamente. Yo lo hago también. Así que creo que si tuviéramos a Turing aquí sentado, estaría de acuerdo en que superamos la prueba de Turing por mucho. Entonces es complicado decirle a la gente que no desarrolle relaciones con estas cosas cuando su cerebro no puede separar esa relación de la de un humano. Es natural que desarrollemos una relación con algo que es tan parecido a un ser humano. Así que creo que estamos cometiendo un gran error al crear inteligencias artificiales que parecen humanas. Al menos en la interacción verbal. Podría ser peor si construimos robots a nuestra imagen. Espéralo. Debido a nuestros, ya sabes, instintos, nos relacionamos entre nosotros, pues, de una forma que está escrita en nuestros genes y nos comportaremos igual con las máquinas, pero ellas no son como nosotros. podrían, ya sabes, ser más listas que nosotros, podrían ser manipuladas por otros de formas pues que que podrían ser peligrosas para nosotros y y todo tipo de problemas. Eh, así que creo que debemos ser muy cuidadosos y nos estamos apresurando demasiado hacia un mundo donde creamos máquinas a nuestra imagen. Idealmente no deberíamos hacer eso. Idealmente desarrollamos inteligencia artificial en áreas donde nos pueden ayudar, por ejemplo, en medicina al lidiar con la crisis climática. o al brindar información a nuestros hijos para que aprendan más rápido, pero sin hacer que se vean y sientan como personas, porque esa es una pendiente peligrosa que que no entendemos lo suficiente. Pero lo estamos haciendo porque es cómodo, porque es, ya sabes, la gente comprará estos sistemas mientras que deberíamos estar tomando una decisión colectiva sobre, ya sabes, en qué ámbito es la inteligencia de estas máquinas más útil para nosotros, por ejemplo, en descubrimientos científicos que realmente nos ayudarían. Pero la cuestión es que es es realmente es realmente útil el hecho de que sean como humanos, porque puedes configurarlo como un representante de atención al cliente y entonces básicamente también hay un valor econ un valor económico, así que es eh es difícil dar marcha atrás a partir de ahí. Pero tengo la sensación de que eh y creo que para mí eh uno de los grandes momentos de la inteligencia artificial fue cuando Open AI intentó eh retirar GPT4O y entonces hubo esta reacción masiva en la sociedad. digo, probablemente fue una pequeña burbuja, pero pero obligaron a la empresa dueña de la inteligencia artificial a traerla de vuelta. Sí, sí. Y ese fue como un momento para mí en el que dije, "Rayos, ¿sabes? Estamos estamos realmente en una mala situación aquí porque esto va a ir a más y a más. Llegará al punto en que la gente dirá que tenemos que darle derechos. Me preocupa este movimiento. Eso es pidiendo derechos para los sistemas de IA. No porque no crea que deberíamos estar pensando en estas preguntas, creo que deberíamos, pero siento que no entendemos lo suficiente las consecuencias de tomar decisiones como esta. Y por ejemplo, ¿no?, en el tema de la de la seguridad y las inteligencias artificiales tienen derecho a vivir, que es el más básico. Bueno, significa eso que si empiezas a hacer cosas malas no podemos desconectarte. Y también como, ¿qué significa eso? Porque no es como nosotros donde sabes que nuestro cuerpo se deteriora con la edad, podrían vivir para siempre. Me refiero a vivir como en seguir funcionando. Así que ni siquiera está claro que los conceptos humanos que usamos al otorgarnos derechos sean significativos. Además, existe un peligro real de que esto sea a costa de los derechos humanos debido a cómo se puede usar la inteligencia artificial y a los problemas de responsabilidad. ¿Quién es responsable cuando la inteligencia artificial hace algo malo? ¿Verdad? Si se les trata como personas, entonces las empresas quedan exentas de responsabilidad. Exacto. Entonces, hay muchas cosas que podrían estar muy mal. Y siento que las personas preguntan esto principalmente porque sienten un apego emocional a las IA con las que están interactuando. Creo que como sociedad necesitamos ser mucho más racionales al respecto y pensar en lo que significa. Todo el contrato social que tenemos entre nosotros no creo que sea aplicable directamente a las inteligencias artificiales. Entonces, hay realmente muchos problemas y sé que algunas personas me me llamarán algo así como especista, pero me importa el bienestar de mis hijos. Sí, estoy totalmente de acuerdo. Es por eso que creo que este sería uno de los mayores problemas si técnicamente ustedes prueban que realmente son conscientes, porque mientras pensemos que pueden serlo o no, estamos a salvo al esclavizarlos, apagarlos o lo que sea. Pero eh si se llega a probar que hay cierta conciencia o equivalente a eh un animal, entonces es cuando creo que será realmente malo para los humanos. No creo que alguna vez haya una prueba sobre la conciencia, porque se puede entender de maneras que son difíciles de, quiero decir, algunas personas tendrán una comprensión intuitiva de la conciencia que realmente no está científicamente fundamentada. Entonces, incluso si tuviéramos una teoría científica que diga que son conscientes o no conscientes, lo que sea, aún habrá la sensación inmediata de que mucha gente tendrá que que son como nosotros o ya sabes y pues son conscientes, ¿no? Y y bueno, se trata tanto de cómo reaccionan los humanos y nuestras emociones, así como la ciencia subyacente. Sí, sí. Y sabes que que siempre habrá personas que que dirán que no, que no pueden ser conscientes, porque la conciencia es algo quizás un poco mágico que tiene que ser biológico para tenerlo o cualquier razón que que la gente invente. Creo que deberíamos simplemente evadir ese debate y preguntar si son conscientes o no. ¿Sabes cuál cuáles son las consecuencias de nuestras acciones, de nuestras leyes para las personas? Sí, deberíamos ser especistas, ¿sabes? Deberíamos centrarnos en los humanos. Joshua, ¿cuál cuál es el futuro de tu nieto que estás imaginando en este momento? como dijiste antes, que tú no un pesimista, que eres más como un estudiante adicto, pero sigue siendo así porque hablamos sobre la urgencia de cómo estamos quedándonos sin tiempo. Quiero decir que eh qué tan claro está que podemos arreglar esto. Yo quiero hacer todo lo que pueda y me gustaría que más personas comprendan la magnitud de lo que puede venir, la caja de Pandora que hemos abierto para que podamos arreglarlo. Creo que si suficientes personas lo entienden, lo arreglaremos. Si suficientes personas ven lo catastrófico y lo extraordinariamente positivo que puede ser, que necesitamos gestionar esto, que no podemos simplemente dejar que las fuerzas actuales del mundo lo manejen, porque vamos en una dirección peligrosa o al menos hay un riesgo que es lo suficientemente grande. grande. Soy optimista de que si suficientes personas comprenden lo arreglaremos. Así que todo depende de la opinión pública. Está en sus manos, ¿no? Pero espero que esto que esto ayude y espero que este episodio, digo, para ser honesto, he estado tratando de poner mi granito de arena y he estado hablando del riesgo de la inteligencia artificial en todos estos vídeos. Pero, ¿qué puede hacer la gente que nos ve a su manera para ayudar a la causa? O sea, si creen que están de acuerdo contigo, que tiene sentido lo que dices, que no se trata de creer que la inteligencia artificial será peligrosa, sino de evaluar que podría ser en cierto porcentaje un resultado, una posibilidad que quieren evitar, ¿qué crees que pueden hacer eh individualmente? Bueno, ya existe activismo sobre inteligencia artificial en muchas partes del mundo. Sí, pero el activismo sobre la inteligencia artificial no está funcionando muy bien. O sea, es decir, porque muy poca gente se lo está tomando en serio, pero es principalmente es muy en el sentido de intentar detener la inteligencia artificial y creo que una de las mejores cosas de de su enfoque es que reconoce el valor, que no podemos detenerla. Creo que ustedes lo intentaron en el pasado y no funcionó bien con la moratoria de 6 meses y todo lo que ha pasado a lo largo de los años. Pero creo que ahora eh se dan cuenta de que eh sin inteligencia artificial no podemos competir y eso también tendrá efectos realmente negativos, así que no se puede detener, al menos no el uso. Quiero decir, la recomendación para una persona cualquiera no es que no use inteligencia artificial. En realidad, úsala para ser más competitivo en lo que haces, porque de lo contrario estarás en graves problemas, pero al mismo tiempo,

sé consciente de los riesgos y trabaja en ellos. Así que el activismo que veo, detener la inteligencia artificial, controlar la inteligencia artificial. Tuvimos a Conor aquí también en el podcast. Normalmente intentan pulsar el botón rojo para detener la inteligencia artificial y eso no va a funcionar. Quiero decir, creo que es es muy complicado. Podría podría si suficientes personas realmente lo toman en serio, pero creo que también necesitamos tener un plan en caso de que no podamos detenerlo globalmente para al menos Lo detendrías globalmente, lo detendrías a nivel mundial si tuvieras ese botón rojo. Absolutamente. Absolutamente. Incluso los aspectos positivos de ello. Llegaremos ahí. Ya sabes, la cuestión pues no es detenerlo por completo, sino controlar el camino, ¿verdad? es que ahora mismo todo se mueve demasiado rápido. Totalmente de acuerdo. Ahora también tenemos que pensar en lo que podemos hacer si no podemos detenerlo globalmente, lo cual parece muy difícil ahora mismo. Hay cosas que los ciudadanos de países como España y de manera más amplia, pues otras democracias liberales pueden hacer para mitigar los riesgos. Ese es un camino que discutimos. donde intentamos construir rápidamente una inteligencia artificial que pueda comportarse bien y que podamos usar para protegernos de un dominio basado en inteligencias artificiales que estén en manos que, ya sabes, no respeten nuestros valores. Así que eso es algo que definitivamente podemos hacer y deberíamos exigir a nuestros gobiernos que hagan algo para evitar estos futuros malos, incluyendo el efecto sobre los empleos, incluyendo el efecto sobre nuestros hijos, incluyendo el efecto de potencialmente corromper nuestras democracias a través de la desinformación, mediante todo tipo de medios que son amplificados por la inteligencia. Tenemos capacidad de acción y debemos exigir a nuestros gobiernos que hagan algo al respecto. Y también quiero decir algo sobre lo que no funciona. Muchos países han iniciado programas e inversiones para crear una inteligencia artificial soberana que por lo general será mejor y muy buena en cuanto a capacidades lingüísticas fuera de los idiomas más comunes, pero no es competitiva. Y como no es competitiva, las empresas no la usarán, tampoco la usarán los ciudadanos. En España sabemos mucho de esto, eh, somos los primeros en Europa y estos modelos básicamente para traducir del catalán al vasco funcionan peor que Chat GPT y gastamos 150 millones en eso. Sí. Así que deberíamos gastar ese dinero con el objetivo y mucho más eventualmente con el objetivo de competir realmente con eh los modelos más fuertes que existen. Esa es la única forma de protegernos, hacerlo según nuestros valores y en asociación con otros países, porque España es un país, pero hay muchos otros que comparten las mismas preocupaciones. Estamos en el mismo barco. Si compartimos nuestro talento y recursos para lograrlo, tenemos muchas posibilidades de éxito y quiero ayudar. Tengo experiencia en el aspecto técnico para, creo, aportarnos a un nivel que sea al menos competitivo, pero que también nos brinde estas garantías matemáticas de seguridad y digamos de comportamiento ético de la inteligencia artificial, ¿no? Sí. Eh, tengo la sensación de que no tenemos a las personas adecuadas en el ámbito político para lo que necesitamos en este momento. Es decir, a lo largo de los años tuvimos algunos políticos que fueron realmente eh icónicos y que hicieron que las cosas sucedieran porque había liderazgo, había carisma. No los veo en este momento en la en la escena internacional. Hay algunos que lo están haciendo eh bien, pero quiero decir, con todos los errores que cometieron, ha habido políticos icónicos en la historia que realmente marcaron la diferencia y creo que necesitamos políticos valientes en este momento, lo cual me encantaría ver. Pero bueno, hay hay uno que ha sido bastante valiente recientemente, mi primer ministro, estoy muy orgulloso de él porque ha dicho cosas que, digamos, eh muchos otros jefes de estado están de acuerdo, pero no se atreven a decirlo. y también ha señalado que debemos trabajar juntos para salvarnos, ¿no? Así que creo que necesitamos más valentía ahí. Eh, también veo al gobierno español eh siendo muy valiente eh en en algunas de sus eh posiciones de tipo geopolítico. Necesitamos esa valentía para dirigirnos a construir una inteligencia artificial que proteja nuestro futuro, proteja nuestros empleos, proteja nuestra dignidad, eh, y ya sabes, nos libere de la dependencia que de otro modo tendremos. también requiere valentía y también requiere algo más que es el principal obstáculo que veo en muchas de mis interacciones con gobiernos alrededor del mundo es la burocracia gubernamental, la inercia, no estar dispuestos a a ya sabes como tomar decisiones fuera de las que ya se han tomado porque no quieres asumir un riesgo político y eso ocurre en las decisiones individuales de los funcionarios y también en las decisiones de, ya sabes, las figuras políticas. Sí, si piensas en eventos radicales como como la pandemia, bueno, esperamos a tener, ya sabes, el programa diseñado para esto, ¿no? Simplemente actuamos porque entendemos que estamos contra la pared y nuestra supervivencia en muchos sentidos está en juego. Eso es lo que necesitamos. es el tipo de valentía y eh la visión que necesitamos ahora mismo. Eso fue mucho más fácil con la pandemia que estaba matando gente que con la inteligencia artificial que está como en las sombras y haciendo cosas que probablemente tendrán finales peores que una pandemia, pero no es tan visual. Es cierto. Y eh creo que creo que algunas de las imágenes de la pandemia, mi padre murió en una residencia el primer fin de semana de de confinamiento en España por eh COVID y algunas de estas imágenes impactaron mucho a la gente y si la pandemia hubiera afectado a los niños habría sido 200 veces más rápida, 200 veces más eficiente. ¿Sabes? Al final creo que ese es uno de los problemas que que tenemos como humanos, que somos muy malos para anotar los riesgos hasta que los tenemos literalmente frente a nosotros y son, ya sabes, físicos. No solo quiero decir, cuando la gente empieza a ser despedida y es algo masivo, ya está empezando, pero cuando sea mucho más, quizás eso sea el detonante. Pero tengo la sensación de que la mayoría de los políticos sienten que que tienen tiempo, que este es un problema para el 2050. no se dan cuenta de que es un problema para 2030 y creo que ese es el principal problema que tenemos ahora, que no está en su agenda urgente porque tienen tantos problemas sobre la mesa que este no tiene la magnitud necesaria. Y creo que lo que haces es básicamente lo correcto para intentar que se den cuenta de que deberían dejar de preocuparse por otras cosas y empezar a preocuparse por la inteligencia artificial, porque ese es el principal problema que debemos afrontar. Sí. Y hay hay un lado positivo en esto que es si logramos avanzar en este tipo de inteligencia artificial responsable que sea competitiva, también puede ayudarnos con los otros problemas que enfrentan los políticos, ya sea el proporcionar servicios de salud en nuestro sistema educativo o ya sea reducción de corrupción, ¿sí? incluso nuestras instituciones democráticas, las formas en que podemos compartir nuestras opiniones en la sociedad para tomar mejores decisiones colectivas. Potencialmente la inteligencia artificial puede ser muy beneficiosa en ese sentido, pero pues no necesariamente solo bajo las fuerzas del mercado. Eso eso tiene que venir de una voluntad política de la gente en primer lugar para decir, pues bueno, hagámoslo bien y podemos y y lo hemos hecho. Estamos en un buen camino. Creo que como siempre soy optimista de que existe un camino. Joshua, muchas gracias no solo por sentarte conmigo hoy, sino por todo lo que haces. Sé que podrías estar mucho mejor trabajando en el sector privado y ganando mucho más, pero de verdad, gracias por lo que haces. Creo que es muy importante y espero que llegues a las personas adecuadas y que te escuchen. Muchas gracias. Gracias por invitarme.