Rastrejar preus d’Amazon amb TypeScript i GitHub Actions

Hoy te enseño cómo montar un rastreador de precios de Amazon con Typesc, pero no una demo de sacar el precio una vez y ya está. Vamos a construir un scrapping en condiciones que consulte el título, el precio, que guardemos un histórico en una base de datos, que lo automaticemos con GHUp actions y que no nos bloqueen nunca utilizando de codo. Así que sí, vamos a construir como un tracker de precios porque claro, hacer scrapping parece muy fácil. Haces un fetch y ya está, recuperas los datos y venga a extraerlos. Y esto funcionar funciona. Ya ves que como tienes el HTML te pones aquí a buscar dónde tienes el precio y ya está. Pero cuando estás con webs más serias empiezan los problemas. Tienes problemas de rate limit, o sea, que te limitan la tasa de veces que puedes hacer la petición. Te bloquean la IP, el HTML cambia contenido dinámico, los capchas y en ese momento precioso en el que crees que todo funciona, pero que en realidad te está devolviendo basura. Pero bueno, que no te preocupes porque vamos a empezar desde el principio. Que sepas que todo el código de lo que vas a ver en este vídeo lo tienes disponible en este repositorio que en la descripción te dejo el enlace para que no te lo pierdas. Y de hecho vamos a ver cómo hacer un scrapping manual [carraspeo] rápidamente. Este archivo lo

tienes en el repositorio, pero te lo voy a explicar paso a paso para que lo entiendas porque es básico. Tengo una función principal en este archivo manualscrapper.ts, que lo que [resoplido] hace es iterar sobre los assins. ¿Qué es esto del asin? No te asustes. Estos son los identificadores únicos en la store de Amazon de los productos. ¿Ves? Los he puesto aquí como variables de entorno [resoplido] en la tienda de Amazon en España. Y los assins los sacas de la URL. Aquí, fíjate, este sería el asin de este producto, pero seguramente puedes ir a otro producto y encontrarte esta URL supergre y luego, ¿dónde está la SIM? Está justo después. Este es el identificador que necesitas. Y entonces, ¿qué pasa con todo esto? Porque esto no sirve absolutamente para nada. De hecho, esto puedes poner aquí, mira, puedes poner lo que quieras, puedes poner aquí lo que quieras. Le das al enter y funciona perfectamente. ¿Lo sabías? Bueno, pues ya sabes, le puedes hacer una broma a tu amigo, pones aquí PlayStation 5, se pasa la URL y se asusta. Pero bueno, el tema es que lo importante de la URL es esto. Sacas ese identificador, te lo traes para aquí. Ahora iteramos sobre cada uno de estos identificadores y llamamos a la función scrape. Esto, ¿qué es lo que hace? Pues

vamos a hacer una petición sobre la URL correcta que hemos construido aquí con el dominio si españa, si es Estados Unidos o lo que sea y pasándole el identificador de producto. hacemos un fetch, que al hacer un fetch es como hacer esto, ver código fuente de la página, recuperar todo el contenido y como es simplemente el HTML lo que queremos, por eso aquí lo que estamos haciendo es un response punto text, por eso no estamos convirtiendo a Jason ni nada, sino que es un punto text. Cosas importantes que de headers le estamos pasando un user agent como si fuésemos un usuario. Esto cuando hacemos scrapping manual pues es normal para que no nos bloqueen. Luego que si hay algún error hacemos un throughout new error y aquí lo que hacemos es un console lo log del HTML para ver qué es lo que nos ha devuelto. De hecho, si vamos a la terminal y yo ejecuto npx TSX, esto es porque estoy utilizando Typescript, ¿vale? Para no tener que compilarlo y ejecutarlo al vuelo. Ejecutamos este scrapper, ¿vale? Y fíjate que en cuanto termine, pues aquí tengo todo el HTML. Qué graciosos la gente de Amazon metiendo estas cosas. En ese HTML es que tenemos que extraer toda la información. Y para eso, pues, ¿qué hacemos? Pues utilizar un Regex. Lo que hacemos aquí, fíjate, para encontrar el título del

producto, pues buscamos el elemento del productemos lo de dentro. Y finalmente, una vez que hemos hecho todas las regs, lo que hacemos es devolver cada uno de los campos. Y bueno, así te puedes defender mientras no cambie el HTML porque si no lo tienes que cambiar todo y ya está. Lo peor en realidad es que ya le he dado unas cuantas veces, pero voy a estar dándole hasta que me pase esto, ¿vale? Y es que de vez en cuando Amazon puede detectar que estás haciendo demasiadas peticiones y te va a dar un 421, te va a hacer un rate limit, te va a limitar el número de peticiones que vas a poder hacer. Es verdad que si tú de repente le vuelves a dar, a lo mejor ha pasado suficiente tiempo, pues puede volver a funcionar sin ningún problema, ¿vale? Pero si tú vuelves a ejecutar todo el rato lo mismo, cada vez el rey limito y es más fácil que te vuelva a salir. Vale, aquí vamos a ver. Ahora mismo pues habrá pasado un minuto y me estará permitiendo hacerlo. Ahora me va a dejar fatal. Pues voy a decir, "No, pues ya no." Ah, no, ahí está. Vale, otra vez. Fíjate que me ha vuelto a salir este error. Obviamente si tú haces un scrapping, pues muy corto, no pasa nada. Pero para arreglar esto podríamos utilizar los servicios de Decodo. Decodo es un servicio que te permite no tener

que enfocarte tanto en la parte de la infraestructura, sino más en el dato. ¿Por qué? Porque tiene servicios tanto de proxy como directamente para hacer scrapping. Como a mí lo que me interesa es construir un tracker y no pelearme con esto, pues me viene genial. Podríamos utilizar los proxis de decodo, que está muy bien porque te permite acceder a más de 115 millones de IPs diferentes en más de 195 localizaciones. O sea, que sería imposible que Amazon me pudiera bloquear porque estaría cambiando todo el rato la IP. ¿Y cómo se utilizaría? Pues así, aquí tienes este código de No lo puedes ver. utilizaríamos el https proxy agent, donde accedemos con la URL de Decodo. Tendríamos que acceder también con nuestro nombre de usuario y password, pero esto lo que haría es que cuando hagamos el fetch, esto va a tener este agente que es el que se va a encargar de tener una IP diferente y hacer la petición por nosotros. Pero por encima de esto también tienen los scrappers que ya están utilizando toda esta plataforma y tú no te tienes que pelear y ya están preparados para sacar información de cualquier web y con algunas plantillas específicas para sacar, por ejemplo, de Amazon. Que sepas que en este vídeo nos está apoyando Decodo y por eso tengo en la descripción un enlace con una prueba

gratuita para el Webcrapping API y que también te da un 10% de descuento por si te ha gustado el servicio y quieres seguir utilizándolo en tus próximos proyectos. En este caso le vamos a dar a start free y ves, yo ya tengo aquí el webscrapping API. Podemos buscar aquí, vamos a ir al API Playground. Fíjate que aquí tenemos el web scrapping más general, pero podemos ponerlo en Amazon. Amazon Product. Aquí le vamos a poner pues justamente esta ID de aquí. Podemos desactivar el JavaScript rendering, que es interesante, pero en este caso lo que va a hacer es que tarde más si necesariamente. Le decimos que el output es JSON. Le indicamos que la tienda es la española. Importante. Podemos aquí cambiar más cosas, pero bueno, no es importante. Y ahora simplemente vamos a enviar la petición. Voy a cambiarlo en Note para que veamos aquí cómo es la API. Le voy a enviar la petición y en 3 segundos tenemos toda la información. Fíjate que tenemos aquí, pues yo que sé, los bullet points, la categoría, la caja de compra. Aquí tendríamos toda la información. O sea, es que tenemos mucha más información de la que parecía antes, ¿eh? Porque es que nos ha convertido toda la página web a un Jason de, por ejemplo, la descripción tenemos, o sea, no hemos tenido que pelearnos con absolutamente nada. Y aquí tenemos esta

información, todas las imágenes, también tenemos el precio, tenemos también por aquí todos los detalles, el nombre del producto, bueno, una pasada, tenemos aquí un montón de información, rating, tenemos es que hasta el breakdown, las reviews, nos ha sacado un montón de información. Esto obviamente se puede personalizar para que nos devuelva más o menos información, pero bueno, cuanta más información tengamos pues mucho mejor. Ahora, volviendo a la petición, fíjate aquí que nos podemos copiar todo esto. Aquí está mi token. No te lo copies, utiliza el tuyo, que te he dejado el enlace para que consigas el tuyo. Pero bueno, nos podemos copiar todo este código y vamos a volver a mi proyecto. Antes hemos visto el manual scrapper para hacerlo manualmente haciendo un fetch a saco. Ahora voy a ir al archivo scrapper. TS. Y fíjate que aquí tengo el método Scrappe Product. Vale, pues lo que vamos a hacer aquí es pegar lo que había copiado. Aquí, ojo que te sale el token, no me lo robes. Entonces, para el token, yo lo voy a sacar de la variable de entorno. Tengo esta función get decodo out, que es la que voy a utilizar aquí, y directamente voy a ir a las variables de entorno y voy a rellenar este decodo out token. Para eso volvemos al dashboard de decodo y nos tenemos que copiar este basic

authentication token. Le damos aquí a copiar. Volvemos por aquí. Nos vemos a las variables de entorno. Ahora mírame a los ojos. Mírame a los ojos. No mires esto. No mires. Ya está. Ahora ya podemos volver por aquí. Entonces la respuesta, fíjate una cosita importante, la query le tenemos que pasar el así, el assín que nos lleva por parámetro. Y esta respuesta vamos a decirle que si no está bien la respuesta vamos a enviar el error, ¿vale? Vamos a quitar esta línea aquí del catch porque no tiene sentido. Ya estamos comprobando aquí el error. Luego aquí tenemos que transformar la respuesta para recuperar los datos que ya antes hemos visto que era un objeto un poco complejo. Data. resols, la primera el primer elemento de resols, luego el contenido, luego más resols y finalmente vamos a poder mapear todos los datos. Aquí hago alguna transformación para tener el precio como si fuese un número. Lo mismo con la puntuación. Entonces, hacemos algunas transformaciones y con esto ya deberíamos tener nuestro scrapper sin tener que preocuparnos de ray limit, de capcha ni nada. Ahora vamos a probarlo. Voy a volver a la terminal y voy a ejecutar este script de aquí, pnpm run track proxy, que lo que hace es ejecutar este scrapper de aquí y vamos a ver si funciona correctamente. ¿Ves? Ahora

mismo está utilizando el proxy de Decodo, utilizando todo esto y ya tenemos aquí toda la información sin ningún tipo de problema, el precio, rating, reviews, el stock URL y cuando ha hecho el scrapping. No ha tardado nada, fíjate. Y lo bueno es que esto sí que yo puedo estar volviendo a darle otra vez más, que no vamos a tener problemas de rate limitarnos de los elementos HTML ni nada, directamente nos está sacando la información sin que tengamos que nosotros tener una preocupación si escala o no escala. Acuérdate que tengo un enlace para que pruebes todo esto, mi enlace exclusivo para ti. Ahora que ya tenemos todo esto, una cosa que me gustaría hacer es ver si podemos ver el histórico. Para eso, yo lo que estoy haciendo aquí en el proxy scrapper, fíjate que ahora mismo, pues nada, está recuperando los assins, estoy llamando este scrapping manual, pues lo que vamos a hacer es iniciar sesión con una base de datos. Yo voy a utilizar Turso, no sé si lo conocéis, pero está bastante bien. Una base de datos que podemos poner en la nube. Voy a iniciar sesión con GitHub y voy a iniciar en una base de datos donde pueda guardar toda esta información. Ya tengo la base de datos aquí, Amazon Tracking. Pues una vez que estamos aquí tenemos la información para

conectarnos, el database URL, que lo vamos a poner en la variable de entorno. Como no te voy a enseñar la variable de entorno, lo que sí que puedes ver en el example, ¿vale? Fíjate que tenemos el turso database URL y el turso out token. Pues estas son las dos cosas que tienes que rellenar. El token lo vas a sacar aquí. Le das a create token y te va a crear el token según como lo digas. Le vamos a decir que sea de lectura y escritura y que nunca expire. Y cuando le damos a create token, pues tenemos aquí la información. Esto sería la URL y esto sería el token que no aparece completo, pero ya me va bien que no aparezca completo. Entonces, mientras me miras a los ojos, voy a estar rellenando la información con el token, que no se me escape nada. Y ya he pasado toda la información, así que ya lo tengo las variables de entorno. Lo único que me hace falta ahora sería importar aquí una forma de iniciar la base de datos. Aquí tengo un esquema donde tengo toda la tabla y toda la información, los índices que tenemos que utilizar y también tendía aquí las queries, fíjate aquí las queries. Tengo aquí las queries, es safe snapshot para recuperar todos los snapshots. Esto es básicamente para hacer el histórico. Así que vamos a hacer un import. Vamos a hacer el safe snapshot y este safe snapshot vamos a

utilizarlo aquí dentro, ¿vale? Primero aquí importante, vamos a inicializar la base de datos. Vale, aquí me ha importado algo, ¿no? Vale, perfecto. Y aquí dentro, una vez que tenemos la información, vamos a hacer el save snapshot, ¿vale? Para guardar esta información en nuestra base de datos. Ahora que hemos hecho esto, vamos a ejecutar otra vez a ver si funciona correctamente. Está solicitando la información adecodo. Estamos haciendo el crowling. Ha guardado en la base de datos este snapshot y al volver a nuestra base de datos podemos ir a edit data y ver pues todo el histórico y deberíamos ver lo que ha ocurrido hoy. Si compartimos aquí, fíjate, hoy es 30 de abril y ya tenemos los datos de hoy. Así que perfecto. ¿Cómo podemos ver este histórico? Pues simplemente levantando el entorno de desarrollo. Yo lo he dejado aquí en el puerto 4322. Y fíjate qué gráfica más bonita. Tenemos los dos elementos con su título, sus precios y todo. Y podemos ver la evolución de los precios de cada uno. Un elemento. Tampoco que hayan cambiado mucho. Ha bajado un pelín la memoria RAM. Mira, ha bajado un poquito. Ha bajado, ¿cuánto? 5 € han bajado 2 € y luego esta sí que parece ser que ha bajado de 416 a 413,99. Bueno, algo es algo, algo es algo. Pero

bueno, aquí podéis ver la evolución de precios donde cada día ha hecho pues este scrapping, se ha quedado la información, le ha guardado la base de datos y ya tenemos el histórico. Y ahora la pregunta del millón, ¿cómo podemos automatizar esto de forma que todos los días a la misma hora podamos recuperar el precio y así tener el histórico, pues vamos a crear una Gighub action y es que tenemos aquí este flujo de trabajo, un Wordflow, que lo que hacemos es que funciona en schedule, lo tenemos aquí con un Chrome Job que siempre a las 7 de la mañana se va a ejecutar y si no también lo podemos ejecutar manualmente. Para esto funciona este Wordflow Dispatch. ¿Qué estamos haciendo aquí? Tenemos diferentes pasos. Va a funcionar en la última versión de Ubuntu. Lo que hacemos es los pasos, el checkout del repo para recuperarlo. Vamos a hacer un setup de PNPM para poder instalar las dependencias. Setup de NOJS con la versión 22. Instalamos las dependencias y leemos todas las variables de entorno que necesitamos para que funcione y ejecutamos el script pnpm track proxy. Ahora, una vez que tenemos esto, vámonos a nuestro repositorio. Fíjate que yo lo he ejecutado en realidad más veces, pero lo he ido eliminando. Y lo que puedo hacer aquí es darle en esta action le podría dar aquí a rank workflow y

manualmente ejecutarlo. Lo que va a pasar es que va a funcionar todos los días a las 7 de la mañana, pero lo voy a hacer ahora manualmente. Puedo entrar para ver cómo va ejecutándose paso a paso. Ya ha hecho el checkout del repo. Está también haciendo el setup de no GS, instalando las dependencias, ejecutando el tracker. Ahora está llamando a los servicios de decodo con el proxy sin problemas ni capcha ni nada. Re limit, adiós. Automáticamente está rotando las IPS para ti. Y fíjate que ya ha terminado. ¿Cuánto ha tardado? Pues habrá tardado unos 10 segundos, 12 máximo, 37, va, 25, perdón. Ha tardado 25 segundos, pero lo que es el tracker en realidad ha tardado 12 segundos. Y para asegurarnos que esto está funcionando, pues fíjate que aquí podríamos resetear esto y ver que aquí, fíjate que ahora tenemos también del 30 de abril, que es hoy, tenemos más. ¿Por qué? Porque justamente ahora los ha añadido. Ha añadido a la hora que estamos ahora, pues ha añadido nuevos. Y aquí, aunque no se va a notar mucho si refresco, podríamos ver que tenemos aquí más de un punto. De hecho, fíjate que no es redondo como este. ¿Por qué? Porque como es el mismo día, pues tenemos más de un punto ahí que nos da el precio. No es lo ideal normalmente tener más de un punto en el mismo día porque no es muy

útil, pero al menos sabemos que funcionar funciona. Así que todo esto lo tienes totalmente de código abierto, se llama scrapping Amazon Prices para que veas cómo lo he hecho desde cero, para que veas cómo funciona y que además lo puedas hacer funcionar una vez que le pasas tus variables de entorno. que te acuerdes que estoy utilizando los servicios de decodo y que te dejo en la descripción mi enlace donde puedes conseguir un 10% de descuento en sus servicios por si te ha gustado y lo quieres utilizar más adelante. Fíjate que aquí te dice el precio y que todo lo que he ejecutado me ha salido por 2 céntimos de dólar. Imagínate, además, no tienes que poner tarjeta de crédito ni nada, lo puedes probar y te va a encantar. O sea, ya puedes probar desde el principio sin ningún tipo de problema y ya ves que es muy fácil y es que hay un montón de templates diferentes para YouTube, para TikTok, para Reddit, para lo que tú quieras. Y lo mejor es que tienes también el servicio de proxis, que lo tienes aquí por si quieres hacer una rotación automática de IPS, también lo puedes hacer. Espero que os haya gustado este vídeo, este pedazo de tutorial, porque me parece que es muy interesante que muy pocas veces se utiliza este tipo de técnica de cómo utilizar un proxy, cómo hacer un

scrapping mucho más avanzado. Además, ten un histórico que seguramente muchas veces has visto, "Oye, ¿cómo hará esto?" pues lo hacen así, no tiene mucha más historia y además que lo hemos hecho de código abierto. Si te gusta este tipo de contenido y si te ha gustado el servicio de Decodo, que muy poca gente lo conoce y que la verdad es que está muy genial, pues deja tu like si te gusta este tipo de contenido, me ayudas un montón dejando tu like porque luego me dicen que no programo, pero es que cuando programo pues la gente no deja su like. Pues deja un like, pon un comentario, dime qué te ha parecido y si lo reventamos, yo que sé, si llegamos a los 5,000 likes, le voy a decir a Decodo que hacemos una segunda parte para el tema de los proxis, a ver qué os parece. Vale, espero que lo hayáis disfrutado mucho. Nos vemos. Ciao. [música]