Por qué la infraestructura de IA se está convirtiendo en un juego de memoria

Si bien las discusiones sobre el costo de la infraestructura de inteligencia artificial (IA) suelen centrarse en Nvidia y las unidades de procesamiento gráfico (GPU), la memoria es una parte cada vez más importante del panorama. A medida que los hiperescaladores se preparan para construir centros de datos por valor de miles de millones de dólares, el precio de los chips DRAM (memoria de acceso aleatorio dinámica) ha aumentado aproximadamente 7 veces en el último año. Este salto en los precios está convirtiendo la infraestructura de IA en un juego de memoria, donde gestionar cómo se almacenan y recuperan los datos es vital para la viabilidad empresarial.

La complejidad de este juego de memoria es visible en cómo los desarrolladores de IA fijan el precio de sus servicios. En una entrevista con el analista de semiconductores Doug O’Laughlin, Val Bercovici, director de IA en la empresa de plataformas de datos Weka, señala la documentación de almacenamiento en caché de prompts de Anthropic como un indicador clave de este cambio. Bercovici señaló que hace seis o siete meses, la página de precios de almacenamiento en caché de prompts de Anthropic era muy simple. Hoy, ha evolucionado a lo que él describe como “una enciclopedia de consejos sobre exactamente cuántas escrituras en caché comprar por adelantado”. El sistema ahora cuenta con niveles de 5 minutos y niveles de 1 hora, que requieren que los clientes naveguen por oportunidades de arbitraje. En la práctica, esto significa que las empresas deben equilibrar las “escrituras en caché” —el costo de guardar datos de prompts en memoria temporal— frente a las “lecturas de caché”, que son las consultas realizadas al recuperar esos datos ya almacenados. Gestionar esta ventana es difícil porque agregar nuevos datos a una consulta puede desplazar la información existente fuera de la caché.

Este cambio está impulsando un nuevo enfoque en la orquestación de memoria en toda la pila tecnológica. A nivel de software, las empresas que dominen la orquestación de memoria podrán realizar las mismas consultas utilizando menos tokens, reduciendo directamente sus costos operativos. Esta dinámica está creando oportunidades para las empresas emergentes; por ejemplo, en octubre, TechCrunch cubrió a Tensormesh, una startup enfocada en la optimización de caché. Mientras tanto, a nivel de hardware, los centros de datos están optimizando cómo utilizan diferentes tipos de memoria, como determinar cuándo usar chips DRAM en lugar de HBM (memoria de alto ancho de banda). Más arriba en la pila, los usuarios también están estructurando sus enjambres de modelos para aprovechar la caché compartida. En última instancia, las empresas que gestionen con éxito estos niveles de memoria podrán ejecutar aplicaciones que anteriormente no parecían rentables.

Por qué importa

A medida que los costos de la infraestructura de IA pasan del cómputo puro a la gestión de memoria, las empresas que optimicen cómo manejan los datos en la caché obtendrán una ventaja competitiva significativa al reducir el consumo de tokens y mejorar la rentabilidad.