ZML lanza herramienta gratuita para ejecutar modelos de IA en cualquier chip

ZML lanzó ZML/LLMD, un nuevo servidor de inferencia que permite que los modelos de lenguaje grandes (LLM) de código abierto se ejecuten en chips de Nvidia, AMD, Google TPU (Tensor Processing Unit), Apple Metal e Intel Arc. El fundador Steeve Morin dijo que la ambición de la empresa emergente parisina con LLMD es romper los silos existentes y hacer que distintos chips estén disponibles para casos de uso de IA a su máxima velocidad disponible, y a veces incluso más rápido.

Morin dijo que optimizar la inferencia —el procesamiento de prompts, en contraposición al entrenamiento de modelos— ha ido superando en importancia al entrenamiento, pero el proceso a menudo se siente fragmentado detrás de escena porque las barreras de software y arquitectura provocan dependencia de un solo proveedor. ZML espera darles a las empresas y a los proveedores de nube la opción de combinar chips, algunos de los cuales podrían ser menos costosos o consumir menos energía. “La idea es devolverle a la gente el poder de crear su propio sistema y lograr ganancias reales de eficiencia que permitan que [la IA] se difunda”, dijo Morin. Ese esfuerzo llega en medio de lo que se ha llamado la fiebre del oro de la inferencia, un período de inversión intensa en este espacio.

El equipo reducido de ZML, de 20 personas, es, según Morin, la razón por la que la empresa emergente ha podido moverse rápido, con más lanzamientos en planes. La compañía recaudó USD 20 millones de firmas de capital de riesgo, entre ellas 20VC (dirigida por Harry Stebbings), >commit, AALVC, Drysdale Ventures, Kima Ventures (dirigida por Xavier Niel), Kindred Capital, LocalGlobe y Puzzle Ventures, una ronda de financiamiento facilitada por la trayectoria de Morin como vicepresidente de ingeniería en Zenly, empresa que Snapchat adquirió por una cifra de nueve dígitos en 2017. Morin describió el enfoque de ZML como haber llegado al punto de codiseñar silicio. ZML enfrenta competencia de Baseten, valorada recientemente en USD 13 000 millones, Inferact, fundada por los creadores del proyecto de código abierto vLLM, y RadixArk, la empresa comercial detrás de SGLang; tanto vLLM como SGLang compiten parcialmente con LLMD. A diferencia del primer proyecto público de ZML —un framework de aprendizaje automático enfocado en inferencia, lanzado en 2024 y actualizado en marzo—, LLMD no es de código abierto; se lanza como un producto gratuito con el objetivo de aprender sobre su uso.

Morin dijo que una asistencia de software de ZML podría ayudar a nuevos fabricantes de chips de IA, muchos de los cuales resultan ser europeos, y mencionó a Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud y VSORA. Todavía es muy pronto para saber cuándo LLMD podría convertirse en un producto de pago, o cómo será su adopción. La tabla de capitalización de ZML muestra que otros fundadores están prestando atención, entre ellos Solomon Hykes, de Dagger y Docker; Clément Delangue y Julien Chaumond, de Hugging Face; y LeCun, ahora en AMI Labs.

Por qué importa

Lograr un rendimiento de inferencia máximo en distintas marcas de chips es una hazaña técnica que podría alterar el mercado en medio de crecientes temores por los costos asociados a la IA, y podría ayudar en particular a que nuevos fabricantes de chips de IA, muchos de ellos europeos, ganen terreno.