Vicepresidente de Google Cloud sobre las tres fronteras de la capacidad de los modelos de IA

Michael Gerstenhaber, vicepresidente de producto en Google Cloud que supervisa Vertex AI —la plataforma unificada de Google para implementar IA empresarial—, sostiene que los modelos de IA están presionando tres fronteras distintas. Según Gerstenhaber, estos límites son la inteligencia bruta, el tiempo de respuesta y el costo. Si bien la inteligencia bruta es fundamental para tareas complejas como escribir código, otras aplicaciones empresariales requieren equilibrar la capacidad frente a los presupuestos de latencia. La latencia, que se refiere al tiempo de respuesta de un modelo de IA, es una restricción en escenarios de cara al cliente. Por ejemplo, Gerstenhaber señala que, en atención al cliente, un usuario colgará si una respuesta tarda 45 minutos, lo que hace que un modelo ajustado para la inteligencia bruta sea menos útil si no puede entregarla dentro del plazo requerido. «Veo tres límites. Modelos como Gemini Pro están ajustados para la inteligencia bruta», dijo Gerstenhaber. Por el contrario, la frontera del costo es importante para plataformas como Reddit o Meta, que son usuarios potenciales de modelos de IA escalables que podrían necesitar moderar internet. Estas plataformas deben restringir sus presupuestos a modelos con la mayor inteligencia que puedan pagar, pero de una manera escalable.

Gerstenhaber, quien tiene alrededor de dos años de experiencia en IA —incluyendo un año y medio en Anthropic y casi medio año en Google—, presenta la integración vertical de Google como una fortaleza estratégica. Afirma que cree que Google está integrado verticalmente de forma única en el mundo, controlando todo, desde la infraestructura y los chips hasta el modelo, la capa de inferencia y la capa de IA agente. La inferencia se refiere al proceso de ejecutar un modelo de IA entrenado. Esta integración vertical, que se extiende a interfaces de chat para consumidores como Gemini enterprise y Gemini chat, permite a la empresa gestionar las compensaciones entre inteligencia, latencia y costo para clientes como Shopify y Thomson Reuters.

A pesar del interés en la IA agente —que se refiere a sistemas de IA capaces de realizar acciones autónomas—, estos sistemas están tardando en popularizarse. Gerstenhaber afirma que esta lenta adopción se debe a la falta de infraestructura, particularmente a la ausencia de patrones establecidos para auditar lo que hacen los agentes y autorizar su acceso a los datos. Debido a que la tecnología tiene básicamente dos años, las implementaciones en producción todavía se están poniendo al día con lo que los modelos pueden hacer. Para implementar estos sistemas, las empresas deben establecer procesos de intervención humana. Por ejemplo, Google gestiona el riesgo en su propio desarrollo de software exigiendo que dos personas auditen y aprueben el código antes de que se ponga en producción.

Por qué importa

El marco de trabajo de Gerstenhaber ofrece una perspectiva práctica para que los líderes empresariales evalúen los modelos de IA más allá de la capacidad bruta, centrándose en las compensaciones necesarias para la implementación en el mundo real.