Gracias a la popularidad de ChatGPT, las empresas de todo el mundo están incorporando inteligencia artificial generativa en sus productos. Sin embargo, Vikram Chatterji cree que hay un gran obstáculo que impide a las compañías adoptar completamente la IA y desplegar herramientas a gran escala: las empresas no saben realmente cuán efectivas serán esas herramientas una vez lanzadas. "Si no resolvés esto, te quedás atrapado en una fase de casi-producción", comentó Chatterji, CEO de Galileo, una startup enfocada en la evaluación de modelos de IA.

Chatterji quiere que su empresa sea la que solucione este problema. Galileo trabaja con clientes como Hewlett Packard, Comcast y Twilio para probar sus herramientas de IA, asegurándose de que no presenten "alucinaciones", término usado en IA para referirse a respuestas inventadas, o que no divulguen datos privados. El martes, la compañía informó a Forbes que recaudó una ronda de financiamiento Serie B por US$ 45 millones, lo que elevó su inversión total a US$ 68 millones desde su fundación hace tres años.

La startup ofrece cuatro productos: Fine Tune, que ayuda a los clientes corporativos a entrenar modelos existentes para adaptarlos a sus necesidades, incorporando datos propios; Evaluate, que permite a las empresas decidir rápidamente si un modelo está listo para lanzarse o si aún tiene problemas por resolver; Observe, para el mantenimiento y pruebas en tiempo real una vez que el modelo está operativo; y Protect, que mitiga amenazas como la inyección de prompts, en la que los usuarios intentan manipular el modelo para que actúe de manera incorrecta o revele información sensible. En julio, la compañía lanzó Luna, su propio modelo de lenguaje para evaluar el rendimiento de otros modelos, incluyendo la completitud de las respuestas, privacidad de datos y detección de sesgos.

Este anuncio llega en un momento en el que las empresas de todo el mundo compiten por mejorar sus ofertas de IA. Sin embargo, esto trae consigo los riesgos de que los modelos cometan errores absurdos, como cuando Gemini de Google sugirió a los usuarios hacer una pizza con pegamento o que se filtren datos sensibles, como ocurrió el año pasado cuando el código fuente interno de Samsung se compartió en ChatGPT, lo que llevó a la compañía a prohibir el uso del chatbot entre sus empleados.

Galileo no es la única startup de evaluación de IA en el mercado. La semana pasada, su rival Braintrust, que cuenta con clientes como Stripe y Notion, anunció que recaudó US$ 36 millones en una ronda Serie A liderada por Andreessen Horowitz.

"A largo plazo, se esperará que, por ejemplo, Siri no diga cosas negativas sobre Apple".

Andy Vitus, Scale Venture Partners

Chatterji y su cofundador Yash Sheth son excolegas de Google que ingresaron a la compañía con una semana de diferencia en 2013. Chatterji era gerente de productos de IA y más recientemente trabajó en el modelo de IA BERT, que se utiliza para entender las intenciones del usuario al realizar búsquedas en su motor. Sheth, ahora COO de Galileo, era ingeniero especializado en herramientas de reconocimiento de voz de Google. Atindriyo Sanyal, CTO de Galileo y otro cofundador, anteriormente ocupó cargos senior en ingeniería de IA en Uber y Apple.

La ronda de financiamiento de la empresa la lideró Scale Venture Partners, con la participación de Premji Invest, una firma de capital de riesgo india. Otros inversores incluyen los brazos de inversión de Citibank y la empresa de almacenamiento de datos Databricks, así como Clem Delangue, fundador de la startup de IA Hugging Face.

Andy Vitus, socio de Scale Venture Partners, señaló que las herramientas de evaluación son cruciales para las corporaciones porque cree que los modelos de IA pronto serán vistos como embajadores de marca, especialmente a medida que las empresas comiencen a desplegar agentes de IA que realicen tareas para los clientes, como reservar viajes o hacer pedidos. Las empresas también necesitan proteger sus modelos de IA para evitar que digan cosas negativas sobre sus marcas o mencionen escándalos pasados.

"A largo plazo, se esperará que, por ejemplo, Siri no diga cosas negativas sobre Apple", comentó Vitus, quien ocupará un puesto en la junta directiva de Galileo como parte de la inversión. "De la misma manera que los empleados tienen gerentes, estos agentes necesitan supervisión", agregó.

Jim Nottingham, vicepresidente senior de soluciones avanzadas de computación en HP, dijo que la compañía utiliza los servicios de Galileo internamente para sus propias herramientas de IA, pero también los ofrece a sus clientes que usan el AI Studio, una suite de herramientas por suscripción que ayuda a los desarrolladores a crear productos de IA.

La ronda de financiamiento de US$ 45 millones de Galileo es modesta en comparación con las impresionantes cifras que otras empresas de IA anunciaron recientemente. A principios de este mes, OpenAI informó que recaudó US$ 6,6 mil millones, la ronda de capital de riesgo más grande de la historia. xAI de Elon Musk le sigue de cerca con US$ 6 mil millones recaudados a principios de este año. Incluso empresas menos conocidas, como Groq, una startup de chips de próxima generación, recaudó US$ 640 millones este verano.

Sin embargo, Galileo no entrena modelos masivos que requieran ejércitos de GPUs (la empresa no entrenó ni ajustó Luna desde cero) ni está desarrollando nuevos diseños de chips con costos de fabricación elevados. Como resultado, Chatterji afirmó que la empresa no necesita tanto capital para operar. "Debés tomar solo el dinero que realmente necesitás", dijo. "Y construir un negocio que sea sostenible a largo plazo", cerró.

*Con información de Forbes US.