Entrenar una inteligencia artificial generativa no es sencillo. Se necesitaron varios años de experiencia para entender cómo los algoritmos debían estructurar los datos del lenguaje para que de ellos saliera algo potable. El primer avance crucial sucedió en 2017 cuando en OpenAI vieron cómo su modelo de lenguaje pudo predecir si un review de Amazon iba a ser bueno o malo. "Fue un antes y un después. Vimos que desde la sintáctica podíamos deducir la semántica", revela Greg Brockman, co-Founder de OpenAI. 
 
Tener los algoritmos correctos es sólo una parte del problema, después hay que entrenar al modelo y para eso se requieren centros de cómputo específicos, aunque con el surgimiento del modelo chino DeepSeek los costos que eran de cientos de millones de dólares fueron bajando. Una vez que se tiene el modelo entrenado, se pueden desarrollar APIs (son interfases que se comunican con otros programas) para que terceras partes hagan uso de ese modelo de múltiples formas. 

Hasta ahí parecía todo muy lindo y se crearon muchas startups haciendo usos innovadores del núcleo de Chat GPT.  Uno de los problemas de estos sistemas es que no es posible revisar en todo detalle cómo obtuvieron sus resultados.  Las respuestas ofrecidas se basan en la formación de patrones que las redes neuronales adquirieron durante su entrenamiento.

La inteligencia artificial generativa se aleja de la ciencia en el sentido del entendimiento y las causas ya que no le preocupa el porqué sino el resultado práctico. El sistema fue entrenado para predecir, a partir de un texto dado, cuáles son los caracteres más probables que aparezcan. Y logró de esa forma escribir muy bien emulando el lenguaje natural. Ilya Sutskever, quizá la máxima figura de la IA Generativa, sostiene que al aumentar el tamaño de las redes neuronales sucedió un comportamiento emergente: un conocimiento de la semántica del lenguaje.

Por ejemplo, la IA Generativa encuentra reglas matemáticas sin que nadie se las enseñe. "Si se le pide escribir un número de 40 dígitos lo hará perfectamente. Eso para nosotros fue alucinante. O sea si iteraba sumando de a uno el tiempo era infinito, de alguna forma entendió la semántica y puede escribir un número con esa cantidad de dígitos. Pero si se le pedimos que sume ese número a otro de 35 dígitos falla. O sea no se dio cuenta cómo encolumnar los números para realizar la suma, a veces sí lo hace bien otras no", aclaraba un sorprendido Sam Altman, CEO de OpenAI, cuando se hicieron estas pruebas. 

El problema es que dará una razonable explicación del resultado, además contestará un número bien grande, no es que dará algo muy diferente a lo esperado. Los resultados pueden ser falsos pero parecen verídicos. Y eso hace que se confíe en su respuesta. Es así cómo se generan fake news aún sin quererlo, el usuario mismo viralizará esa respuesta sobre todo si coincide con sus sesgos.  A este tipo de respuestas se le llama alucinación en los terrenos de la IA. 

Hay una discusión dentro de los especialistas de la IA sobre si esto es bueno o malo. Las nuevas voces dicen que se trata de una caracterísitica de los modelos, lo enfatizan en un tono positivo. Porque hay una similitud con los humanos que también dan la mejor información que tienen respecto de lo que conocen. Nosotros todo el tiempo alucinamos sin percartarnos, sobre todo cuando contestamos rápido. Entrar a revisar todo lo que decimos para ver si uno esta alucinando o no es algo complejo. Lo mismo le pasa a la IA.

Precisamente para reducir las alucinaciones se creó CoT o Chain of Thoughts una idea que se descubrió por casualidad. Los investigadores observaron que cuando el prompt pedía que se busque la respuesta detallando paso a paso los procedimientos seguidos por el modelo de IA, el sistema alucinaba mucho menos. Esto dio origen al modelo o1 de Open AI y muchos otros fabricantes tomaron esta idea para incorporarla a sus IAs. De esta forma se limpiaron muchas alucinaciones hoy consideradas triviales. Notablemente cuando el sistema fue mas introspectivo, como también nos sucede a nosotros, las alucinaciones decrecen. 

En los entornos organizaciones donde la empresa puede ser responsable de los resultados que entregue su sistema esto agranda el problema. No es sólo quedar mal con los clientes, también hay temas legales a tener en cuenta. Es por eso que las organizaciones se enfrentan a dos tipos de decisión. 

Por un lado se encuentra el fine-tuning del LLM (el modelo con el que se construye la IA), esto implica aprovechar toda la semántica del modelo generalista, y sobre eso hacer un entrenamiento intenso con los datos corporativos. Sino se puede utilizar la técnica conocida como RAG por la cual se preserva el modelo original, pero se consultan datos específicos a una fuente exerna. La otra opción es decidirse por un SLM o Small Language Model, donde el modelo actúa sobre una porción menor del lenguaje lo que lo ayuda a no crear tantas relaciones y por lo tanto alucinar menos.

En ambos casos la clave son los testeos. Sin embargo no hay una regla universal, la tecnología es muy nueva, y aun falta mucho en crear testeos mas eficientes. Por eso las organizaciones deben entender muy bien los casos de uso que le ofrecerán a sus clientes para antes realizar una buena cantidad de testeos, ya que no suele alcanzar con uno solo, sino que lo mejor es tener los de varios proveedores. 

La alucinación por lo tanto es un tema intrínseco a la tecnología. No es que se va a ir, es algo que simplemente funciona así, da la mejor respuesta que tiene respecto a lo que conoce. Por supuesto también podría decir simplemente: "no lo se", sino tiene suficiente información a expensas de perder su capacidad creativa. 

Los niños también alucinan cuando están aprendiendo el lenguaje, descubren a partir de lo que saben puentes conceptuales que ya hemos perdido por todo ese entrenamiento que nos llevó a la adultez. Afortunadamente recordamos más las alucinaciones de los niños que son creativas y olvidamos las demás. Llegar a ese punto justo entre creatividad y alucinación es el desafío en el que están trabajando los creadores del nuevo hombre de metal. 

*Por Pablo Wahnon
@pablowahnon