Forbes Uruguay

DAILY COVERInnovación

El IA Safety Institute da su primer golpe: cómo es el acuerdo entre OpenAI y Anthropic para regular la Inteligencia Artificial

En Washington crearon un instituto dedicado a regular la IA. Forbes pudo conocer de primera mano las estrategias que está llevando a cabo su directora Elizabeth Kelly quien ya logró un gran acuerdo entre dos referentes de la industria.

El mundo no pudo anticipar varias de las innovaciones de las últimas dos décadas. No hubo un Julio Verne para eBay, Amazon y aún menos si se trata de Mercado Libre. Pero el caso de la Inteligencia Artificial es bien diferente. HAL y Skynet ya plantearon escenarios que alertaron sobre los peligros de los hombres de metal.  

La IA Generativa no fue algo inventado por el hombre. Los investigadores trabajaban para producir traducciones cada vez mejores y el modelo se basaba en predecir cuál era el caracter de texto siguiente en un texto. A Ilya Sutskever se le ocurrió que todo mejoraría si simplemente se agregaban nodos a la red neuronal. Cuando lo hizo sucedió la magia: el sistema empezó a tener un entendimiento semántico mucho mas allá de lo que sus diseñadores previeron.

En un análogo a lo que sucede en la naturaleza, donde a medida que el cerebro es mas grande y complejo aparecen niveles de conciencia mas sofisticados, como los que van de un gato a un mono y luego al hombre, la red neuronal artificial mostró la emergencia sino de una conciencia al menos de un comportamiento mucho más sofisticado del previsible

"Al tratar de resolver el problema de predecir los caracteres de texto el sistema tuvo que comprender temas mas profundos de los que imaginábamos, y ahí nació esta era de la Inteligencia Artificial Generativa", señala Geoffrey Hinton, conocido como el padre de la IA y quien dirigió la tesis de Sutskever en Oxford. 

A la IA Generativa o GenAI como también se la suele llamar no se la inventó sino que mas bien se la descubrió porque lo que se trataba de inventar era otra cosa. Una vez surgida los peligros se sintieron de inmediato. Pero OpenAI no podía renunciar a su producto: ChatGPT. Dado que los inicios de esta tecnología se basaron en código abierto pronto otras compañías y el resto de la comunidad empezaron a crear sus propios LLMs, o grandes modelos de lenguajes. 

Elizabeth Kelly
Elizabeth Kelly, directora del AI Safety Institute

La carrera por crear redes neuronales entrenadas con cada vez más parametros se aceleró y Nvidia fue uno de los grandes ganadores al proveer chips específicos para los centros de datos. También lo es AMD que es el otro proveedor en carrera lo cual le permitió alejarse de Intel.

En Hugginface, el sitio que utilizan los desarrolladores para mostrar sus avances se suben cerca de 40 proyectos al día. El movimiento es enorme, pero los modelos fundacionales referentes son pocos. OpenAI, Anthropic, Google y Meta son los que tienen los modelos más grandes lo cual les permiten mayor fluidez y comprensión de contextos. A ellos se suman IBM, AWS, Oracle y Salesforce que están focalizadas en los ambientes corporativos. Hasta ahora se le sigue prestando atención a cómo se logra un mayor entendimiento de contextos siguiendo la intuición de Sutskerver. 

En Washingon Forbes pudo conocer a Elizabeth Kelly durante el AWS Public Sector Summit. Se trata de la directora del Safety IA Institute que es parte del NIST (el Instituto Nacional de Estándares y Tecnología). Es la persona que tiene la posición mas alta en el mundo para trabajar en la regulación de la IA. 

Mediante la creación del IA Safety Institute la administración de Biden busca exigirle a los desarrolladores de IA que presenten modelos para evaluaciones antes de su publicación. Sin embargo, aún no pueden castigar a las empresas por no hacerlo ni retirar modelos de forma retroactiva si no superan las pruebas de seguridad. El NIST señala que proporcionar modelos para la evaluación de seguridad sigue siendo voluntario, pero "ayudará a promover el desarrollo y uso seguro, confiable y protegido de la IA".

El trabajo por regular la IA se está descubriendo a medida que se lo realiza. "Queremos testear los modelos pero lo cierto es que primero hay que crear los test. Y ese fue uno de los primeros trabajos que encaramos junto al sector privado. En especial comenzamos con Anthropic porque estaban muy preocupados por mostrar que su modelo Claude era certero en sus afirmaciones", dice Kelly.

Uno de los problemas de la GenAI es que produce alucinaciones. Esto es que da respuestas verídicas, o sea creíbles sobre todo sino se es experto, pero que son falsas. El modelo Claude fue diseñado para evitar en todo lo posible este tema, y vieron en el AI Safety Institute una manera de visualizarlo frente a sus rivales. 

Si bien aún no hay un consenso definido la última semana surgió un hecho fundamental: 
OpenAI y Anthropic firmaron un acuerdo con el Instituto de Seguridad de IA del Instituto Nacional de Estándares y Tecnología (NIST) para colaborar en la investigación, prueba y evaluación de la seguridad de los modelos de IA. 

El acuerdo proporcionará al AI Safety Institute nuevos modelos de IA que las dos empresas planean publicar.  "Con estos acuerdos en marcha, esperamos comenzar nuestras colaboraciones técnicas con Anthropic y OpenAI para avanzar en la ciencia de la seguridad de la IA. Estos acuerdos son solo el comienzo, pero son un hito importante a medida que trabajamos para ayudar a gestionar de manera responsable el futuro de la IA", comenta Kelly

Celina Sanmartino IBM
Celina Rodríguez Sanmartino, Goverment and Regulatory Senior Manager de IBM

El AI Safety Institute también brindará retroalimentación a OpenAI y Anthropic sobre "posibles mejoras de seguridad en sus modelos, en estrecha colaboración con sus socios en el AI Safety Institute del Reino Unido", agrega Kelly. 

Tanto OpenAI como Anthropic dijeron que la firma del acuerdo con el AI Safety Institute cambiará la definición de cómo Estados Unidos desarrolla reglas de IA responsables. 

"Apoyamos firmemente la misión del Instituto de Seguridad de la IA de Estados Unidos y esperamos trabajar juntos para informar sobre las mejores prácticas y estándares de seguridad para los modelos de IA. Creemos que el instituto tiene un papel fundamental que desempeñar en la definición del liderazgo de Estados Unidos en el desarrollo responsable de la IA y esperamos que nuestro trabajo conjunto ofrezca un marco sobre el cual el resto del mundo pueda construir", dice Jason Kwon, director de estrategia de OpenAI..

Los directivos de OpenAI ya habían expresado su apoyo a algún tipo de normativa en torno a los sistemas de IA. Y su empresa sufrió el éxodo de varios empleados clave debido a sus preocupaciones por no poner a la seguridad como prioridad frente a la presión de la competencia por generar modelos cada vez más rápido. Sam Altman, CEO de OpenAI, dijo a principios de este mes que su empresa se comprometió a proporcionar sus modelos a las agencias gubernamentales para que realicen pruebas y evalúen su seguridad antes de su lanzamiento. 

Anthropic, que contrató a parte del equipo disconforme con OpenAI, comento en el AWS Public Sector Summit que envió su modelo Claude 3.5 Sonnet al Instituto de Seguridad de IA del Reino Unido antes de lanzarlo al público. 

"Nuestra colaboración con el Instituto de Seguridad de la IA de EE. UU. aprovecha nuestra reconocida experiencia para probar rigurosamente los modelos antes de su implementación generalizada", comenta el cofundador y director de políticas de Anthropic, Jack Clark. "Esto fortalece nuestra capacidad para identificar y mitigar riesgos, lo que promueve el desarrollo responsable de la IA. Estamos orgullosos de contribuir a este trabajo vital, estableciendo nuevos puntos de referencia para una IA segura y confiable".

El Instituto de Seguridad de la IA de EE. UU. es parte del NIST (el instituto que se encarga de fijar estándares en diversos temas) y se creó a través de la orden ejecutiva de la administración Biden sobre IA. La orden ejecutiva no es una ley y puede ser revocada por quien se convierta en el próximo presidente de EE. UU. 

A través de la Administración Nacional de Telecomunicaciones e Información, el gobierno comenzará a estudiar el impacto de los modelos de ponderación abierta, o modelos en los que la ponderación se da a conocer al público, en el ecosistema actual. Pero incluso entonces, la agencia admite que no puede monitorear activamente todos los modelos abiertos. 

Parte del problema es que el proceso para que una IA esté disponible atraviesa varias etapas. Así como los humanos transitamos vamos aprendiendo a partir de casos que luego aplicamos en el mundo real, la IA atraviesa dos etapas que se asemejan al aprendizaje humano: un primer momento de entrenamiento, donde se le enseña a realizar tareas específicas, seguido por un ciclo de inferencia o ejecución, donde la IA aplica lo que ha aprendido.

Durante el entrenamiento, la IA analiza grandes cantidades de datos y parámetros en busca de patrones para poder realizar predicciones y tomar decisiones en el futuro. Tal como ocurre con los seres humanos entre libros y clases, la IA es sometida a muchos ejemplos para que pueda aprender a través de ellos.

La segunda etapa es en la cual los usuarios pueden participar directamente. Una vez que la IA fue entrenada, entra en la fase de inferencia, donde utiliza los patrones y conocimientos que adquiridos para ofrecernos respuestas que se asemejen a las que tendría un humano. Así, la IA puede resolver problemas a veces de manera efectiva y otras alucinando. Un test debiera lograr identificar su nivel de alucinación. 

"Si bien los usuarios somos testigos de una parte ínfima de todo este proceso, es interesante comprender que la IA también necesita transitar una etapa de educación para que luego, al momento de recibir una solicitud humana, pueda generar una respuesta que se deduce a partir de un estímulo de entrada", revela Hiram Monroy, Gerente de Comercial para AMD Hispanoamérica.

En América Latina, "hay que prestar atención a cómo se pueden crear regulaciones que tengan en cuenta el dinamismo de estas tecnologías. No es lo mismo lo que pasaba hace unos meses que ahora. Uno de los ejes tiene que ver con entender los casos de uso. Buscamos ir por un sendero donde sea explicable cómo construye la IA sus respuestas. Y a esto se le agregan los diferentes niveles de riesgos. No es lo mismo quizá un chatbot que da información sobre cómo armar una mesa que otro que está dando información médica", sostiene Celina Rodríguez Sanmartino, Goverment and Regulatory Senior Manager de IBM.

La pregunta sobre Skynet sigue abierta. Fue anticipada, estudiada e imaginada. Claro que también se puede decir lo mismo de las armas que de todos modos lograron beneficiarse con su "ley del rifle". Sin dudas la IA puede beneficiar al mundo pero a muchos les preocupa que la humanidad aún no esta lista para contener semejante arsenal digital. Podrá ser Hal o Wally, lo cierto es que comenzamos a no estar solos. Y queremos que los nuevos niños no falten a la escuela.  
 

10