AMD celebró su evento Advancing AI 2024 en San Francisco donde presentaron sus innovaciones en materia de chips mientras las necesidades de cómputo crecen con el avance de la Inteligencia Artificial. Al contrario de lo que parece la carrera no es sólo entre competidores como Intel, Nvidia o hasta empresas que están haciendo su IPO como Cerebras Systems. 

Hay un desafío tecnológico para seguirle el ritmo a una nueva generación de algoritmos. Hay más de un millón de modelos de IA cargados en la plataforma Hugging Face, la referencia que usan los programadores de Inteligencia Artificial. Si bien muchas ideas se repiten, lo cierto es que aparecen también novedades que requieren chips específicos. 

El problema actual es que muchas ideas son muy interesante en el papel pero llevadas al centro de datos se encuentran con limitaciones. O son demasiado caras para ser viables o requieren demasiado tiempo computacional para ser prácticas. El caso de las nuevas tecnologías basadas en CoT (Chain of Thought o cadena de pensamientos) está mostrando el último de esos escenarios.

La presentación de o1 el nuevo modelo de OpenAI mostró una IA que pensaba mejor pero ya no escupía la respuesta rápida (y con el riesgo de alucinaciones). Al pensar mas su respuesta o1 puede demorar varios minutos lo cual limita sus casos de uso. Y eso que aún es un algoritmo de CoT poco sofisticado según los especialistas. 

Lisa Su, CEO de AMD, y la ejecutiva de tecnología más admirada del mundo, pensó entonces en sumar a su evento a las mentes brillantes, los verdaderos rock stars: aquellos que no son managers sino que realmente están inventando el futuro. Así se lo pudo ver a Ashish Vaswani, quien creó la "T" de ChatGPT. Se trata del investigador referente en el mítico paper "Attention is all you need", algo así como si fuera el paper de la Teoría de la Relatividad pero en ingeniería de software, un avance técnico fundamental al crearse los Transformers (GPT significa Generative Pretrained Transformer). 

Además de Vaswani también estuvieron quienes están desarrollando avances técnicos fundamentales en inteligencia artificial como los creadores de frameworks fundacionales. Se pudo conocer a quienes están detrás de Triton, TensorFlow, vLLM, Paged Attention, y FastChat.

Dentro del terreno del silicio AMD presentó el procesador EPYC de 5ta Generación (con nombre en clave "Turín") y el acelerador de IA MI325X. En el ámbito de redes, la empresa presentó Pensando Salina y Pensando Pollara, dirigidos a las redes de front-end y back-end, respectivamente. A medida que el mercado de silicon se vuelve cada vez más competitivo, los lanzamientos provocan una gran expectativa tanto en Wall Street como en las organizacions.

Para quienes pensaron que el ciclo de hype de la IA alcanzó su punto máximo, piensen de nuevo. Esta tendencia es más fuerte que nunca, y con razón. A medida que el mercado avanza desde modelos pioneros y LLMs hacia la operacionalización en las empresas, prácticamente todas las organizaciones de TI se centran en cómo apoyar mejor estas cargas de trabajo. Es decir, ¿cómo toma la TI uno o más modelos, los integra y ajusta usando los datos de la organización, y usa los resultados en aplicaciones empresariales?

Además, las organizaciones que ya incorporaron IA en cierto grado ahora exploran el concepto de Agentic IA, donde aprenden unos de otros y se vuelven más inteligentes. Esta tendencia aún está en sus primeras etapas, pero se espera que crezca rápidamente. El punto es que la inteligencia artificial en el entorno empresarial ya está presente para muchas empresas y está a la vuelta de la esquina para muchas más. Con esto surge la necesidad de plataformas de cómputo diseñadas para los exigentes requisitos de rendimiento. Además de manejar cargas de trabajo tradicionales, los CPU deben gestionar el flujo de datos de IA, y los GPU realizan tareas de entrenamiento e inferencia. (Los CPU también se usan para la tarea de inferencia).

Dado esto, el líder del mercado de silicon para IA, Nvidia, diseñó su propio CPU (Grace) para integrarse estrechamente y alimentar sus GPU. Aunque las GPUs de la compañía, como Hopper y Blackwell, funcionan con cualquier CPU, su integración con Grace está diseñada para ofrecer el mejor rendimiento. De manera similar, Intel entró en este espacio con más agresividad, construyendo una integración estrecha entre sus CPUs Xeon, los aceleradores de IA Gaudi y los diseños futuros de GPUs.

Para AMD, la integración de CPU con GPU (y GPUs conectadas por DPUs) es su respuesta a los desafíos que enfrentan tanto los departamentos de IT de las empresas como los hiperescalares. Esta integración acelera la creación, limpieza, entrenamiento y despliegue de la IA en toda la empresa.

EPYC de 5ta Generación: escalable y eficiente

Para satisfacer todas las necesidades de los centros de datos, AMD diseñó dos núcleos EPYC Zen 5: el Zen 5 y el Zen 5c. El Zen 5, construido con un proceso de 4nm, es el CPU robusto diseñado para cargas de trabajo como bases de datos, análisis de datos e IA. El Zen 5c, por su parte, está orientado a la eficiencia. Este diseño de 3nm está destinado a cargas de trabajo en la nube y virtualizadas.

La compañía mantuvo una posición de liderazgo en rendimiento en centros de datos durante las últimas generaciones de EPYC. Hay más de 950 instancias en la nube basadas en este CPU, y la razón es simple. Gracias a la enorme ventaja que tiene en cuanto al número de núcleos y su rendimiento, los proveedores de servicios en la nube pueden alojar más máquinas virtuales de sus clientes en cada servidor, lo que en última instancia significa una mayor rentabilidad para esos servidores y procesadores.

En el entorno empresarial, aunque los servidores son una partida presupuestaria y no una fuente de ingresos, la matemática sigue siendo la misma: esos servidores con un alto número de núcleos pueden alojar más máquinas virtuales, lo que implica que se destine menos presupuesto de IT a infraestructura, permitiendo asignar más recursos a iniciativas como la IA.

Tener muchos núcleos no significa nada si no tienen buen rendimiento. En este sentido, AMD también cumplió con Turín. Las instrucciones por ciclo son una medida de cuántas instrucciones procesa un chip en cada ciclo de reloj. Esto nos indica qué tan eficiente y potente es un CPU. El hecho de que este nuevo modelo ofreció aumentos porcentuales de dos dígitos en IPC, grandes aumentos en comparación con su predecesor.

¿Cómo se compara EPYC de 5ta Generación con Xeon 6?

Aunque el nuevo EPYC se lanzó unas semanas después del CPU Xeon 6P de Intel, aún no vimos comparaciones directas en términos de rendimiento. Sin embargo, podemos hacer algunas cosas para hacernos una idea de cómo se comparan EPYC y Xeon. La primera es observar las especificaciones lado a lado. Al comparar estos chips para cargas de trabajo de escalabilidad, los CPUs basados en 5c CCD tienen hasta 192 núcleos con 12 canales de memoria DDR5 (6.400 MT/s) y 128 carriles de PCIe Gen 5.

En comparación, el Xeon 6E de Intel escala hasta 144 núcleos con 12 canales de DDR5 y 96 carriles de PCIe Gen 5. Sin embargo, en el primer trimestre de 2025, Intel lanzará su segunda ola de Xeon 6E, que escalará hasta 288 núcleos.

En cuanto al rendimiento, EPYC y Xeon están muy cerca en especificaciones: 128 núcleos, 12 canales de memoria y mucha capacidad de I/O (128 carriles de PCIe para EPYC, 96 para Xeon). Algunas diferencias notables incluyen:

• EPYC ahora soporta AVX-512 de manera nativa, lo que mejora su rendimiento en aplicaciones de HPC.
• Xeon 6P soporta memoria multiplexada por rangos (MRDIMM) que puede aumentar el rendimiento de la memoria a 8.800 MT/s, aunque no se vio que AMD soporte esta tecnología.
• EPYC puede alcanzar velocidades de reloj de hasta 5 GHz, lo que supone una ventaja en ciertas cargas de trabajo de HPC e IA.
• Xeon 6P tiene aceleradores discretos integrados en su complejo de cómputo para acelerar tareas como IA y bases de datos.

Instinct MI325X y ROCm 6.2 cierran la brecha con Nvidia

Si bien se espera que el CPU realice gran parte del trabajo en el flujo de datos de IA, el GPU es donde se llevan a cabo las tareas de entrenamiento e inferencia. La arquitectura del GPU, con muchos núcleos pequeños que permiten el paralelismo, combinada con memoria de gran ancho de banda y la capacidad de realizar multiplicaciones de matrices a altas velocidades, ofrece eficiencia. Combinado con bibliotecas optimizadas y pilas de software, estas capacidades conforman una pila de IA y HPC que los desarrolladores y científicos de datos pueden utilizar con mayor facilidad.

Nvidia fue líder en el espacio de HPC e IA, pero AMD realizó avances importantes con su serie de GPUs Instinct MI300. El MI325X, basado en la arquitectura CDNA 3 y con 256 GB de memoria HBM3E, representa el siguiente paso para cerrar la brecha. Además, el lanzamiento de ROCm 6.2 promete mejoras significativas en rendimiento y soporte para más de un millón de modelos.

AMD también avanzó en la conectividad con la introducción del DPU Pensando Salina de tercera generación, diseñado para mejorar las funciones de IA y ML con una interconexión de red de alto rendimiento. Además, el NIC Pollara 400, optimizado para cargas de trabajo de IA, ofrece mejoras de rendimiento significativas respecto a las soluciones anteriores.

AMD creó una fábrica de IA integrada que compite con Nvidia, pero con una oferta que va más allá de este ambito. Con el EPYC de 5ta Generación y el MI325X, la compañía también demuestra su valor en el mercado de HPC y el entorno empresarial. El mercado del silicon es más competitivo que nunca, y esta tecnológica se posiciona como un jugador fuerte tanto en inteligencia artificial como en centros de datos. Esa fue una de las grandes hazañas de Lisa: AMD tenía solo el 2% de este mercado del cual ahora supera holgadamente el 30% lo cual provocó un salto inimaginable años atrás en el valor de mercado de la compañía.