NetApp anuncia Novus para acelerar el almacenamiento de las factorías de IA
NetApp ha presentado Novus, una arquitectura de almacenamiento diseñada para infraestructuras de inteligencia artificial a gran escala. La solución busca mantener una elevada utilización de las GPU mediante un sistema de archivos capaz de escalar hasta zettabytes y superar los 100 TB/s de rendimiento.
El crecimiento de las infraestructuras de IA está elevando las exigencias sobre los sistemas de almacenamiento, especialmente en los proveedores de neocloud y de GPU como servicio. En estos entornos, las arquitecturas tradicionales pueden convertirse en un cuello de botella cuando no son capaces de suministrar datos a las GPU al ritmo necesario, reduciendo su utilización y elevando los costes de infraestructura.
NetApp Novus nace para abordar este desafío con una arquitectura diseñada específicamente para las denominadas factorías de IA. La propuesta separa los metadatos de la ruta de datos, de modo que el rendimiento, la capacidad y la concurrencia puedan escalar de forma independiente bajo un único espacio de nombres y mediante NFS.
Las primeras versiones de Novus combinan Novus Data Director, el software de gestión de metadatos que se ejecuta sobre infraestructura Supermicro certificada, con los servicios de datos de NetApp ONTAP proporcionados mediante sistemas AFF A90. Esta arquitectura desagregada está diseñada para superar los 100 TB por segundo de rendimiento y proporcionar una elevada utilización de cientos de miles de GPU.
Almacenamiento diseñado para escalar con la IA
La arquitectura pretende eliminar la fragmentación asociada al crecimiento de los grandes entornos de IA. Novus permite que miles de millones de archivos y conjuntos de datos de gran tamaño convivan bajo un único espacio de nombres, mientras los metadatos, el ancho de banda y la capacidad pueden ampliarse de manera independiente.
Este planteamiento permite a los operadores ajustar los recursos de almacenamiento a las necesidades de cada carga de trabajo, con el objetivo de reducir el consumo energético, el espacio y los costes generales de infraestructura. Al mismo tiempo, mantiene las capacidades de resiliencia, seguridad y multiusuario de los servicios de datos ONTAP.
“Las factorías de IA se ven en apuros y la rentabilidad de las GPU se derrumba cuando los datos no pueden seguir el ritmo”, afirma Syam Nair, director de producto de NetApp. “El almacenamiento de la era del HPC por sí solo no puede dar servicio a la escala de las factorías de IA: el sector necesita una arquitectura auténtica diseñada desde cero para este fin”.
Nair añade que Novus ofrece “100 TB/s de rendimiento de escalabilidad horizontal ilimitada”, con el objetivo de proporcionar una arquitectura de almacenamiento de alto rendimiento capaz de acompañar el crecimiento de las infraestructuras de IA.
La solución ya está disponible para su pedido y está concebida para evolucionar hacia implementaciones definidas por software, manteniendo el mismo espacio de nombres, modelo operativo y base de datos.
Escalabilidad y rendimiento para cargas de trabajo intensivas en datos
El potencial de escalabilidad de Novus ha sido también destacado por analistas externos. Mike Leone, vicepresidente y analista principal de Moor Insights & Strategy, señala que los proveedores de infraestructura de IA necesitan mantener los recursos de computación plenamente utilizados a medida que amplían sus entornos de GPU.
“Las arquitecturas de almacenamiento que no pueden suministrar datos a escala de la nube pueden convertirse en un factor limitante para el rendimiento del entrenamiento, el aislamiento de los inquilinos y el retorno de la inversión en infraestructura”, explica Leone. A su juicio, Novus aborda esta limitación mediante la combinación de una gestión desagregada de metadatos y servicios de datos de alto rendimiento.
Por su parte, Tony Palmer, analista jefe de Omdia, destaca las pruebas realizadas sobre la tecnología. “Las pruebas realizadas por Omdia a NetApp Novus demuestran un escalado de rendimiento casi lineal a medida que se añadían clústeres ONTAP a un único espacio de nombres global”, afirma.
Según las previsiones de Omdia citadas por NetApp, la arquitectura podría escalar hasta alcanzar un rendimiento de lectura secuencial de 100 TBps con docenas de exabytes de capacidad efectiva y evolucionar hacia implementaciones a escala zetta.
La propuesta también cuenta con el respaldo de Cisco en el marco de su colaboración con NetApp. Jeremy Foster, vicepresidente senior y director general de Cisco Compute, subraya que “a medida que la IA lleva la infraestructura a nuevos niveles de escala y velocidad, la verdadera diferenciación no es la GPU, sino los datos y cómo los utilizan los clientes”.
