– Abordar los cuellos de botella en el rendimiento de la carga de datos en los flujos de trabajo de capacitación de ML
– Utilizando la función Compose Objects de Cloud Storage para combinar objetos más pequeños en otros más grandes para una recuperación de datos más rápida
– Emplear listados paralelos de alto rendimiento para acelerar la recuperación de metadatos para conjuntos de datos
Dataflux ha logrado importantes mejoras de rendimiento al abordar los cuellos de botella de carga de datos en los flujos de trabajo de capacitación de ML. Los datos se cargan en lotes desde el almacenamiento durante las ejecuciones de entrenamiento, y si la lectura y el procesamiento de datos tardan más que el cálculo de la GPU, la GPU queda infrautilizada, lo que lleva a tiempos de entrenamiento más prolongados. Al utilizar funciones de Cloud Storage como Compose Objects, Dataflux puede combinar dinámicamente objetos más pequeños en objetos más grandes, reduciendo la cantidad de objetos que deben recuperarse y mejorando las velocidades de carga de datos.
Dataflux también emplea listados paralelos de alto rendimiento para acelerar los metadatos iniciales necesarios para los conjuntos de datos, utilizando un algoritmo de robo de trabajo para optimizar listados incluso en conjuntos de datos con millones de objetos. Estas optimizaciones ayudan a garantizar paradas mínimas de GPU durante el entrenamiento de ML con Dataflux, lo que lleva a tiempos de entrenamiento reducidos y una mayor utilización del acelerador. El listado rápido y la composición dinámica se implementan en las bibliotecas cliente de Dataflux disponibles en GitHub.
Dataflux Dataset para PyTorch y la biblioteca cliente Dataflux Python están disponibles para que los usuarios los prueben y vean cómo pueden mejorar sus flujos de trabajo. Estas herramientas son parte del esfuerzo de Dataflux para proporcionar capacidades de almacenamiento relacionadas con la IA y mejorar la eficiencia de la capacitación en ML. Los usuarios pueden obtener más información sobre Dataflux y sus ofertas en la sesión grabada de Google Cloud Next ’24 “Cómo definir una infraestructura de almacenamiento para IA y cargas de trabajo analíticas”.
