– Los investigadores de Adobe presentaron VideoGigaGAN, un modelo de IA generativa que puede convertir videos borrosos en videos nítidos y fluidos hasta 8 veces más nítidos.
– VideoGigaGAN combina GigaGAN con capas de atención y convolución temporal para producir videos temporalmente consistentes con detalles de alta frecuencia.
– El modelo separa elementos de baja y alta frecuencia en cada cuadro para eliminar el ruido y el parpadeo, lo que permite obtener resultados impresionantes al mejorar la resolución de video.
Los investigadores de Adobe han desarrollado VideoGigaGAN, un modelo de inteligencia artificial que puede mejorar videos borrosos a una calidad mucho más nítida, hasta 8x. Si bien el escalado de imágenes ha tenido éxito en el pasado, mejorar el escalado de video plantea un desafío mayor debido a las complejidades que implica mantener transiciones suaves y detalles de alta frecuencia. Las técnicas actuales de superresolución de vídeo (VSR) a menudo tienen dificultades para equilibrar estos aspectos, lo que da como resultado vídeos borrosos o con fallas. VideoGigaGAN de Adobe tiene como objetivo superar este problema produciendo vídeos que sean a la vez coherentes y detallados temporalmente.
El método se basa en GigaGAN, una poderosa red generativa adversaria conocida por su superresolución de imágenes. Inicialmente, aplicar GigaGAN a cada cuadro de un video parecía prometedor, pero resultó en parpadeos e inconsistencias temporales. Para abordar estos problemas, los investigadores de Adobe incorporaron capas temporales convolucionales y de atención en la red, además de separar elementos de baja y alta frecuencia dentro de cada cuadro. Al suavizar los detalles de alta frecuencia que causan ruido y parpadeo en las funciones de baja frecuencia y preservar los detalles más finos a través de conexiones saltadas, VideoGigaGAN mejora efectivamente la calidad del video mientras mantiene la coherencia entre fotogramas.
Las demostraciones de GitHub de Adobe muestran las impresionantes capacidades de VideoGigaGAN, al que aún no se le ha dado una fecha de lanzamiento. Las aplicaciones potenciales de esta tecnología son amplias y van desde imágenes de archivo históricas hasta películas y programas de televisión clásicos. Con un mayor desarrollo y perfeccionamiento, VideoGigaGAN tiene el potencial de revolucionar la forma en que mejoramos la calidad del video y preservamos el contenido visual.
