Hoy, Meta anunció Hacer un vídeoun generador de video impulsado por IA que puede crear nuevo contenido de video a partir de indicaciones de texto o imágenes, como las herramientas de síntesis de imágenes existentes, como DALL-E y Difusión estable. También puede hacer variaciones de videos existentes, aunque aún no está disponible para uso público.
En la página de clasificados de Make-A-Video, Meta muestra videos de muestra creados a partir del texto, que incluyen “pareja joven caminando bajo una fuerte lluvia” y “peluche pintando un retrato”. También muestra la capacidad de Make-A-Video para tomar una imagen fuente estática y animarla. Por ejemplo, una imagen fija de una tortuga marina, cuando se procesa con un modelo de IA, puede parecer que está nadando.
La tecnología clave de Make-A-Video y por qué ha llegado antes de tiempo algunos expertos Se espera que se base en el trabajo existente sobre la síntesis de texto a imagen utilizada en generadores de imágenes como DALL-E de OpenAI. En julio, Meta anunció su propio modelo de IA de texto a imagen Armar un escándalo.
En lugar de entrenar el modelo Make-A-Video en datos de video no identificados (por ejemplo, subtítulos de actividades representadas), Meta tomó datos de síntesis de imágenes (imágenes fijas entrenadas con subtítulos) y aplicó datos de entrenamiento de video sin etiquetar para que el modelo aprenda una comprensión de dónde puede ocurrir el texto o el mensaje en el tiempo y el espacio. Luego puede predecir lo que vendrá después de la imagen y mostrar la escena en movimiento por un corto tiempo.
-
Video de un oso de peluche pintando un retrato, creado con el modelo Make-A-Video AI de Meta (convertido a GIF para mostrar aquí).
-
Un video creado con Make-A-Video sobre “una pareja joven caminando bajo la lluvia torrencial”.
-
Video de una tortuga marina, animado a partir de una foto fija con Make-A-Video.
“Usando transformaciones que conservan características, ampliamos las capas espaciales en el paso de inicialización del modelo para incluir información temporal”, escribió Meta. papel blanco. “La red espaciotemporal extendida contiene nuevos módulos de atención que aprenden la dinámica del mundo temporal a partir de una colección de videos”.
Meta no ha anunciado cómo o cuándo Make-A-Video podría estar disponible para el público o quién tendría acceso a él. Meta ofrece una formulario de inscripción las personas pueden completar si están interesadas en probarlo en el futuro.
Meta reconoce que la capacidad de crear videos fotorrealistas a pedido conlleva ciertos peligros sociales. En la parte inferior de la página de anuncios, Meta dice que todo el contenido de video generado por IA de Make-A-Video incluye una marca de agua “para ayudar a los espectadores a saber que el video es un video generado por IA y no capturado”.
Si historia cualquier orientación, competitivo Pueden seguir modelos de texto a video de código abierto (algunos, como CogVideoya existe), lo que podría hacer que la protección de marca de agua de Meta sea irrelevante.
Especialista web. Evangelista de viajes. Alborotador. Fanático de la música amigable con los hipster. Experto en comida
