«Slow motion» y «bullet time» con LUMA AI

Luma AI ahora permite animar fotos con slow motion y el efecto bullet time que vimos por primera vez en The Matrix.

Resumen de cómo se hizo el vídeo con LUMA AI

En resumen, así es como se hizo:

1. Utilizando un clip de vídeo con imágenes fijas
2. Prompt:
   • «wax sculpture fighter, 360 degrees camera shot«
   • «wax sculpture fighter, bullet time shot«
3. Luma AI Start/End Frame magic

Todos los pasos para la generación del vídeo

En primer lugar, se han buscado en Internet todas las fotos disponibles de la pelea, intentando encontrar aquellos momentos en los que se hubieran tomado fotos desde ángulos diferentes del mismo instante de la pelea.

Es raro que dos fotos estén tomadas exactamente en el mismo momento, pero si están lo suficientemente cerca, funciona.

A este proceso se le puede ayudar un poco con Photoshop: por ejemplo, si en una foto el brazo está más cerca de la cara que en la otra, se puede usar PS en cualquiera de las dos fotos para «corregirlo», es decir, acercar o alejar el brazo, de modo que tengamos «la misma foto» sólo que desde ángulos diferentes.

También se utilizó Photoshop para centrar correctamente a los luchadores, utilizando la nueva función de «relleno generativo» para rellenar el encuadre si era necesario, y para eliminar cualquier distracción que pudiera interferir con la generación.

Por ejemplo, en algunas generaciones, había un árbitro en el fondo, y LUMA se centraba en el árbitro, lo que producía generaciones pobres. Eliminar al árbitro solucionó este problema. Lo mismo puede ocurrir con el público u otras cosas que LUMA intente animar (no queremos eso; queremos que se centre únicamente en los luchadores).

Algunos vídeos se hicieron con una sola imagen y otros con dos imágenes utilizando la opción End Frame (0:08, 0:16 y 0:24, por ejemplo). Estos fueron los segmentos más impactantes.

Luma funciona muy bien para BULLET TIME SHOT, tanto para prompts con una sola imagen como para prompts con dos imágenes (END FRAME).

• Prompts con una sola imagen: Se hicieron varias pruebas, y algunos prompts que dieron buenos resultados fueron: «wax sculpture fighters, 360 degrees camera shot» «still sculpture fighters, bullet time shot».
  • Prompts que indican que el luchador está inmóvil: «wax sculpture«, «wax figure«
  • Prompts de movimiento de cámara: «360 degrees camera shot«, «bullet time shot«.
• Prompts con dos imágenes (END FRAME): Igual que el caso anterior, pero funciona en algunos casos incluso sin indicar el movimiento de cámara (LUMA reconoce por sí mismo que debía hacer un ARC SHOT para terminar en el cuadro final).

Incluso con los prompts correctos que resultaron en buenas generaciones, se ha tenido que intentar una media de 3 o 4 veces para conseguir una buena toma. En raras ocasiones, se obtiene una buena generación en el primer intento.

«360 degrees camera shot» funciona mejor que “arc shot” o algo similar.

Secuencias bullet time en The Matrix

Las secuencias Bullet Time generadas por la IA en el clip de demostración son muy cortas, pero la mejora continua de las capacidades de la IA de vídeo permitirá clips más largos en el futuro (también en otras IA de vídeo).

Aquí está el efecto Bullet Time original en The Matrix:

Luma AI: una locura hecha realidad

Estoy impaciente por ver como evoluciona esto.

¿Quieres saber más sobre las soluciones de inteligencia artificial generativa de Microsoft? En DQS/ te asesoramos. ¿Por qué no nos preguntas cómo podemos ayudarte?

Información basada en la publicación en reddit: «SLO MO and BULLET TIME camera effect achieved with LUMA«.