Retratos vivos con IA (LivePortrait de HuggingFace)
Live Portrait es un nuevo modelo que permite dar vida a una imagen estática en menos de un minuto.
Si quieres probarlo: visita HuggingFace, sube una imagen con un rostro y un vídeo (ojo solo funciona con vídeos cuadrados 1:1).
¡El modelo no sólo es rápido, sino que los resultados son buenos! Con lo que ahora contamos con una nueva herramienta que facilitará el editar los vídeos de generación de IA, tanto para interpretar poses o para sincronización labial.
Y la transferencia de pose generaliza bien incluso a personajes con una forma de la cara muy distinta a la original, permitiendo animar personajes 3D de forma muy sencilla y efectista.
Es bastante loco lo bien que transfiere de una pose a otra. El principal problema que detecto es que los cambios de escala de la pose original se transmiten también el resultado.
Partiendo de una imagen de Arnold Schwarzenegger y un vídeo mío de Teams haciendo el tonto, se obtiene esto:
Después de darle a generar, crea un vídeo de la imagen con las expresiones del vídeo. Increíble:
Y este es el vídeo resultado (comparado con el vídeo original):
El vídeo generado:
Increíble, ¿no?
Esto no sólo se vuelve una herramienta útil para la creación de nuevo contenido sino para la edición de tomas ya grabadas. Sincronizar los labios al idioma del doblaje, o cambiar las expresiones del actor si no te ha gustado. ¡ES POSIBLE!
Bastante loco. Además han compartido los modelos y todo… Lo que podría haber sido una herramienta comercial potentísima pues es «un día más de Julio en el mundo de la IA» 😅
Seguimos avanzando.
Información basada la publicación en Twitter/X de Carlos Santana («🤖 Divulgador de Inteligencia Artificial»): «¡RETRATOS VIVOS con IA!«
