La batalla de Hollywood por la IA y el escaneo 3D, explicada

Dirígete a nuestra biblioteca bajo demanda para ver las sesiones de VB Transform 2023. Regístrate aquí

Hollywood lleva más de 100 días prácticamente cerrado, después de que el sindicato que representa a los guionistas, el Writers Guild of America (WGA), votara a favor de declararse en huelga el 1 de mayo. A los guionistas pronto les siguió el sindicato de actores, el Screen Sindicato de Actores-Federación Estadounidense de Artistas de Radio y Televisión (SAG-AFTRA), el 13 de julio, marcando la primera vez en 63 años que ambos sindicatos principales estaban en huelga al mismo tiempo.

Ambos sindicatos se han opuesto a las propuestas de renovación de contrato de la Alianza de Productores de Cine y Televisión (AMPTP). Un punto clave es el uso de la inteligencia artificial (IA) y la tecnología de escaneo 3D. Los productores y los principales estudios cinematográficos que los respaldan quieren una licencia amplia para utilizar la tecnología como quieran. Los escritores y actores quieren un acuerdo sobre reglas específicas sobre cómo, cuándo y dónde se puede utilizar.

Mientras las dos partes continúan peleándose a través de sus negociadores, VentureBeat examinó de cerca la tecnología real en cuestión y descubrió que hay que hacer una distinción importante para que las partes en duelo lleguen a un acuerdo mutuamente satisfactorio: 3D El escaneo no es lo mismo que la IA y la mayoría de los proveedores solo ofrecen una de las dos tecnologías para la realización de películas.

Los proveedores de tecnología también creen en gran medida que los actores y escritores deberían ser compensados ​​por su trabajo en cualquier forma que adopte, y que el negocio de los proveedores se vería afectado si los actores fueran reemplazados por dobles en 3D y los escritores por guiones generados.

VB Transform 2023 bajo demanda

¿Te perdiste una sesión de VB Transform 2023? Regístrese para acceder a la biblioteca bajo demanda de todas nuestras sesiones destacadas.

Pero las cosas están cambiando rápidamente. VentureBeat se enteró de los planes de un proveedor de inteligencia artificial, Move.AI, de lanzar el próximo mes una nueva aplicación de captura de movimiento utilizando una sola cámara de teléfono inteligente, un desarrollo que reduciría radicalmente el costo y la complejidad de hacer que los modelos digitales 3D se muevan. Por otra parte, una empresa de escaneo 3D, Digital Domain, compartió su intención de utilizar IA para crear avatares "humanos totalmente digitales" impulsados ​​por chatbots de IA.

Si bien algunas empresas de escaneo 3D están buscando soluciones de inteligencia artificial para ayudarlos a crear modelos 3D interactivos de actores, conocidos como humanos digitales, dobles digitales, gemelos digitales o doppelgängers virtuales, la tecnología de escaneo 3D llegó a Hollywood mucho antes de que la IA estuviera disponible o fuera práctica. y no se necesita IA para escanear actores.

Sin embargo, si algún día los escaneos 3D realistas reemplazan a los actores que trabajan, tal vez incluso en un futuro cercano, probablemente se necesitará una capa adicional e independiente de IA para ayudar a los modelos 3D de los actores a moverse, expresar emociones y hablar de manera realista. Esa capa de IA en gran medida aún no existe. Pero las empresas están trabajando en tecnología que lo permita.

Comprender exactamente quiénes son algunos de los proveedores de tecnología detrás de estas dos tecnologías separadas y distintas (escaneo 3D e inteligencia artificial) y qué hacen realmente es imperativo si las partes en conflicto en Hollywood y las artes creativas en general quieren forjar un camino sostenible y mutuamente beneficioso. adelante.

Sin embargo, en Hollywood se podría pensar que ambas tecnologías (la IA y el escaneo 3D) son la misma.

Duncan Crabtree-Ireland, el negociador jefe de SAG-AFTRA, reveló que los estudios propusieron un plan en julio para escanear en 3D extras o actores de fondo y usar sus imágenes digitales indefinidamente. Esta propuesta fue rápidamente rechazada por el sindicato. "Llegamos a esta negociación diciendo que la IA debe realizarse de una manera que respete a los actores, respete sus derechos humanos sobre sus propios cuerpos, voz, imagen y semejanza", dijo Crabtree-Ireland a Deadline.

Mientras tanto, ha habido cada vez más informes de actores sometidos a escaneos 3D en los principales platós de cine y televisión, lo que ha provocado malestar en la industria.

La primera semana de la huelga, una joven actriz (de unos 20 años) me dijo que era actriz de BG en una serie de Marvel y la enviaron al “camión”, donde escanearon su cara y su cuerpo 3 veces. Poseía su imagen a perpetuidad en todo el Universo por 100 dólares. Existencial, tiene razón.

Aunque el escaneo de actores en 3D existe desde hace años, los ejecutivos de Hollywood como los de Disney están entusiasmados con la incorporación de IA generativa y con las perspectivas generales de la IA para contar historias nuevas y más rentables. Pero la creciente disponibilidad de la tecnología también ha despertado grandes preocupaciones entre escritores y actores sobre cómo se verán afectados sus medios de vida y su artesanía.

Cuando se trata de escritores de Hollywood, el reciente lanzamiento de una serie de aplicaciones gratuitas de modelos de lenguaje grande (LLM) de texto a texto orientadas al consumidor, como ChatGPT, Claude y LLaMA, han hecho que sea mucho más fácil para las personas generar guiones y guiones sobre la marcha.

Reid Hoffman, patrocinador del creador de ChatGPT OpenAI, incluso escribió un libro completo con ChatGPT e incluyó páginas de guiones de muestra.

Otra aplicación, Sudowrite, basada en GPT-3 de OpenAI, se puede utilizar para escribir prosa y guiones, pero hace varios meses fue blanco de críticas por parte de autores que creían que se había entrenado en trabajos inéditos de grupos de borrador sin su consentimiento expreso. El fundador de Sudowrite lo negó.

Mientras tanto, las aplicaciones de inteligencia artificial para clonación de voz, como las ofrecidas por la startup ElevenLabs y demostradas por Meta, también están planteando la posibilidad de que los actores ni siquiera necesiten grabar voces en off para actuaciones animadas, incluidas aquellas que involucran a sus dobles digitales.

Por otra parte, aunque el escaneo corporal en 3D está ahora en los titulares gracias a la huelga de actores, la tecnología detrás de esto existe desde hace décadas, introducida por algunos de los mayores defensores y autores del cine, incluidos James Cameron, David Fincher y los célebres efectos. estudio Luz y Magia Industrial (ILM).

Ahora, con el poder de la IA generativa, esos escaneos 3D que alguna vez fueron vistos como extensiones de la actuación de un actor humano en un set pueden reutilizarse y usarse teóricamente como base para nuevas actuaciones que no requieren que el actor, ni su consentimiento, vaya. adelante. Incluso podrías conseguir que un chatbot de IA como ChatGPT escriba un guión y que un actor digital lo interprete. Pero debido a la complejidad inherente de estas tecnologías, por lo general, y de manera inadecuada, se combinan en una sola, agrupadas bajo el apodo del día, "IA".

"Hemos estado en esto durante 28 años", dijo Michael Raphael, director ejecutivo, presidente y fundador de Direct Dimensions, en una entrevista en video exclusiva con VentureBeat.

Direct Dimensions es una empresa de escaneo 3D con sede en Baltimore que construye el hardware de escaneo detrás de algunos de los mayores éxitos de taquilla de los últimos años, incluidos Marvel's Avengers: Infinity War y Avengers: Endgame.

El primer tema de la firma en Hollywood fue la actriz Natalie Portman por su papel ganador del Oscar en el thriller psicosexual de 2010 Black Swan.

Raphael, ingeniero de formación, fundó la empresa en 1995 después de trabajar en la industria aeroespacial, donde ayudó a desarrollar herramientas de escaneo 3D de precisión para medir piezas de aviones, incluido un brazo articulado con codificadores ópticos en las articulaciones.

Sin embargo, a medida que pasaron los años y la tecnología avanzó, la compañía amplió su oferta para incluir otro hardware de escaneo, como el escaneo láser con lidar (sensores de detección y alcance de luz, como los que se encuentran en algunos tipos de automóviles autónomos). así como fotografías tomadas por una serie de cámaras digitales réflex únicas (DSLR) comunes y unidas para formar una imagen 3D, una técnica conocida como fotogrametría.

Hoy en día, Direct Dimensions trabaja no sólo en películas, sino también en la creación de imágenes de piezas industriales para el sector aeroespacial, de defensa y de fabricación; edificios y arquitectura; obras de arte y artefactos; joyas; y básicamente cualquier objeto, desde el más pequeño hasta el más grande. De hecho, Hollywood sólo ha representado una pequeña parte del negocio de Direct Dimensions; la mayor parte es escaneo 3D de precisión para otras industrias menos glamorosas.

"Escaneamos cualquier cosa que se pueda imaginar con fines básicamente de ingeniería o fabricación", dijo Raphael a VentureBeat.

Para escanear objetos pequeños, Direct Dimensions creó su propio hardware interno: un escáner automatizado del tamaño de un microondas al que llama Part Automated Scanning System (PASS).

Es importante destacar que Direct Dimensions no fabrica su propio software de inteligencia artificial ni planea hacerlo. Escanea objetos y los convierte en modelos 3D utilizando software disponible en el mercado como Revit de Autodesk.

Raphael dijo que Direct Dimensions era sólo una de una “docena” de empresas en todo el mundo que ofrecían servicios similares. La propia investigación de VentureBeat reveló los siguientes nombres:

Una de esas empresas de escaneo 3D, Avatar Factory de Australia, está dirigida por una familia de cuatro personas: el matrimonio Mark y Kate Ruff, y sus hijas Amy y Chloe.

La empresa se fundó en 2015 y ofrece un proceso de “ciberescaneo” que implica 172 cámaras montadas en el interior de un camión. Esto le permite proporcionar escaneo 3D móvil de actores en ubicaciones fuera de los estudios, por ejemplo, paisajes y exteriores. Al igual que Direct Dimensions, la empresa también ofrece escaneo de accesorios.

Entre los títulos recientes notables para los que Avatar Factory ha realizado escaneos 3D se encuentran Mortal Kombat, Elvis y Shantaram (la serie de Apple TV).

"Avatar Factory crea dobles digitales fotorrealistas en 3D que se utilizan para reemplazar el fondo, así como trabajos de acrobacias que son demasiado peligrosos para ser realizados por dobles reales", explicó Chloe Ruff, directora ejecutiva y directora de tecnología (CTO) de Avatar Factory. y jefe de diseño, en un correo electrónico a VentureBeat.

Si bien Ruff dijo que Avatar Factory había utilizado el escaneo 3D de múltiples extras o actores de fondo para crear escenas digitales de multitudes, también dijo que sin la variedad que contribuyeron, sería perjudicial para el trabajo.

"Como gran parte de nuestro trabajo consiste en reemplazar el fondo, vemos cientos de extras y actores de fondo pasar por nuestro sistema en un día típico de rodaje", escribió Ruff. “Tener extras y actores de fondo en un set de filmación es fundamental para nuestras operaciones comerciales y no podríamos hacer lo que hacemos sin ellos. Sería devastador para la industria y nuestro negocio si todos esos actores fueran reemplazados por IA, como sugieren algunos estudios”.

Por otra parte, la empresa rival de escaneo 3D Digital Domain, cofundada en 1993 por James Cameron, el legendario supervisor de efectos Stan Winston y el ex gerente general de ILM Scott Ross, se negó a comentar para esta historia sobre la controversia sobre el escaneo de actores de fondo.

Sin embargo, un portavoz envió a VentureBeat un documento que describe el enfoque de la compañía para crear "humanos digitales", modelos 3D de actores derivados de escaneos exhaustivos de cuerpo completo que están "equipados" con puntos que permiten el movimiento. El documento contiene el siguiente pasaje:

“En la mayoría de los casos, la animación digital directa se utiliza únicamente para los movimientos corporales, mientras que la animación facial casi siempre tiene la actuación de un actor humano como componente subyacente e impulsor. Esto es especialmente cierto cuando el diálogo es parte de la actuación”.

El documento Digital Domain continúa señalando el papel cada vez mayor de la IA en la creación de humanos digitales y dice: “Hemos estado investigando el uso de la IA generativa para la creación de activos digitales. Esta tecnología aún es muy temprana y aún están surgiendo casos de uso”. El documento también establece:

“Creemos que los matices de la actuación de un actor en combinación con nuestros conjuntos de herramientas de inteligencia artificial y aprendizaje automático son fundamentales para lograr resultados fotorrealistas que puedan cautivar a la audiencia y cruzar el valle inquietante.

“Dicho esto, también estamos trabajando en lo que llamamos tecnología Humana Virtual Autónoma. Aquí creamos un ser humano totalmente digital, ya sea basado en una persona real o en una identidad sintética, impulsado por componentes generativos de IA como los chatbots. El objetivo es crear un ser humano virtual realista con el que el usuario pueda tener una conversación u otra interacción. Creemos que la principal aplicación de esta tecnología está fuera del entretenimiento, en áreas como atención al cliente, hostelería, sanidad, etc…”

¿Cómo llegamos aquí? Los estudiosos de los gráficos por computadora en efectos visuales señalan la película de ciencia ficción de 1989 The Abyss, dirigida por James Cameron de Titantic, Avatar, Aliens y Terminator 2, como una de las primeras películas importantes en presentar tecnología de escaneo 3D.

Los actores Ed Harris y Mary Elizabeth Mastrantonio escanearon sus expresiones faciales por Industrial Light and Magic (ILM), la compañía de efectos especiales fundada anteriormente por George Lucas para crear los vívidos mundos espaciales y escenarios de Star Wars, según Redshark News. ILM utilizó un dispositivo llamado Cyberware Color 3-D Digitalizador, modelo 4020 RGB/PS-D, un “escáner láser de plano de luz” desarrollado por una extinta empresa de California que dio nombre al dispositivo. Posteriormente, la Fuerza Aérea de EE. UU. consiguió uno para fines de escaneo y reconocimiento militar, y escribió sobre él de la siguiente manera:

“Este sistema de escaneo Cyberware es capaz de digitalizar aproximadamente 250.000 puntos en la superficie de la cabeza, la cara y los hombros en aproximadamente 17 segundos. El nivel de resolución alcanzado es de aproximadamente 1 mm”.

Para The Abyss, ILM escaneó a los actores para crear el "pseudópodo", una forma de vida alienígena acuosa que cambia de forma y que los imita. Esto tiene la distinción de ser el primer personaje totalmente generado por computadora en una importante película de acción real, según Computer Graphics and Computer Animation: A Retrospective Overview, un libro de la Universidad Estatal de Ohio que narra el auge de la industria CGI, escrito por Wayne E. Carlson.

Raphael también señaló El curioso caso de Benjamin Button, de 2008, protagonizada por Brad Pitt como un hombre que envejece al revés, con efectos visuales que acompañan su transformación de un “viejo bebé” a un joven anciano, como un punto de inflexión para el escaneo de actores en 3D. tecnología.

"Benjamin Button fue pionero en la ciencia en torno a estos tipos de escaneo del cuerpo humano", dijo Raphael.

Al hacer Benjamin Button, el director David Fincher quería crear una versión realista de la estrella principal Brad Pitt, tanto joven como viejo. Si bien tradicionalmente se utilizaban maquillaje y prótesis, el director pensó que este enfoque no le daría al personaje las cualidades que quería.

Recurrió a Digital Domain, que a su vez analizó el trabajo de efectos informáticos de Paul Debevec, profesor adjunto de investigación en el Instituto de Tecnologías Creativas (ICT) de la Universidad del Sur de California (USC), que hoy también trabaja como investigador jefe en Eyeline de Netflix. Estudios.

Según recuerda Debevec en una entrevista de 2013 con el medio The Credits de la MPPA, Fincher “tuvo esta idea híbrida, en la que harían los gráficos por computadora para la mayor parte del rostro, excepto los globos oculares y el área de piel alrededor de los ojos, y esos sería filmado de verdad y lo armarían todo”.

Para hacer realidad la visión de Fincher, Digital Domain recurrió a Debevec y le pidió que diseñara un sistema de “reproducción de iluminación” mediante el cual pudieran capturar la luz y los reflejos en los ojos de Pitt y superponer los ojos en un rostro completamente digital.

Debevec diseñó un sistema de este tipo utilizando paneles LED dispuestos como un cubo alrededor del actor y, más tarde, incorporó una escultura física de la cabeza de Pitt como un hombre de 70 años y utilizó el sistema para capturar la luz que rebotaba en ella.

"Desde que comencé a investigar seriamente los gráficos por computadora, la idea de crear un personaje humano digital fotorrealista en una película, o en cualquier cosa, era una especie de Santo Grial de los gráficos por computadora", dijo Debevec a The Credits.

El enfoque funcionó: El curioso caso de Benjamin Button ganó el Premio de la Academia de 2009 al Mejor Logro en Efectos Visuales. Y el equipo se acercó al “Santo Grial” de Debevec al crear un rostro humano completamente generado por computadora.

Según Mark Ruff de Avatar Factory, el hecho de que Benjamin Button lograra una representación tan realista de Brad Pitt, y aun así Pitt continúe actuando en nuevas películas, ayuda a explicar por qué los escaneos 3D no desplazarán a los actores humanos en el corto plazo.

"En aquel entonces era concebible que Brad Pitt ya no necesitara aparecer en películas futuras", dijo Mark a VentureBeat. “Su avatar podría completar cualquier actuación futura. Sin embargo, todavía vemos a Brad Pitt actuando. Incluso si Brad Pitt fuera escaneado y no volviera a actuar en una película, estoy seguro de que su agente todavía obtendría una prima por su identidad”.

Hoy en día, muchas empresas persiguen la visión de crear actores 3D realistas, ya sean dobles o creaciones totalmente digitales.

Como informó recientemente The Information, varias nuevas empresas (Hyperreal, Synthesia, Soul Machines y Metaphysic) han recaudado millones con la promesa de que podrían crear dobles digitales realistas en 3D de las principales estrellas de Hollywood y de los principales deportes.

Esto permitiría a las estrellas obtener tarifas de aparición sin siquiera poner un pie en el set (mientras que los agentes se llevaban una parte). De hecho, podría crear una fuente de ingresos completamente nueva para las estrellas, “alquilando” sus imágenes/gemelos digitales mientras persiguen proyectos apasionantes de mayor calidad, más interesantes, pero posiblemente peor pagados.

En julio, VentureBeat informó que Synthesia contrató a actores reales para crear una base de datos de 39.765 fotogramas de movimiento humano dinámico en los que se entrenaría su IA. Esta IA permitirá a los clientes crear videos realistas a partir de texto, aunque el caso de uso ideal es más para videos de capacitación, promociones y comerciales de la empresa que para largometrajes completos.

"No estamos reemplazando a los actores", dijo a VentureBeat el director ejecutivo de la compañía, Jon Starck. “No estamos reemplazando la creación de películas. Estamos reemplazando el texto para la comunicación. Y estamos incorporando el vídeo sintético a la caja de herramientas de las empresas”.

Al mismo tiempo, dijo que es probable que en el futuro se haga una película completa a partir de datos sintéticos.

La industria se está moviendo rápidamente desde los días en que las imágenes deepfake de Tom Cruise pegadas en los rostros de los creadores de TikTok (impulsadas por la tecnología que luego se convirtió en Metaphysic) y Bruce Willis alquilando su propio deepfake estaban en los titulares.

Ahora, sólo uno o dos años después, “muchas estrellas y agentes se están reuniendo discretamente con empresas de inteligencia artificial para explorar sus opciones”, según fuentes de The Information.

Por supuesto, crear un doble digital es mucho más fácil de decir que de hacer. Y luego, animar a ese doble para que se mueva de manera realista es otro juego de pelota completamente diferente.

La captura de movimiento, la tecnología que permite reproducir los movimientos humanos en animaciones o gráficos por computadora, existe desde hace más de 100 años, pero las herramientas modernas no entraron en vigor hasta la década de 1980.

Y luego, durante las siguientes dos décadas, implicó principalmente cubrir a actores con trajes ajustados cubiertos con marcadores que parecían pelotas de ping pong, y usar cámaras especializadas para mapear sus movimientos en un modelo digital o “esqueleto” que podía convertirse en un personaje diferente o re-disfrazado con gráficos por computadora.

Pero hoy en día, gracias a los avances en inteligencia artificial y software, el movimiento humano se puede capturar solo con un conjunto de teléfonos inteligentes, sin la necesidad de molestos trajes y marcadores. Una de esas empresas que está tomando la ruta de los teléfonos inteligentes "sin marcadores" es Move.ai, con sede en el Reino Unido, fundada en 2019 para capturar los movimientos de los atletas y que desde entonces se ha diversificado hacia los videojuegos y las películas.

"La creación de animación 3D puede parecer un nicho de mercado, pero en realidad es un mercado enorme, más de 10 mil millones de dólares", dijo Tino Millar, director ejecutivo y cofundador de Move.ai, en una entrevista en video con VentureBeat.

Millar dijo que en el pasado, la animación del movimiento de personajes 3D se hacía en gran medida “a mano”. Incluso aquellos animadores que utilizan software de larga data como Blender o Cinema 4D tienen que dedicar muchas horas a capacitarse y educarse sobre las herramientas para lograr la calidad necesaria para las principales películas.

La otra alternativa, el enfoque del marcador y el traje ajustado descrito anteriormente, consume mucho tiempo y requiere una costosa configuración de estudio y múltiples cámaras infrarrojas.

“Lo que hemos llegado y hemos logrado es que, usando IA y algunos otros avances en la comprensión del movimiento humano en física y estadística, creemos que podemos hacerlo entre 100 y 1000 veces más barato que con trajes de captura de movimiento, manteniendo al mismo tiempo la calidad y hacerlo mucho más accesible para la gente”, dijo Millar.

En marzo de 2023, Move.ai lanzó una aplicación para teléfonos inteligentes orientada al consumidor que requiere que se coloquen al menos dos (y hasta seis) iPhones con iOS 16 alrededor de una persona para capturar su movimiento.

Desde entonces, "está siendo utilizado por las principales empresas de juegos de todo el mundo, las principales producciones de cine y televisión, [y] creadores de contenidos que crean vídeos en casa para YouTube y TikTok", dijo Millar.

Move.ai también admite dispositivos Android en modo “experimental”, y Millar le dijo a VentureBeat que la compañía planea lanzar una versión de su aplicación con una sola cámara para teléfonos inteligentes el próximo mes, septiembre de 2023, lo que reduciría aún más la barrera de entrada para los aspirantes a cineastas.

Entonces, para recapitular: el escaneo 3D y la tecnología mejorada de captura de movimiento han estado en proceso en Hollywood durante años, pero últimamente se han vuelto mucho más asequibles y ubicuos, y la tecnología de IA sólo recientemente se ha vuelto públicamente disponible para los consumidores y Hollywood.

"Una cosa es tener estos activos [3D], y han tenido estos activos durante al menos 10 años", dijo Raphael de Direct Dimensions. “Pero el hecho de que le estás agregando toda esta IA, donde puedes manipular activos y puedes crear escenas de multitudes, escenas de desfiles, audiencias, todo sin tener que pagar a los actores para que lo hagan, la legalidad de todo esto aún necesita por resolver”.

Este efecto de goteo de ambas tecnologías se produjo justo cuando los actores y escritores tuvieron que renegociar sus contratos con los estudios, y cuando los estudios adoptaron otra nueva tecnología: la transmisión de video.

Todo lo cual ha preparado una mezcla de exageraciones exageradas, avances reales, miedo y alarmismo, y malentendidos mutuos que han desembocado en el enfrentamiento que ya dura más de 100 días.

"Sólo puedo especular", dijo Millar de Move.ai. “Pero la IA está mucho más presente en la cultura popular. La gente es mucho más consciente de ello. Ahora hay IA en sus dispositivos. En el pasado, la gente no era consciente de ello porque sólo lo utilizaban empresas de producción de alto nivel. La gama alta siempre tendrá la vanguardia, pero gran parte de esta tecnología se está filtrando hasta los consumidores”.

La misión de VentureBeat es ser una plaza digital para que los tomadores de decisiones técnicas adquieran conocimientos sobre tecnología empresarial transformadora y realicen transacciones. Descubra nuestros Briefings.