Movie Gen também pode gerar música de fundo e efeitos sonoros sincronizados com o conteúdo dos vídeos
O proprietário do Facebook, Meta, anunciou na sexta-feira que construiu um novo modelo de IA chamado Movie Gen, que pode criar clipes de vídeo e áudio de aparência realista em resposta às solicitações do usuário, alegando que pode rivalizar com ferramentas de startups líderes em geração de mídia, como OpenAI e ElevenLabs.
Amostras das criações do Movie Gen fornecidas pela Meta mostravam vídeos de animais nadando e surfando, bem como vídeos usando fotos reais de pessoas para retratá-las realizando ações como pintar em uma tela.
O Movie Gen também pode gerar música de fundo e efeitos sonoros sincronizados com o conteúdo dos vídeos, disse Meta em uma postagem no blog, e usar a ferramenta para editar vídeos existentes.
Em um desses vídeos, Meta fez a ferramenta inserir pompons nas mãos de um homem correndo sozinho no deserto, enquanto em outro ela mudou um estacionamento onde um homem andava de skate de um solo seco para outro coberto por uma poça.
Os vídeos criados pelo Movie Gen podem ter até 16 segundos de duração, enquanto o áudio pode ter até 45 segundos, disse Meta. Ele compartilhou dados que mostram testes cegos indicando que o modelo tem desempenho favorável em comparação com ofertas de startups como Runway, OpenAI, ElevenLabs e Kling.
O anúncio ocorre no momento em que Hollywood luta para aproveitar a tecnologia de vídeo de IA generativa este ano, depois que a OpenAI, apoiada pela Microsoft, mostrou pela primeira vez em fevereiro como seu produto Sora poderia criar vídeos semelhantes a filmes em resposta a solicitações de texto.
Os tecnólogos da indústria do entretenimento estão ansiosos por utilizar essas ferramentas para melhorar e agilizar a produção cinematográfica, enquanto outros se preocupam em abraçar sistemas que parecem ter sido treinados em obras protegidas por direitos de autor sem permissão.
Os legisladores também destacaram preocupações sobre a forma como as falsificações geradas pela IA, ou deepfakes, estão a ser utilizadas em eleições em todo o mundo, incluindo nos EUA, Paquistão, Índia e Indonésia.
Porta-vozes da Meta disseram que é improvável que a empresa libere o Movie Gen para uso aberto pelos desenvolvedores, como fez com sua série Llama de modelos em linguagem grande, dizendo que considera os riscos individualmente para cada modelo. Eles se recusaram a comentar especificamente a avaliação da Meta para a Movie Gen.
Em vez disso, disseram eles, a Meta estava trabalhando diretamente com a comunidade de entretenimento e outros criadores de conteúdo no uso do Movie Gen e iria incorporá-lo aos próprios produtos da Meta no próximo ano.
De acordo com a postagem do blog e um artigo de pesquisa sobre a ferramenta lançado pela Meta, a empresa usou uma combinação de conjuntos de dados licenciados e disponíveis publicamente para construir o Movie Gen.
A OpenAI tem se reunido com executivos e agentes de Hollywood este ano para discutir possíveis parcerias envolvendo Sora, embora ainda não tenha sido relatado que nenhum acordo tenha surgido dessas negociações. A ansiedade sobre a abordagem da empresa aumentou em maio, quando a atriz Scarlett Johansson acusou o fabricante do ChatGPT de imitar a sua voz sem permissão para o seu chatbot.
A Lions Gate Entertainment, empresa por trás de “Jogos Vorazes” e “Crepúsculo”, anunciou em setembro que estava dando à startup de IA Runway acesso à sua biblioteca de filmes e televisão para treinar um modelo de IA. Em troca, afirmou, o estúdio e seus cineastas podem usar o modelo para aprimorar seu trabalho.
(Exceto a manchete, esta história não foi editada pela equipe da NDTV e é publicada a partir de um feed distribuído.)