A Adobe lançou recursos de geração de vídeo para sua plataforma Firefly AI antes do evento Adobe MAX na segunda-feira. A partir de hoje, os usuários podem testar o gerador de vídeo do Firefly pela primeira vez no site da Adobe. siteou experimente seu novo recurso de vídeo com tecnologia de IA, Generative Extend, no aplicativo Premiere Pro beta.
No site da Firefly, os usuários podem experimentar um modelo de texto para vídeo ou um modelo de imagem para vídeo, ambos produzindo até cinco segundos de vídeo gerado por IA. (O uso do web beta é gratuito, mas provavelmente tem limites de taxa.)
A Adobe diz que treinou a Firefly para criar conteúdo animado e mídia fotorrealista, dependendo das especificações de um prompt. Firefly também é capaz de produzir vídeos com texto, pelo menos em teoria, algo que os geradores de imagens de IA têm historicamente lutado para produzir. O aplicativo da web de vídeo Firefly inclui configurações para alternar movimentos panorâmicos da câmera, intensidade do movimento da câmera, ângulo e tamanho da foto.
No aplicativo Premiere Pro beta, os usuários podem experimentar o recurso Generative Extend do Firefly para estender os videoclipes em até dois segundos. O recurso foi projetado para gerar uma batida extra em uma cena, dando continuidade ao movimento da câmera e aos movimentos do sujeito. O áudio de fundo também será estendido – a primeira amostra do público do modelo de áudio de IA no qual a Adobe vem trabalhando silenciosamente. O extensor de áudio de fundo não recria vozes ou música, entretanto, para evitar ações judiciais de direitos autorais por parte de gravadoras.
Nas demonstrações compartilhadas com o TechCrunch antes do lançamento, o recurso Generative Extend do Firefly produziu vídeos mais impressionantes do que seu modelo de texto para vídeo e parecia mais prático. O modelo de texto para vídeo e de imagem para vídeo não tem exatamente o mesmo fator de polimento ou surpresa que os concorrentes da Adobe em vídeo de IA, como Gen-3 Alpha da Runway ou Sora da OpenAI (embora reconhecidamente, este último ainda não tenha enviar). A Adobe diz que colocou mais foco nos recursos de edição de IA do que na geração de vídeos de IA, o que provavelmente agradará sua base de usuários.
Os recursos de IA da Adobe precisam encontrar um equilíbrio delicado com seu público criativo. Ela está tentando liderar um espaço lotado de startups de IA e empresas de tecnologia que demonstram modelos impressionantes de IA. Por outro lado, muitos criativos não estão satisfeitos com o fato de os recursos de IA poderem em breve substituir o trabalho que fizeram com mouse, teclado e caneta por décadas. É por isso que o primeiro recurso de vídeo Firefly da Adobe, Generative Extend, usa IA para resolver um problema existente para editores de vídeo – seu clipe não é longo o suficiente – em vez de gerar um novo vídeo do zero.
“Nosso público é o público com pixels mais perfeitos do planeta”, disse o vice-presidente de IA generativa da Adobe, Alexandru Costin, em entrevista ao TechCrunch. “Eles querem que a IA os ajude a ampliar os ativos que possuem, criar variações deles ou editá-los, em vez de gerar novos ativos. Portanto, para nós, é muito importante fazer primeiro a edição generativa e depois a criação generativa.”
Modelos de vídeo de nível de produção que facilitam a edição: essa é a receita com a qual a Adobe obteve sucesso inicial para o modelo de imagem do Firefly no Photoshop. Os executivos da Adobe disseram anteriormente que o recurso Generative Fill do Photoshop é um dos novos recursos mais usados da última décadaprincipalmente porque complementa e acelera os fluxos de trabalho existentes. A empresa espera poder replicar esse sucesso com vídeo.
A Adobe está tentando estar atenta aos criativos, supostamente pagando US$ 3 a fotógrafos e artistas por cada minuto de vídeo que eles enviam para treinar seu modelo Firefly AI. Dito isto, muitos criativos ainda têm receio de usar ferramentas de IA ou temem que elas as tornem obsoletas. (A Adobe também anunciou ferramentas de IA para anunciantes gerarem conteúdo automaticamente na segunda-feira.)
Costin diz a esses criativos preocupados que as ferramentas generativas de IA criarão mais demanda para seu trabalho, e não menos: “Se você pensar nas necessidades das empresas que desejam criar conteúdo individualizado e hiperpersonalizado para qualquer usuário que interaja com elas, a demanda é infinita”.
O líder de IA da Adobe diz que as pessoas deveriam considerar como outras revoluções tecnológicas beneficiaram os criativos, comparando o início das ferramentas de IA com a publicação digital e a fotografia digital. Ele observa como essas inovações foram originalmente vistas como uma ameaça e diz que se os criativos rejeitarem a IA, eles passarão por momentos difíceis.
“Aproveite os recursos generativos para aprimorar, aprimorar e se tornar um profissional criativo que pode criar 100 vezes mais conteúdo usando essas ferramentas”, disse Costin. “A necessidade de conteúdo existe, agora você pode fazer isso sem sacrificar sua vida. Abrace a tecnologia. Esta é a nova alfabetização digital.”
O Firefly também inserirá automaticamente marcas d’água “geradas por IA” nos metadados dos vídeos criados dessa forma. Meta usa ferramentas de identificação no Instagram e no Facebook para rotular mídias com esses rótulos como geradas por IA. A ideia é que plataformas ou indivíduos possam usar ferramentas de identificação de IA como essa, desde que o conteúdo contenha as marcas d’água de metadados apropriadas, para determinar o que é ou não autêntico. No entanto, os vídeos da Adobe não terão, por padrão, visível rótulos esclarecendo que são gerados por IA, de uma forma que pode ser facilmente lida por humanos.
A Adobe projetou especificamente o Firefly para gerar mídia “comercialmente segura”. A empresa afirma que não treinou Firefly em imagens e vídeos incluindo drogas, nudez, violência, figuras políticas ou materiais protegidos por direitos autorais. Em teoria, isso deveria significar que o gerador de vídeo do Firefly não criará vídeos “inseguros”. Agora que a internet tem acesso gratuito ao modelo de vídeo do Firefly, veremos se isso é verdade.