Na Augmented World Expo na terça-feira, o Snap apresentou uma versão inicial de seu modelo de difusão de imagens em tempo real no dispositivo que pode gerar experiências vívidas de AR. A empresa também revelou ferramentas generativas de IA para criadores de AR.
O cofundador e CTO da Snap, Bobby Murphy, disse no palco que o modelo é pequeno o suficiente para rodar em um smartphone e rápido o suficiente para renderizar novamente os quadros em tempo real, guiado por um prompt de texto.
Murphy disse que embora o surgimento de modelos generativos de difusão de imagens de IA tenha sido emocionante, esses modelos precisam ser significativamente mais rápidos para que tenham impacto na realidade aumentada, e é por isso que suas equipes têm trabalhado para acelerar os modelos de aprendizado de máquina.
Os usuários do Snapchat começarão a ver Lentes com esse modelo generativo nos próximos meses, e o Snap planeja trazê-lo aos criadores até o final do ano.
“Este e os futuros modelos de ML generativos em tempo real em dispositivos apontam para uma nova direção empolgante para a realidade aumentada e estão nos dando espaço para reconsiderar como imaginamos a renderização e a criação de experiências de AR como um todo”, disse Murphy.
Murphy também anunciou que o Lens Studio 5.0 será lançado hoje para desenvolvedores com acesso a novas ferramentas generativas de IA que os ajudarão a criar efeitos de AR muito mais rápido do que é possível atualmente, economizando semanas e até meses.
Os criadores de AR podem criar lentes selfie gerando efeitos faciais de ML altamente realistas. Além disso, eles podem gerar efeitos de estilização personalizados que aplicam uma transformação realista no rosto, corpo e arredores do usuário em tempo real. Os criadores também podem gerar um recurso 3D em minutos e incluí-lo em suas lentes.
Além disso, os criadores de AR podem gerar personagens como alienígenas ou bruxos com um prompt de texto ou imagem usando a tecnologia Face Mesh da empresa. Eles também podem gerar máscaras faciais, texturas e materiais em minutos.
A versão mais recente do Lens Studio também inclui um assistente de IA que pode responder a perguntas que os criadores de AR possam ter.