A engenharia rápida tornou-se uma trabalho quente no ano passado na indústria de IA, mas parece que a Anthropic agora está desenvolvendo ferramentas para automatizá-la, pelo menos parcialmente.
A Anthropic lançou vários novos recursos na terça-feira para ajudar os desenvolvedores a criar aplicativos mais úteis com o modelo de linguagem da startup, Claude, de acordo com um postagem do blog da empresa. Os desenvolvedores agora podem usar o Claude 3.5 Sonnet para gerar, testar e avaliar prompts, usando técnicas de engenharia de prompts para criar melhores entradas e aprimorar as respostas de Claude para tarefas especializadas.
Os modelos de linguagem são bem tolerantes quando você pede que eles realizem algumas tarefas, mas às vezes pequenas mudanças na formulação de um prompt podem levar a grandes melhorias nos resultados. Normalmente, você teria que descobrir essa formulação sozinho ou contratar um engenheiro de prompt para fazer isso, mas esse novo recurso oferece feedback rápido que pode facilitar a localização de melhorias.
Os recursos estão alojados no Anthropic Console em uma nova aba Evaluate. O Console é a cozinha de testes da startup para desenvolvedores, criada para atrair empresas que buscam construir produtos com Claude. Um dos recursos, revelado em maio, é o gerador de prompts integrado do Anthropic; ele pega uma breve descrição de uma tarefa e constrói um prompt muito mais longo e detalhado, utilizando as próprias técnicas de engenharia de prompts do Anthropic. Embora as ferramentas do Anthropic possam não substituir os engenheiros de prompts completamente, a empresa disse que ajudaria novos usuários e economizaria tempo para engenheiros de prompts experientes.
No Evaluate, os desenvolvedores podem testar a eficácia dos prompts de seus aplicativos de IA em uma variedade de cenários. Os desenvolvedores podem carregar exemplos do mundo real para um conjunto de testes ou pedir para Claude gerar uma matriz de casos de teste gerados por IA. Os desenvolvedores podem então comparar a eficácia de vários prompts lado a lado e classificar respostas de amostra em uma escala de cinco pontos.
Em um exemplo da postagem do blog da Anthropic, um desenvolvedor identificou que seu aplicativo estava dando respostas muito curtas em vários casos de teste. O desenvolvedor conseguiu ajustar uma linha em seu prompt para tornar as respostas mais longas e aplicá-las simultaneamente a todos os seus casos de teste. Isso poderia economizar muito tempo e esforço dos desenvolvedores, especialmente aqueles com pouca ou nenhuma experiência em engenharia de prompt.
O CEO e cofundador da Anthropic, Dario Amodei, disse que a engenharia rápida foi uma das coisas mais importantes para a adoção generalizada de IA generativa em empresas entrevista do Google Cloud Next no início deste ano. “Parece simples, mas 30 minutos com um engenheiro rápido podem muitas vezes fazer um aplicativo funcionar quando não funcionava antes”, disse Amodei.