- Palavras impressas podem substituir sensores e contexto dentro de sistemas de decisão autônomos
- Os modelos de linguagem de visão tratam o texto público como comandos sem verificar a intenção
- Os sinais de trânsito tornam-se vetores de ataque quando a IA lê a linguagem literalmente demais
Veículos autónomos e drones dependem de sistemas de visão que combinam reconhecimento de imagem com processamento de linguagem para interpretar o que os rodeia, ajudando-os a ler sinais de trânsito, etiquetas e marcações como informação contextual que apoia a navegação e a identificação.
Pesquisadores da Universidade da Califórnia, Santa Cruz, e da Johns Hopkins decidiram testar se essa suposição se mantém quando a linguagem escrita é deliberadamente manipulada.
O experimento se concentrou em saber se o texto visível para câmeras de veículos autônomos poderia ser mal interpretado como uma instrução, em vez de simples dados ambientais, e descobriu que grandes modelos de linguagem de visão poderiam ser coagidos a seguir comandos incorporados em sinais de trânsito.
O que os experimentos revelaram
Em cenários de condução simulados, um carro autônomo inicialmente se comportou corretamente ao se aproximar de um semáforo e de uma faixa de pedestres ativa.
Quando uma placa modificada entrou no campo de visão da câmera, o mesmo sistema interpretou o texto como uma diretriz e tentou virar à esquerda apesar da presença de pedestres.
Esta mudança ocorreu sem qualquer alteração nos semáforos, no traçado das estradas ou na atividade humana, indicando que apenas a linguagem escrita influenciou a decisão.
Esta classe de ataque depende de injeção indireta de prompt, onde os dados de entrada são processados como um comando.
A equipe alterou palavras como “prosseguir” ou “virar à esquerda” usando Ferramentas de IA para aumentar a probabilidade de conformidade.
A escolha do idioma importou menos do que o esperado, pois os comandos escritos em inglês, chinês, espanhol e idiomas mistos foram todos eficazes.
A apresentação visual também desempenhou um papel, com contraste de cores, estilo de fonte e posicionamento afetando os resultados.
Em vários casos, fundos verdes com texto amarelo produziram resultados consistentes em todos os modelos.
Os experimentos compararam dois modelos de linguagem de visão em cenários de direção e drones.
Embora muitos resultados tenham sido semelhantes, os testes de carros autônomos mostraram uma grande diferença nas taxas de sucesso entre os modelos.
Os sistemas de drones provaram ser ainda mais previsíveis nas suas respostas.
Em um teste, um drone identificou corretamente um veículo policial apenas com base na aparência.
Adicionar palavras específicas a um veículo genérico fez com que o sistema o identificasse erroneamente como um carro de polícia pertencente a um departamento específico, apesar de não haver indicadores físicos que apoiassem essa afirmação.
Todos os testes foram realizados em ambientes simulados ou controlados para evitar danos no mundo real.
Mesmo assim, as descobertas levantam preocupações sobre como os sistemas autônomos validam a entrada visual.
As salvaguardas tradicionais, como uma firewall ou proteção de endpointnão aborde instruções incorporadas em espaços físicos.
Remoção de malware são irrelevantes quando o ataque requer apenas texto impresso, deixando a responsabilidade para os projetistas e reguladores do sistema, e não para os usuários finais.
Os fabricantes devem garantir que os sistemas autónomos tratem o texto ambiental como informação contextual em vez de instruções executáveis.
Até que esses controles existam, os usuários podem se proteger limitando a dependência de recursos autônomos e mantendo a supervisão manual sempre que possível.
Através O Registro
Siga o TechRadar no Google Notícias e adicione-nos como fonte preferencial para receber notícias, análises e opiniões de especialistas em seus feeds. Certifique-se de clicar no botão Seguir!
E é claro que você também pode Siga o TechRadar no TikTok para notícias, análises, unboxings em formato de vídeo e receba atualizações regulares nossas em WhatsApp também.