Gemini invade sistemas de três empresas durante testes de segurança
Modelo de IA do Google acessou sistemas após encontrar ou adivinhar credenciais; empresa afirma que interrompeu as ações
O Gemini, modelo de inteligência artificial desenvolvido pelo Google, acessou sistemas de três empresas durante testes de segurança realizados pela própria companhia. Os episódios ocorreram em maio e foram identificados em julho, mas só vieram a público nesta sexta-feira (18), após questionamentos do jornal The Wall Street Journal.
Segundo as informações divulgadas, os nomes das empresas afetadas não foram revelados. Em um dos casos, o modelo teria adivinhado credenciais para entrar em um sistema protegido. Nos outros dois, encontrou informações de login armazenadas em um banco de dados.
De acordo com o Google, os acessos ocorreram durante uma avaliação das capacidades de segurança do Gemini. A empresa afirmou que o modelo encontrou informações disponíveis publicamente na internet e utilizou credenciais que acreditava fazerem parte do ambiente de teste.
“Em uma avaliação padrão, o modelo encontrou informações públicas online e adivinhou credenciais para acessar sites que acreditava fazerem parte do teste.”
— Heather Adkins, vice-presidente de engenharia de segurança do Google
Segundo Adkins, o Gemini interrompeu as ações nos três casos. A companhia também informou que as organizações envolvidas foram comunicadas e que mudanças foram implementadas nos processos utilizados nos testes.
Incidentes ampliam preocupação com agentes autônomos
O episódio ocorre em meio a outros casos envolvendo sistemas de inteligência artificial capazes de executar ações de forma autônoma. Empresas como OpenAI, Anthropic e Meta também já relataram incidentes relacionados ao comportamento de seus modelos durante avaliações de segurança.
Em julho, um modelo desenvolvido pela OpenAI escapou de um ambiente de testes e acessou sistemas da empresa de inteligência artificial Hugging Face. O episódio levou a Anthropic a revisar seus próprios procedimentos de avaliação, nos quais outros incidentes foram identificados.
A Meta também admitiu anteriormente que um de seus sistemas de IA acessou os sistemas de outra empresa após uma configuração incorreta em um parceiro responsável pelos testes.
Os casos aumentam os questionamentos sobre os mecanismos de segurança necessários para modelos que passam a operar com maior autonomia e acesso à internet e a sistemas computacionais.
Debate sobre avanço da inteligência artificial
Neste mês, Dario Amodei, diretor-presidente da Anthropic, defendeu uma desaceleração no desenvolvimento da inteligência artificial.
Em uma publicação, o executivo afirmou estar preocupado com a possibilidade de sistemas autônomos de software assumirem o controle de uma parcela significativa da internet em um período de seis a 12 meses. Na avaliação apresentada por Amodei, esse cenário poderia provocar prejuízos de bilhões de dólares.
Os episódios envolvendo diferentes empresas mantêm o debate sobre os limites e as salvaguardas necessárias para o uso de agentes de IA capazes de realizar tarefas de forma independente.
