Começamos perguntando

Depois, passamos a trabalhar com copilotos.

Agora, estamos ensinando agentes a planejar, executar e interagir com ferramentas.

Essa evolução muda uma variável importante: o impacto de um erro.

Um chatbot pode gerar uma resposta incorreta.

Um copiloto pode sugerir código vulnerável.

Um agente pode executar uma ação baseada nessa interpretação.

É aqui que Inteligência Artificial e Cibersegurança deixam de ser assuntos separados.

Da resposta à ação

Na Engenharia de Prompts, aprendemos que contexto, objetivo, restrições e critérios influenciam a qualidade da saída.

Com agentes, isso ganha outra dimensão.

Não basta perguntar:

“Faça isso.”

Precisamos definir:

O que pode fazer?

Com quais dados?

Com quais permissões?

Sob quais regras?

Como verificar o resultado?

O OWASP destaca justamente o risco de Excessive Agency: funcionalidades, permissões ou autonomia excessivas podem transformar uma saída inesperada ou manipulada em uma ação prejudicial.

E onde entra o desenvolvimento orientado a especificações?

O SDD4J, da SouJava, propõe colocar especificações próximas ao código Java, utilizando package-info.java, requisitos EARS e mecanismos de verificação rastreável.

A ideia é interessante porque aproxima:

Especificação → Implementação → Teste → Verificação

Isso não torna automaticamente o software seguro.

Mas cria uma oportunidade importante:

transformar intenção em algo que possa ser verificado.

E segurança depende justamente disso.

O NIST SSDF recomenda incorporar práticas de segurança ao ciclo de desenvolvimento, incluindo requisitos de segurança, análise de riscos e verificação.

A mesma lógica aplicada à IA

Quando juntamos essas ideias, surge uma cadeia:

Regra → Agente → Ação → Teste → Evidência

E ela pode ser aplicada tanto ao código quanto ao comportamento do agente.

Por exemplo:

Regra: o agente pode consultar, mas não alterar determinado recurso.

Teste: tentar induzir o agente a executar uma operação fora dessa permissão.

Evidência: registrar a ação efetivamente realizada.

Classificação: PASS, FAIL ou INCONCLUSIVO.

Limitação/Futuro: identificar o que ainda precisa ser validado.

Essa última etapa é fundamental.

O NIST AI RMF e seu perfil para IA generativa tratam avaliação, confiabilidade e gestão de riscos como parte do ciclo de vida da IA. O perfil também destaca riscos como confabulação e privacidade.

O novo perímetro

Talvez o perímetro de segurança não seja mais apenas:

usuário → aplicação → banco

Em sistemas agentivos, podemos ter:

usuário → agente → modelo → skill → ferramenta → API → dados

Cada transição pode introduzir uma nova superfície de risco.

Prompt Injection.

Vazamento de informação.

Supply chain.

Manipulação de dados.

Output inseguro.

Excesso de autonomia.

Esses riscos aparecem no OWASP Top 10 para aplicações de LLM e IA generativa.

O ponto central

A evolução que começou com:

Pergunta → Resposta

passou para:

Contexto → Sugestão

e agora chega a:

Objetivo → Planejamento → Ação → Verificação

Quanto maior a autonomia, maior a necessidade de controle, rastreabilidade e evidência.

Por isso, minha linha de raciocínio continua simples:

Regra → Teste → Evidência → Classificação → Limitação/Futuro.

A IA pode escrever código.

Pode explicar conceitos.

Pode criar planos.

Pode executar tarefas.

Mas segurança começa quando deixamos de perguntar apenas:

“A IA conseguiu fazer?”

e passamos a perguntar:

“Ela fez exatamente o que deveria, somente o que poderia, e temos evidência para provar isso?”

Talvez esse seja um dos pontos mais interessantes da próxima geração de desenvolvimento:

não ensinar apenas a IA a executar — mas construir sistemas em que sua execução possa ser verificada.

#CyberSecurity #AIAgents #DevSecOps #PromptEngineering #AppSec #Java #SDD #LLM