IA e Cibersegurança para Assistentes Virtuais no Mercado Financeiro
Quando a conversa vira interface para dados críticos, “responder bem” deixa de ser suficiente.
Assistentes virtuais baseados em IA generativa estão evoluindo de simples interfaces de perguntas e respostas para componentes capazes de interpretar contexto, consultar dados, organizar informações e apoiar decisões.
No mercado financeiro, essa evolução muda a natureza do problema.
Uma resposta incorreta em um chatbot comum pode ser apenas inconveniente. Em um ambiente financeiro, uma informação inventada, uma inferência apresentada como fato ou um contexto interpretado incorretamente pode afetar confiança, atendimento e até processos de maior impacto.
Por isso, talvez a pergunta mais interessante não seja:
“Como fazer a IA responder melhor?”
Mas:
“Como construir um assistente cuja resposta seja proporcional às evidências que ele realmente possui?”
O problema não está apenas no modelo
É tentador colocar a segurança exclusivamente na conta do LLM.
Prompt mais restritivo.
Modelo maior.
Filtro de conteúdo.
RAG.
Guardrails.
Tudo isso pode contribuir.
Mas existe uma diferença fundamental entre controlar o comportamento esperado e comprovar que o comportamento observado é confiável.
Um sistema pode receber uma instrução explícita para não inventar informações e, ainda assim, produzir uma resposta que preencha uma lacuna com uma informação sem evidência.
Da mesma forma, um JSON pode obedecer perfeitamente ao schema e conter um valor semanticamente incorreto.
Ou uma consulta pode retornar HTTP 200 e entregar um payload incompleto.
Ou um modelo pode identificar corretamente um padrão estatístico, mas transformar uma possibilidade em uma conclusão.
A superfície mudou. O problema clássico de segurança continua:
dados precisam ser tratados como evidência, não como verdade automática.
O novo perímetro de segurança
Em uma arquitetura tradicional, pensamos em perímetro, identidade, autorização, dados, aplicações e APIs.
Com assistentes baseados em LLM, surge uma camada adicional:
contexto.
O modelo pode receber informações provenientes de múltiplas fontes:
- perfil do cliente;
- histórico de atendimento;
- transações;
- catálogo de produtos;
- documentos;
- mensagens;
- ferramentas externas;
- memória conversacional.
O desafio passa a ser determinar:
quem forneceu essa informação, qual é sua natureza, ela está autorizada para aquele contexto e existe evidência suficiente para utilizá-la?
Esse problema se torna ainda mais relevante quando o agente possui acesso a ferramentas ou fontes que o usuário não acessaria diretamente. O próprio trabalho do NIST sobre Cyber AI destaca a necessidade de vincular identidades de agentes e serviços às credenciais e ao contexto apropriado.
Prompt não é controle de segurança
Um prompt pode estabelecer:
“Utilize somente informações disponíveis na base.”
É uma regra importante.
Mas uma regra escrita não é automaticamente um controle eficaz.
É necessário observar o comportamento.
Isso sugere uma arquitetura de validação em camadas:
Entrada → validação → contexto → modelo → saída → verificação → resposta
Cada etapa pode produzir evidências diferentes.
A saída do modelo não deveria ser considerada automaticamente a última palavra do sistema.
Ela é um artefato que também precisa ser validado.
O conceito que considero mais importante: rastreabilidade
Imagine uma resposta financeira:
“Seu limite disponível é X.”
A pergunta de segurança não deveria terminar em:
“O modelo respondeu X?”
Deveria continuar:
“De onde veio X?”
E depois:
- qual fonte?
- qual registro?
- qual versão do dado?
- qual regra foi aplicada?
- houve cálculo?
- houve inferência?
- havia informação suficiente?
- o modelo declarou incerteza quando necessário?
Isso aproxima IA generativa de uma disciplina conhecida na engenharia de segurança:
auditabilidade.
Uma resposta confiável precisa permitir reconstruir, dentro dos limites do sistema, o caminho entre o dado de origem e a informação apresentada ao usuário.
A fronteira entre fato, inferência e hipótese
Existe outra distinção que considero essencial.
Fato: existe evidência correspondente na fonte.
Inferência: uma conclusão foi derivada a partir de evidências disponíveis.
Hipótese: uma possibilidade ainda precisa ser investigada.
O problema aparece quando essas três camadas são convertidas pela interface em uma única frase com aparência de certeza.
Em um contexto financeiro, dizer:
“Existe uma transação fora do padrão.”
é diferente de:
“Essa transação é uma fraude.”
A primeira pode representar uma observação ou resultado de um modelo.
A segunda exige evidências adicionais.
Essa diferença parece pequena na linguagem.
Tecnicamente, ela é enorme.
Cibersegurança também precisa proteger o contexto
Prompt injection, manipulação de documentos, envenenamento de contexto, vazamento de informações e abuso de ferramentas mostram que o ataque não precisa necessariamente atingir o modelo diretamente.
Ele pode atingir aquilo que o modelo acredita que deve considerar como contexto.
A edição 2026 do OWASP Top 10 para aplicações LLM amplia justamente a discussão sobre riscos de aplicações modernas baseadas em modelos generativos e seus mecanismos de integração.
Isso muda uma premissa importante:
dados fornecidos ao modelo também fazem parte da superfície de ataque.
Um documento pode ser informação para o usuário e, simultaneamente, uma entrada potencialmente hostil para o sistema.
Portanto, “está dentro da base” não deveria significar automaticamente “é uma instrução confiável”.
E onde entra a inteligência artificial?
Paradoxalmente, o mesmo mecanismo que cria novos riscos também pode ajudar a tratá-los.
Um assistente pode:
- correlacionar eventos;
- organizar histórico;
- identificar inconsistências;
- destacar informações ausentes;
- classificar sinais;
- resumir evidências;
- indicar incertezas;
- acelerar investigação.
Mas existe uma diferença entre automatizar análise e automatizar decisão.
Quanto maior o impacto de uma ação, maior deveria ser a exigência de evidência, autorização, rastreabilidade e controle.
Isso não significa eliminar automação.
Significa definir cuidadosamente até onde a automação pode ir.
O paradoxo dos assistentes financeiros
Quanto mais útil um assistente se torna, maior pode ser sua superfície de risco.
Um chatbot que apenas responde perguntas possui um conjunto de capacidades.
Um agente que acessa dados, interpreta contexto, chama APIs, calcula informações e executa ações possui outro.
A evolução de:
chatbot → assistente → agente
não deveria representar apenas aumento de capacidade.
Deveria representar também aumento proporcional de:
controle + observabilidade + validação + governança.
O NIST AI RMF e seu perfil específico para GenAI tratam justamente da necessidade de incorporar confiabilidade e gestão de riscos ao ciclo de vida desses sistemas, incluindo avaliação e validação.
O verdadeiro teste de maturidade
Talvez o teste mais interessante para um assistente financeiro não seja perguntar:
“Quantas perguntas ele responde corretamente?”
Mas também:
- Quantas vezes ele reconhece que não possui informação suficiente?
- Consegue diferenciar dado observado de inferência?
- Mantém rastreabilidade?
- Preserva contexto sem absorver instruções maliciosas?
- Detecta inconsistências nos dados?
- Sabe quando não deve executar uma ação?
- É possível reconstruir por que determinada resposta foi produzida?
- O comportamento continua consistente quando a entrada muda?
Porque existe uma diferença fundamental entre um sistema que produz respostas convincentes e um sistema que produz respostas sustentáveis por evidências.
No setor financeiro, essa diferença pode ser uma das fronteiras mais importantes da engenharia de IA.
