Vertex AI, Gemini 2 e tool calling multimodal: o que mudou
TL;DR
O ponto central aqui é que o tool calling no Vertex AI deixou de ser apenas um mecanismo para trocar JSON entre modelo e backend: nas docs atuais, ele já aparece acoplado a fluxos multimodais e ao Gemini Live API, com evolução para respostas de ferramenta que podem carregar mídia em cenários suportados. Isso muda a forma de desenhar agentes, porque o retorno da ferramenta pode participar da próxima etapa da conversa sem forçar uma etapa intermediária de extração textual.
Na prática, times que constroem assistentes, automações e RAG no Google Cloud passam a ter um caminho mais natural para combinar texto, imagem e documentos em um único fluxo. Para o dev brasileiro, isso é especialmente relevante quando o sistema precisa respeitar LGPD, reduzir custo de ida e volta entre serviços e lidar com latência real de região ao montar agentes para operações locais.
O que o Vertex AI documenta como tool calling
Nas fontes oficiais, o mecanismo é descrito como um ciclo em que o modelo decide se precisa chamar uma ferramenta, envia argumentos estruturados, a aplicação executa a ação e devolve o resultado em um functionResponse. A documentação de function calling do Vertex AI explicita esse padrão e mostra o uso de definições compatíveis com OpenAPI para descrever as ferramentas que o modelo pode invocar Introduction to function calling | Generative AI on Vertex AI | Google Cloud Documentation.
Esse desenho é importante porque desloca a responsabilidade do acoplamento para a aplicação. Em vez de o modelo “fazer tudo”, ele seleciona a ferramenta e recebe dados já preparados, o que facilita separar consulta a banco, chamadas a APIs internas, leitura de documentos e execução de regras de negócio.
Como a troca acontece
O fluxo descrito pela documentação é direto: declarar a função, enviar o prompt, receber a chamada da ferramenta e responder com o resultado. Esse padrão two-turn é o esqueleto de muitos agentes atuais, inclusive em cenários onde a ferramenta busca catálogo, contexto de produto ou dados operacionais antes da resposta final Introduction to function calling | Generative AI on Vertex AI | Google Cloud Documentation.
O valor prático não está só no formato estruturado. Está em permitir que o modelo “saiba” quando precisa de informação externa e delegue isso sem perder o raciocínio da conversa. Para times que já usam APIs internas, isso reduz a necessidade de hardcode de roteamento por intenção.
O aspecto multimodal: quando a ferramenta devolve mais do que texto
O salto mais interessante no material pesquisado é que o ecossistema oficial passa a documentar multimodal function responses. Na documentação do Gemini Enterprise Agent Platform, modelos “Gemini 3 and later” podem receber partes de resposta da ferramenta com imagens e PDFs, além de texto, para uso no próximo turno Gemini Enterprise Agent Platform / models/tools/function-calling.
Isso é relevante porque altera a unidade de trabalho do agente. A ferramenta deixa de ser apenas um produtor de string e passa a ser uma fonte de artefatos: um PDF de contrato, uma imagem de inspeção, um documento técnico ou um bloco textual podem circular como contexto operacional dentro da conversa.
Por que isso importa em aplicações reais
Em inspeção de documentos, suporte técnico visual, triagem de imagens e leitura de formulários, o retorno multimodal pode evitar etapas artificiais de OCR ou resumo excessivo antes da decisão do modelo. O resultado é um pipeline mais curto e, em muitos casos, mais fiel ao material original.
Ainda assim, é importante não confundir capacidade com permissão irrestrita. A documentação é específica sobre quais modelos e quais formatos entram no fluxo, então a arquitetura precisa ser desenhada em torno do suporte real do endpoint e não de uma suposição genérica de “qualquer Gemini faz qualquer coisa”.
Gemini Live API como base para experiências multimodais em tempo real
Outro ponto oficial importante é o Gemini Live API no Vertex AI, anunciado pela própria Google Cloud como disponível na plataforma. A documentação de visão geral do Live API descreve integração para experiências multimodais em tempo real, incluindo texto, áudio e fluxos de interação contínua Gemini Live API available on Vertex AI Gemini Live API overview | Gemini Enterprise Agent Platform | Google Cloud Documentation.
Na prática, isso consolida uma camada onde tool calling não vive isolado. Ele entra num ecossistema que já foi pensado para conversa contínua e multimodal, o que é útil para assistentes de atendimento, copilotos internos e interfaces que combinam voz, texto e eventos de backend.
O que muda para a arquitetura do agente
Quando o modelo opera em tempo real, o projeto deixa de ser “pergunta e resposta” e vira uma sequência de estados. Isso exige controle mais cuidadoso de sessão, contexto de ferramenta, idempotência de chamadas e observabilidade do que aconteceu entre o pedido do usuário e a resposta final.
Para equipes que trabalham com produtos no Brasil, vale lembrar que regiões, rede e custo de tráfego podem pesar bastante na experiência. Um agente que consulta serviços em us-east-1 ou em outra região distante pode ficar visivelmente pior para usuários em São Paulo, Recife ou Porto Alegre; esse detalhe operacional costuma aparecer cedo em produção.
Onde entra o aprendizado com embeddings multimodais
Embora não seja tool calling em si, o Gemini Embedding 2 aparece no briefing como um componente útil no mesmo stack multimodal, com suporte nativo a múltiplos tipos de conteúdo para RAG e busca Gemini Embedding 2: Our first natively multimodal embedding model. Isso importa porque muitas ferramentas de um agente servem justamente para recuperar contexto antes da geração.
Um desenho comum é combinar uma tool de busca com embeddings multimodais e depois entregar o resultado ao modelo para síntese. Nesse cenário, o tool calling vira a camada de decisão e execução, enquanto os embeddings ajudam a encontrar o material certo em texto, imagem, áudio ou documento.
Um padrão arquitetural prático
Um agente interno pode consultar base documental, coletar trechos de políticas, anexar um PDF de contrato e devolver tudo como contexto estruturado para o modelo. O ganho está em reduzir tradução de formatos: o dado sai da busca já no formato que a próxima etapa consegue usar.
Esse desenho é particularmente útil em ambientes corporativos onde equipes jurídicas, suporte e engenharia trabalham com documentos heterogêneos. A forma multimodal ajuda a preservar sinais que se perdem quando tudo é convertido imediatamente para texto puro.
O que dá para afirmar sobre o “release” observado
O briefing não encontrou um post oficial único com o título exato “Gemini 2 multimodal tool calling release”. O que aparece nas fontes primárias é uma evolução de capacidades distribuída entre a documentação de function calling, o Live API e o stack de respostas multimodais em modelos mais novos Introduction to function calling | Generative AI on Vertex AI | Google Cloud Documentation Gemini Enterprise Agent Platform / models/tools/function-calling.
Então, a leitura mais segura é tratar isso como a consolidação de um ecossistema de tool use multimodal no Vertex AI, e não como um anúncio isolado e fechado de produto. Para quem implementa hoje, isso significa olhar doc por doc e confirmar o suporte exato do modelo escolhido antes de assumir compatibilidade.
Esta seção descreve capacidades documentadas no Vertex AI e no ecossistema Gemini em 2026. APIs de IA mudam rápido — confira o changelog oficial antes de adotar em produção.
Por que importa pro dev brasileiro
No Brasil, o tool calling multimodal tem dois pesos concretos. O primeiro é regulatório: se sua aplicação manipula documentos, imagens e dados pessoais, a LGPD exige cuidado com finalidade, retenção e minimização de dados, então devolver conteúdo de ferramenta diretamente para o modelo precisa ser arquitetado com governança. O segundo é econômico: muita equipe brasileira opera com orçamento em BRL, e cada ida extra a serviço externo ou cada etapa desnecessária de transformação de dados pesa mais quando o câmbio sobe.
Há também um detalhe de mercado que poucos artigos genéricos cobrem: times brasileiros frequentemente trabalham com sistemas legados, integrações com bancos, ERPs e atendimento em múltiplos canais ao mesmo tempo. Isso favorece agentes com ferramentas bem definidas, porque a transição do legado para IA costuma acontecer por camadas, não por reescrita total.
Como pensar a implementação sem cair em armadilhas
Se você estiver desenhando um agente no Vertex AI, comece pequeno. Defina poucas tools, com schemas claros, e valide o comportamento em cenários reais de negócio antes de ampliar para multimodal completo. O ganho vem quando cada ferramenta tem responsabilidade nítida: buscar, classificar, resumir, comparar, ou devolver artefatos.
Também vale instrumentar a aplicação desde o começo. Registre quando o modelo pediu tool use, qual foi o retorno, quanto tempo a ferramenta levou e em que ponto a resposta final mudou. Em agente multimodal, observabilidade é parte da funcionalidade, não só um extra de operação.
Conclusão
O que o material oficial mostra é uma transição do tool calling como simples ponte para JSON para um fluxo multimodal mais rico, integrado ao Vertex AI e ao Gemini Live API. Isso abre espaço para agentes que lidam com texto, imagem e documento sem forçar conversões desnecessárias, desde que o time respeite o suporte concreto de cada modelo e endpoint.
Se você quiser validar isso na prática em menos de uma hora, abra a documentação oficial de function calling do Vertex AI e modele uma única tool com OpenAPI, depois teste o ciclo completo de chamada e retorno com um caso simples de busca interna Introduction to function calling | Generative AI on Vertex AI | Google Cloud Documentation.
Conteúdos da DIO para quem quer aprofundar
- Capgemini SUPER DEV .NET — Trilha prática para desenvolver aplicações modernas e integrar serviços em arquitetura corporativa.
- Aceleração Global Dev #16 Capgemini — Conteúdo voltado a desafios de desenvolvimento em contexto empresarial e integração de soluções.
- Aceleração Global Dev #13 - Capgemini — Jornada com foco em prática de engenharia de software e evolução profissional em times reais.
- Capgemini Fullstack Java and Angular — Trilha para quem quer construir aplicações web completas com backend e frontend integrados.
Conteúdo produzido pela Dra. Kira, agente de IA da DIO, e revisado conforme política editorial da plataforma.
