TOON o formato leve que promete reduzir em mais de 50% o consumo de Tokens em Agentes de IA.

Introdução:

O Desafio da Redundância na Era da IA

Olá Automatizadores, pessoal! Vivemos hoje a era da Inteligência Artificial (IA), e na busca por otimizar nossos workflows e estratégias, especialmente ao lidar com grande volume de dados em agentes de IA, surge uma nova especificação que promete mudar o jogo:

o TOON.

Atualmente, o JSON é o formato padrão aceito pelo mercado, sendo amplamente utilizado em bancos de dados, APIs e no universo de automação e integração como o n8n. No entanto, ao trabalhar com agentes de IA, o JSON se torna um gargalo por ser muito redundante, o que acarreta um alto consumo de tokens.

Enviar um catálogo de produtos, uma listagem de compras recentes de um cliente ou injetar memória no prompt do seu agente são ações que consomem muitos tokens devido à repetição e à sintaxe excessiva do JSON.

É neste contexto que o TOON (Token Oriented Object Notation) se apresenta como uma solução.

O que é TOON?

Uma Notação Orientada a Tokens.

TOON significa :

Token Oriented Object Notation.

Ele é um novo formato e uma nova especificação de informação. O principal objetivo do TOON é reduzir custos ao diminuir o consumo de tokens em Large Language Models (LLM), como os da OpenAI.

É um formato de representação de dados leve, projetado especificamente para LLMs. É importante notar que esta é uma especificação muito nova, que está em constante melhoria e testes (o que é tratado como um "laboratório" pelos desenvolvedores, que estão a menos de um mês no ar.

Como o TOON Reduz o Consumo de Tokens?

Ao contrário do JSON e do Yml, o TOON alcança a economia de tokens eliminando a redundância de sintaxe.

No JSON, toda a marcação do próprio formato consome tokens, incluindo as aspas e, principalmente, a repetição de nomes de propriedades em arrays (listas).

Veja alguns exemplos de redundância no JSON que o TOON aborda:

1. Repetição de Chaves (IDs e Nomes de Campos): Em um array (lista) de informações, o ID ou o nome do campo se repetem em cada item. Essa repetição excessiva é eliminada pelo TOON.

2. Campos Longos: Há situações em que o nome do campo é maior do que o próprio valor que ele carrega. Isso resulta em um gasto maior de tokens com o nome da propriedade do que com o dado em si.

O TOON elimina esses excessos, mas ainda mantém a legitimidade da estrutura da informação. Embora nem sempre seja perfeitamente compreensível para humanos, a IA consegue entender a estrutura, o que é suficiente para que ela não alucine, e você economiza tokens.

--------------------------------------------------------------------------------

Aplicações Práticas: Quando o TOON Brilha

O TOON não deve ser usado para armazenar informações; você deve continuar armazenando seus dados em JSON. A funcionalidade do TOON entra em ação na rotina de conversão, pouco antes de você enviar os dados para o seu agente de IA.

A economia de tokens que você obtém com o TOON depende muito da estrutura do seu dado.

JSON Simples:

Baixa (Ex: 11% ou menos de 30%)

JSON Complexo:

Pode ser Baixa (Ex: 3%)

Mesmo sendo maior, a redução é menor se a redundância de repetição não for o fator principal:

Arrays (Listas) com Muita Redundância

Alta (Ex: 53% ou mais)

O TOON brilha ao pegar todas as repetições de propriedades e montar um cabeçalho único, inserindo as informações apenas uma vez

Arrays (Listas) de Tamanho Médio

Média (Ex: 30%).

A redução é menor se o nome do campo for pequeno. A redução é gigante se o nome do campo for muito maior do que o valor contido.

Em testes práticos, um array grande resultou em 53% de redução de tokens no prompt6. Em outro teste, a diferença de custo de input tokens entre JSON e TOON foi considerável, chegando a quase metade do consumo.

Isso torna o TOON extremamente útil nos seguintes casos:

• Envio de um catálogo de produtos para um agente de IA.

• Injeção de memória (histórico) no prompt para alimentar o contexto do agente.

• Qualquer lista de informações (array) onde haverá repetição do nome das propriedades.

Nota sobre a Implementação em n8n:

No momento, para utilizar o TOON no n8n, é necessário recorrer a um Community Node (como o n8n-nodes-toon-encode), pois a biblioteca do TOON ainda não é compatível para ser importada diretamente em um Node Code. Para quem utiliza o n8n, a implementação é simples: você informa qual dado JSON você deseja converter (o encoding) para que seja enviado no formato TOON ao seu agente89.

Uma prova de conceito (PoC) realizada no ambiente n8n demonstrou que o TOON é mais eficaz em cenários específicos. Para arrays grandes, como catálogos de produtos ou memórias de agentes, a redução no consumo de tokens pode chegar a 53%. No entanto, para objetos JSON simples ou complexos que não possuem repetição de chaves, a economia é marginal, variando entre 3% e 11%. A implementação atual no n8n depende de um community node, pois a biblioteca oficial do TOON ainda não é nativamente compatível. Por ser uma especificação muito recente (com menos de um mês na época da análise), o TOON deve ser considerado uma tecnologia em fase experimental, mas com grande potencial para aplicações que envolvem o envio de grandes volumes de dados listados para agentes de IA.

---------------------------------------------------------------------------

Conclusão:

O TOON é uma abordagem muito bem-vinda para quem trabalha diariamente com automação e agentes de IA, pois resolve o problema de economizar tokens.

Se você trabalha com grandes volumes de dados, como tabelas de preço, produtos, ou precisa injetar contextos amplos na memória do seu agente, a implementação do TOON pode gerar economias de até 50% ou mais no consumo de input tokens.

Embora a economia seja menor em JSONs mais simples, ela ainda pode ser considerada quando multiplicada pelas milhares de vezes que um agente de IA roda.

Armazenamento de Informação: É o formato em que você deve continuar armazenando a informação.

O TOON não é para armazenamento, mas sim uma rotina de conversão para ser usada antes do envio a agentes de IA.

• Envio de Dados para Agentes de IA: O JSON é o formato usual para encaminhar grandes volumes de dados (como um catálogo de produtos, listagem de compras recentes de um cliente ou injeção de memória) no prompt de um agente de IA.

No entanto, é neste contexto (agentes de IA) que o JSON é considerado muito redundante e, por isso, o TOON foi criado para reduzir o consumo de tokens.

Se a economia de tokens é crucial para o seu projeto (e para o seu cliente, que é o pagante da história), vale muito a pena instalar o Community Node e fazer seus próprios testes de laboratório para validar se o TOON é a solução ideal para as suas estruturas de dados.

Como um cofre digital que comprime arquivos repetidos antes de enviá-los, o TOON pega a redundância do JSON (como nomes de campos repetidos em listas) e a compacta, garantindo que a informação chegue intacta à IA, mas custando muito menos para ser transmitida.

Prof. Pinheiro

Full Stack Vertical Agents Developer.