Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

Cache Semântico: Quando Perguntas Semelhantes Devem Compartilhar uma Resposta

By Boyu Wang

Updated: novembro 3, 2026

Published: agosto 20, 2026

Fazer cache parece simples até a linguagem entrar em jogo. Os caches tradicionais perguntam se duas requisições são idênticas. As aplicações de AI geralmente se importam se duas requisições significam a mesma coisa. "Como faço para redefinir minha senha?" e "Esqueci minha senha — e agora?" são strings diferentes, mas podem merecer a mesma resposta de suporte.

Essa é a ideia por trás do cache semântico: gerar o embedding de uma consulta, compará-lo a consultas armazenadas em cache anteriormente e retornar uma resposta prévia quando a similaridade for suficientemente alta. O ganho pode ser dramático porque um cache hit elimina completamente a chamada ao modelo. O perigo é igualmente óbvio: uma correspondência aproximada pode ser semanticamente próxima e, ainda assim, exigir uma resposta diferente.

Princípio Operacional e Principais Conclusões
O princípio operacional: a equivalência de cache é uma decisão de produto, não uma pontuação de embedding.

Principais Conclusões

  • Prompt caching e response caching são camadas diferentes. O prompt caching do provedor reutiliza o cálculo do prefixo do prompt enquanto o modelo ainda gera uma nova completion; o response caching no gateway pode pular a chamada ao modelo inteiramente em caso de hit.
  • A correspondência exata evita falsos hits semânticos, mas não é automaticamente correta. Uma requisição idêntica byte a byte ainda pode retornar uma resposta em cache desatualizada ou com escopo incorreto se a verdade subjacente, o contexto de autorização ou o limite do cache tiverem mudado.
  • O limite de similaridade não é suficiente. No cache semântico da TrueFoundry, a última mensagem é comparada semanticamente, enquanto o restante do envelope da requisição passa por hash e deve corresponder exatamente. O estado da aplicação que não está presente nessa requisição — como tenant downstream, autorização, versão de evidência ou revisão de política — ainda precisa de um limite de cache explícito.
  • O isolamento é em camadas. A TrueFoundry vincula automaticamente as entradas de cache ao usuário chamador ou à conta virtual; namespaces customizados opcionais particionam ainda mais dentro desse escopo. Se uma conta virtual atende a múltiplos tenants downstream ou usuários finais, aplique namespaces a eles explicitamente.
  • O TTL deve seguir a atualização dos dados, não a conveniência. Respostas sobre políticas e status do produto têm requisitos de expiração muito diferentes, e a invalidação baseada em versão costuma ser mais segura do que esperar apenas pelo tempo.
  • A TrueFoundry oferece cache de gateway por correspondência exata e semântica, além de observabilidade de cache. A aplicação ainda decide quais classes de requisição são seguras para reutilização e qual mudança de estado altera a resposta correta.

1. Três Caches, Três Trabalhos Diferentes

Tabela de Comparação de Caches
Cache O que é reutilizado Correspondência O modelo ainda executa?
Provider prompt cache Cálculo do prefixo do prompt Regras de prefixo específicas do provedor Sim
Exact gateway cache Resposta completa do modelo Requisição completa idêntica dentro do mesmo escopo de cache Não em caso de hit
Semantic gateway cache Resposta completa do modelo Última mensagem semelhante + correspondência exata no restante do envelope da requisição + mesmo escopo de cache Não em caso de hit

Estes são três trabalhos conceituais de cache, não necessariamente três caches implantados separadamente. Na TrueFoundry, o cache semântico é um superset do cache por correspondência exata: o modo semântico também pode retornar hits de correspondência exata, portanto você não precisa executar ambos os modos de gateway ao mesmo tempo. Escolha a correspondência exata quando apenas a reutilização de requisições idênticas for aceitável; escolha a semântica quando aceitar explicitamente a reutilização baseada em similaridade. O prompt caching do provedor pode se compor com qualquer um deles nos misses do gateway, onde o provedor do modelo ainda recebe a requisição.

TrueFoundry cache metrics dashboard
Visualização oficial das Cache Metrics da TrueFoundry: hit rate, economia de custos, erros de cache e latência de busca são visíveis como sinais operacionais de primeira classe.

A correspondência semântica

A etapa principal é aquela que as pessoas pulam nos diagramas: verificar o limite completo de equivalência. Na TrueFoundry, a similaridade semântica se aplica apenas à última mensagem; o restante dos parâmetros da requisição deve corresponder exatamente via hash, e as entradas de cache são automaticamente vinculadas ao usuário chamador ou à conta virtual. No entanto, o estado da aplicação que nunca entra na requisição — por exemplo, um tenant downstream atrás de uma conta virtual compartilhada, uma consulta de permissão, uma revisão de evidência ou um status de conta externa — não pode influenciar o cache a menos que você o codifique na requisição, no namespace, no limite de versão ou na política de elegibilidade do cache.

Namespaces

Particione os caches onde quer que a resposta correta possa diferir através de um limite. Na TrueFoundry, existem duas camadas: o isolamento por usuário/conta virtual é automático, e um namespace opcional particiona ainda mais dentro desse escopo. A segunda camada é importante quando uma única conta virtual atende a múltiplos tenants downstream, usuários finais, ambientes, versões de prompt ou outros contextos que nunca devem compartilhar respostas em cache. Um cache compartilhado é apropriado apenas quando a resposta subjacente é genuinamente compartilhada.

TTL e invalidação

Uma resposta em cache sobre "como configurar SSO" pode permanecer correta por dias. "O serviço X está degradado no momento?" pode se tornar incorreta em minutos. Use a frequência de atualização do domínio para definir TTLs e invalide agressivamente quando a política/conteúdo subjacente mudar.

Observabilidade

Meça hit rate, custo evitado, latência de ponta a ponta, overhead de busca no cache, relatórios de falsos hits e erros de cache. Um hit rate alto não é automaticamente bom; um limite amplo demais pode gerar uma métrica impressionante enquanto degrada a precisão da resposta.

Projete a classe de equivalência antes do limite

A questão central do cache semântico não é "qual threshold de cosseno devemos usar?". É "quais requisições têm permissão para compartilhar uma resposta?". Essa classe de equivalência pode ser mais estreita do que a similaridade semântica. Duas perguntas de suporte podem significar a mesma coisa, mas exigir respostas diferentes porque os usuários pertencem a planos, regiões, tenants ou versões de produto diferentes. O cache deve codificar esses limites antes mesmo que a similaridade seja considerada.

Um design prático é separar a identidade semântica da identidade de estado. A identidade semântica é a parte que pode variar na redação. A identidade de estado é tudo o que deve ser equivalente antes que a reutilização seja segura. A TrueFoundry implementa uma versão concreta disso: ela gera o embedding da última mensagem, enquanto o modelo, mensagens anteriores, temperature e o restante dos parâmetros da requisição passam por hash e devem corresponder exatamente. Ela também isola automaticamente as entradas por usuário ou conta virtual. O que ela não pode inferir é o estado da aplicação que está ausente da requisição; se a localidade, o tenant downstream, a permissão, a revisão de evidência, a disponibilidade de ferramentas ou a versão da política alterarem a resposta, represente esse estado na requisição ou no namespace, versione o cache ou marque a rota como inelegível para reutilização.

Escolha os limites com base no custo do erro, não na estética

Não existe uma pontuação de similaridade "boa" universal. A TrueFoundry documenta 0.9 como um ponto de partida, com limites mais rigorosos para casos de uso de alta precisão, mas isso é um padrão operacional e não uma garantia de exatidão. Um FAQ de suporte ao cliente pode tolerar uma correspondência semântica mais ampla do que um fluxo de trabalho de preços, permissões ou políticas. Mais importante ainda, nenhum threshold pode reparar um limite de estado ausente: duas perguntas podem ser próximas em embedding e, ainda assim, diferir em uma entidade, data, tenant, permissão ou versão de política que altera a resposta. Ajuste o threshold em relação a um conjunto rotulado de pares — mesma resposta versus resposta diferente — somente após esses limites estruturais estarem codificados.

Acompanhe os falsos positivos separadamente dos misses. Um miss custa latência e tokens; um falso positivo pode retornar a resposta errada sem sequer invocar o modelo. Essa assimetria geralmente significa que os limites de produção devem priorizar a precisão primeiro e só depois se expandir quando os dados de revisão mostrarem que os hits extras são genuinamente intercambiáveis.

Faça cache do limite de evidência, não apenas da redação

Se uma resposta depende de documentos ou ferramentas que mudam, vincule a validade do cache à versão da evidência. Um ID de implantação de base de conhecimento, revisão de política, versão de catálogo ou época de atualização de dados pode ser representado na requisição, em um namespace explícito ou em outro limite de invalidação/versão. Isso evita um modo de falha sutil em que uma pergunta perfeitamente alinhada retorna uma resposta gerada a partir das evidências de ontem, após a fonte subjacente ter mudado.

Para sistemas baseados em agentes, tome cuidado especial com decisões intermediárias em cache. Reutilizar "chamar a ferramenta X com os argumentos Y" é mais consequente do que reutilizar uma resposta em texto de FAQ. Na maioria dos casos, o cache de resposta semântica pertence a etapas informativas estáveis, enquanto as ações continuam passando por políticas e autorizações em tempo real.

A análise econômica deve incluir o overhead de busca

O cache semântico adiciona a geração de embeddings mais a busca em cache/vetorial, seja esse trabalho hospedado localmente ou gerenciado para você. Esse overhead geralmente é pequeno em relação a uma geração cara, mas não é gratuito. Meça o resultado de ponta a ponta: latência de busca no cache, custo da infraestrutura de embeddings ou do provedor onde aplicável, hit rate, custo de geração evitado e impacto na exatidão. A TrueFoundry exibe a latência média adicionada pelas buscas de cache em sua visualização de Cache Metrics; use o overhead medido em vez de presumir que o cache é automaticamente mais rápido para todas as rotas. Um modelo de baixo custo com respostas curtas pode não justificar o cache semântico, mesmo quando o hit rate parecer atraente.

2. Onde a TrueFoundry se Encaixa: Cache no Limite do Gateway

O cache no AI Gateway da TrueFoundry suporta response caching semântico e por correspondência exata. A documentação atual distingue isso do prompt caching do provedor: os hits do gateway retornam a resposta armazenada sem invocar o modelo, enquanto o prompt caching do provedor ainda gera uma completion.

Para o cache semântico, a TrueFoundry documenta a similaridade baseada em embeddings na última mensagem enquanto aplica hash ao restante dos parâmetros da requisição; esses parâmetros não semânticos devem corresponder exatamente. O isolamento do cache também é em dois níveis: as entradas são vinculadas automaticamente ao usuário chamador ou à conta virtual, e um namespace customizado opcional pode particionar ainda mais dentro desse escopo — por exemplo, quando uma conta virtual representa múltiplos tenants downstream ou ambientes. Os cabeçalhos de resposta expõem o status do cache, o ID do trace original armazenado em cache e, para hits semânticos, a pontuação de similaridade. Esses detalhes são importantes porque tornam o comportamento do cache inspecionável, em vez de uma otimização invisível.

TrueFoundry AI Gateway metrics overview
Visão geral oficial das métricas do AI Gateway da TrueFoundry. O cache pertence ao mesmo plano de custo de modelo e observabilidade de requisições que as chamadas que ele substitui.

O Metrics Dashboard documenta uma visualização de Cache Metrics com requisições totais de cache, porcentagem de cache hits, custo total economizado, erros de cache e latência média adicionada pelas buscas de cache. Esse é o ciclo de feedback operacional correto para decidir se o cache é economicamente útil. A exatidão ainda precisa de um sinal do lado da aplicação — por exemplo, falsos hits revisados ou avaliação da qualidade da resposta específica da rota — porque o hit rate e a economia de custos sozinhos não podem dizer se duas requisições deveriam ter compartilhado uma resposta.

Um detalhe de implementação é específico da implantação. O SaaS da TrueFoundry gerencia a infraestrutura de cache e atualmente documenta o text-embedding-3-small da OpenAI como o modelo de embedding padrão para cache semântico. Implantações self-hosted podem configurar o modelo de embedding, e o repositório de cache on-premise documentado é o Redis ou um repositório compatível com Redis, como o Valkey. Isso importa para as revisões de desempenho e limites de dados: o caminho do cache semântico inclui tanto o repositório quanto o modelo de embedding, portanto, avalie onde cada um é executado na implantação que você realmente opera.

A Nota de Auditoria de Cache
A auditoria de cache. Liste as cinco classes de requisição de AI com maior volume. Quais são seguras para reutilizar exatamente? Quais são reutilizáveis semanticamente? Qual estado, além da última mensagem do usuário, altera a resposta correta? Qual parte desse estado já está no hash da requisição e qual vive apenas na sua aplicação? O isolamento automático por usuário/conta virtual é suficiente ou uma conta virtual compartilhada precisa de um namespace por tenant/usuário final? Qual evento ou versão invalida uma resposta? Qual é o caminho de revisão de falsos hits? Você consegue correlacionar uma resposta em cache ao trace que a produziu originalmente? Se você otimizar apenas para o hit rate, o cache eventualmente otimizará contra a exatidão.

3. Limites, Explicados Claramente

O cache semântico é inadequado para respostas altamente personalizadas, dados que mudam rapidamente, trabalho criativo estocástico ou decisões de grande impacto onde uma correspondência aproximada é inaceitável. O cache por correspondência exata evita falsos hits semânticos, mas só é apropriado quando a requisição completa for idêntica e a resposta em cache permanecer válida sob o limite atual de atualização, autorização, evidência e política.

O cache deve ser um contrato de produto explícito: estas classes de requisição são reutilizáveis sob estes limites de estado por este período. Todo o resto é um miss por design.

Referências

Similaridade semântica não é garantia de exatidão. Correspondência exata não é garantia de atualização. A TrueFoundry isola automaticamente as entradas de cache por usuário ou conta virtual; namespaces customizados particionam ainda mais dentro desse escopo. Elegibilidade de cache, limites de estado da aplicação, regras de invalidação/versão e revisão de falsos hits permanecem como decisões da aplicação.

‍

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

No items found.
novembro 19, 2026
|
5 min read

AI Gateway Observability for Agents: Oodle on TrueFoundry

Integrations
novembro 19, 2026
|
5 min read

AI Gateway Security for Agents: Straiker on TrueFoundry

No items found.
novembro 18, 2026
|
5 min read

Limites do Claude Code Explicados (Edição 2026)

No items found.
Analyzing how Cloudflare detects MCP traffic
novembro 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour