Cache Semântico: Quando Perguntas Semelhantes Devem Compartilhar uma Resposta

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Fazer cache parece simples até a linguagem entrar em jogo. Os caches tradicionais perguntam se duas requisições são idênticas. As aplicações de AI geralmente se importam se duas requisições significam a mesma coisa. "Como faço para redefinir minha senha?" e "Esqueci minha senha — e agora?" são strings diferentes, mas podem merecer a mesma resposta de suporte.
Essa é a ideia por trás do cache semântico: gerar o embedding de uma consulta, compará-lo a consultas armazenadas em cache anteriormente e retornar uma resposta prévia quando a similaridade for suficientemente alta. O ganho pode ser dramático porque um cache hit elimina completamente a chamada ao modelo. O perigo é igualmente óbvio: uma correspondência aproximada pode ser semanticamente próxima e, ainda assim, exigir uma resposta diferente.
1. Três Caches, Três Trabalhos Diferentes
Estes são três trabalhos conceituais de cache, não necessariamente três caches implantados separadamente. Na TrueFoundry, o cache semântico é um superset do cache por correspondência exata: o modo semântico também pode retornar hits de correspondência exata, portanto você não precisa executar ambos os modos de gateway ao mesmo tempo. Escolha a correspondência exata quando apenas a reutilização de requisições idênticas for aceitável; escolha a semântica quando aceitar explicitamente a reutilização baseada em similaridade. O prompt caching do provedor pode se compor com qualquer um deles nos misses do gateway, onde o provedor do modelo ainda recebe a requisição.

A correspondência semântica
A etapa principal é aquela que as pessoas pulam nos diagramas: verificar o limite completo de equivalência. Na TrueFoundry, a similaridade semântica se aplica apenas à última mensagem; o restante dos parâmetros da requisição deve corresponder exatamente via hash, e as entradas de cache são automaticamente vinculadas ao usuário chamador ou à conta virtual. No entanto, o estado da aplicação que nunca entra na requisição — por exemplo, um tenant downstream atrás de uma conta virtual compartilhada, uma consulta de permissão, uma revisão de evidência ou um status de conta externa — não pode influenciar o cache a menos que você o codifique na requisição, no namespace, no limite de versão ou na política de elegibilidade do cache.
Namespaces
Particione os caches onde quer que a resposta correta possa diferir através de um limite. Na TrueFoundry, existem duas camadas: o isolamento por usuário/conta virtual é automático, e um namespace opcional particiona ainda mais dentro desse escopo. A segunda camada é importante quando uma única conta virtual atende a múltiplos tenants downstream, usuários finais, ambientes, versões de prompt ou outros contextos que nunca devem compartilhar respostas em cache. Um cache compartilhado é apropriado apenas quando a resposta subjacente é genuinamente compartilhada.
TTL e invalidação
Uma resposta em cache sobre "como configurar SSO" pode permanecer correta por dias. "O serviço X está degradado no momento?" pode se tornar incorreta em minutos. Use a frequência de atualização do domínio para definir TTLs e invalide agressivamente quando a política/conteúdo subjacente mudar.
Observabilidade
Meça hit rate, custo evitado, latência de ponta a ponta, overhead de busca no cache, relatórios de falsos hits e erros de cache. Um hit rate alto não é automaticamente bom; um limite amplo demais pode gerar uma métrica impressionante enquanto degrada a precisão da resposta.
Projete a classe de equivalência antes do limite
A questão central do cache semântico não é "qual threshold de cosseno devemos usar?". É "quais requisições têm permissão para compartilhar uma resposta?". Essa classe de equivalência pode ser mais estreita do que a similaridade semântica. Duas perguntas de suporte podem significar a mesma coisa, mas exigir respostas diferentes porque os usuários pertencem a planos, regiões, tenants ou versões de produto diferentes. O cache deve codificar esses limites antes mesmo que a similaridade seja considerada.
Um design prático é separar a identidade semântica da identidade de estado. A identidade semântica é a parte que pode variar na redação. A identidade de estado é tudo o que deve ser equivalente antes que a reutilização seja segura. A TrueFoundry implementa uma versão concreta disso: ela gera o embedding da última mensagem, enquanto o modelo, mensagens anteriores, temperature e o restante dos parâmetros da requisição passam por hash e devem corresponder exatamente. Ela também isola automaticamente as entradas por usuário ou conta virtual. O que ela não pode inferir é o estado da aplicação que está ausente da requisição; se a localidade, o tenant downstream, a permissão, a revisão de evidência, a disponibilidade de ferramentas ou a versão da política alterarem a resposta, represente esse estado na requisição ou no namespace, versione o cache ou marque a rota como inelegível para reutilização.
Escolha os limites com base no custo do erro, não na estética
Não existe uma pontuação de similaridade "boa" universal. A TrueFoundry documenta 0.9 como um ponto de partida, com limites mais rigorosos para casos de uso de alta precisão, mas isso é um padrão operacional e não uma garantia de exatidão. Um FAQ de suporte ao cliente pode tolerar uma correspondência semântica mais ampla do que um fluxo de trabalho de preços, permissões ou políticas. Mais importante ainda, nenhum threshold pode reparar um limite de estado ausente: duas perguntas podem ser próximas em embedding e, ainda assim, diferir em uma entidade, data, tenant, permissão ou versão de política que altera a resposta. Ajuste o threshold em relação a um conjunto rotulado de pares — mesma resposta versus resposta diferente — somente após esses limites estruturais estarem codificados.
Acompanhe os falsos positivos separadamente dos misses. Um miss custa latência e tokens; um falso positivo pode retornar a resposta errada sem sequer invocar o modelo. Essa assimetria geralmente significa que os limites de produção devem priorizar a precisão primeiro e só depois se expandir quando os dados de revisão mostrarem que os hits extras são genuinamente intercambiáveis.
Faça cache do limite de evidência, não apenas da redação
Se uma resposta depende de documentos ou ferramentas que mudam, vincule a validade do cache à versão da evidência. Um ID de implantação de base de conhecimento, revisão de política, versão de catálogo ou época de atualização de dados pode ser representado na requisição, em um namespace explícito ou em outro limite de invalidação/versão. Isso evita um modo de falha sutil em que uma pergunta perfeitamente alinhada retorna uma resposta gerada a partir das evidências de ontem, após a fonte subjacente ter mudado.
Para sistemas baseados em agentes, tome cuidado especial com decisões intermediárias em cache. Reutilizar "chamar a ferramenta X com os argumentos Y" é mais consequente do que reutilizar uma resposta em texto de FAQ. Na maioria dos casos, o cache de resposta semântica pertence a etapas informativas estáveis, enquanto as ações continuam passando por políticas e autorizações em tempo real.
A análise econômica deve incluir o overhead de busca
O cache semântico adiciona a geração de embeddings mais a busca em cache/vetorial, seja esse trabalho hospedado localmente ou gerenciado para você. Esse overhead geralmente é pequeno em relação a uma geração cara, mas não é gratuito. Meça o resultado de ponta a ponta: latência de busca no cache, custo da infraestrutura de embeddings ou do provedor onde aplicável, hit rate, custo de geração evitado e impacto na exatidão. A TrueFoundry exibe a latência média adicionada pelas buscas de cache em sua visualização de Cache Metrics; use o overhead medido em vez de presumir que o cache é automaticamente mais rápido para todas as rotas. Um modelo de baixo custo com respostas curtas pode não justificar o cache semântico, mesmo quando o hit rate parecer atraente.
2. Onde a TrueFoundry se Encaixa: Cache no Limite do Gateway
O cache no AI Gateway da TrueFoundry suporta response caching semântico e por correspondência exata. A documentação atual distingue isso do prompt caching do provedor: os hits do gateway retornam a resposta armazenada sem invocar o modelo, enquanto o prompt caching do provedor ainda gera uma completion.
Para o cache semântico, a TrueFoundry documenta a similaridade baseada em embeddings na última mensagem enquanto aplica hash ao restante dos parâmetros da requisição; esses parâmetros não semânticos devem corresponder exatamente. O isolamento do cache também é em dois níveis: as entradas são vinculadas automaticamente ao usuário chamador ou à conta virtual, e um namespace customizado opcional pode particionar ainda mais dentro desse escopo — por exemplo, quando uma conta virtual representa múltiplos tenants downstream ou ambientes. Os cabeçalhos de resposta expõem o status do cache, o ID do trace original armazenado em cache e, para hits semânticos, a pontuação de similaridade. Esses detalhes são importantes porque tornam o comportamento do cache inspecionável, em vez de uma otimização invisível.

O Metrics Dashboard documenta uma visualização de Cache Metrics com requisições totais de cache, porcentagem de cache hits, custo total economizado, erros de cache e latência média adicionada pelas buscas de cache. Esse é o ciclo de feedback operacional correto para decidir se o cache é economicamente útil. A exatidão ainda precisa de um sinal do lado da aplicação — por exemplo, falsos hits revisados ou avaliação da qualidade da resposta específica da rota — porque o hit rate e a economia de custos sozinhos não podem dizer se duas requisições deveriam ter compartilhado uma resposta.
Um detalhe de implementação é específico da implantação. O SaaS da TrueFoundry gerencia a infraestrutura de cache e atualmente documenta o text-embedding-3-small da OpenAI como o modelo de embedding padrão para cache semântico. Implantações self-hosted podem configurar o modelo de embedding, e o repositório de cache on-premise documentado é o Redis ou um repositório compatível com Redis, como o Valkey. Isso importa para as revisões de desempenho e limites de dados: o caminho do cache semântico inclui tanto o repositório quanto o modelo de embedding, portanto, avalie onde cada um é executado na implantação que você realmente opera.
3. Limites, Explicados Claramente
O cache semântico é inadequado para respostas altamente personalizadas, dados que mudam rapidamente, trabalho criativo estocástico ou decisões de grande impacto onde uma correspondência aproximada é inaceitável. O cache por correspondência exata evita falsos hits semânticos, mas só é apropriado quando a requisição completa for idêntica e a resposta em cache permanecer válida sob o limite atual de atualização, autorização, evidência e política.
O cache deve ser um contrato de produto explícito: estas classes de requisição são reutilizáveis sob estes limites de estado por este período. Todo o resto é um miss por design.
Referências
- TrueFoundry: Caching — Exact and Semantic — tipos de cache, correspondência semântica de última mensagem, hash exato dos parâmetros restantes, isolamento automático de usuário/conta virtual, namespaces, cabeçalhos de resposta, configuração de Redis/on-prem e configuração de modelo de embedding.
- TrueFoundry: Chat Completions — Prompt Caching — abstração de prompt-caching do provedor e tratamento específico do provedor.
- TrueFoundry: Metrics Dashboard — Cache Metrics — requisições, porcentagem de hits, custo economizado, erros e overhead de latência de busca.
- OpenAI: Prompt Caching — processamento de prefixo de prompt em cache e contabilidade de tokens em cache.
- Anthropic: Prompt Caching — prompt-prefix caching automático/explícito e comportamento de controle de cache.
Similaridade semântica não é garantia de exatidão. Correspondência exata não é garantia de atualização. A TrueFoundry isola automaticamente as entradas de cache por usuário ou conta virtual; namespaces customizados particionam ainda mais dentro desse escopo. Elegibilidade de cache, limites de estado da aplicação, regras de invalidação/versão e revisão de falsos hits permanecem como decisões da aplicação.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)
.webp)


.webp)
.webp)

.webp)
.webp)
.png)

.png)
.png)






