Blank white background with no objects or features visible.

Olá, EMEA! A TrueFoundry está expandindo sua presença pela Europa, Oriente Médio e África. Leia mais. →

True ML Talks #20 - Transformers, Embeddings e LLMs - ML Scientist @ Turnitin

By TrueFoundry

Updated: novembro 3, 2026

Published: maio 20, 2026

Estamos de volta com mais um episódio do  True ML Talks. Neste episódio, vamos nos aprofundar nas ideias principais do fascinante artigo intitulado Analyzing Transformer Dynamics as Movement through Embedding Space.  Este artigo introduz uma perspectiva inovadora sobre como os Transformers operam, enfatizando que eles aprendem um espaço de embedding e navegam por ele durante o processo de inferência. Conversamos com Sumeet Singh

Sumeet é Distinguished ML Scientist na Turnitin e autor do artigo que discutiremos hoje. Ele também possui histórico na área de pesquisa.

📌

Nossas conversas com Sumeet abordarão os seguintes aspectos:
- Compreendendo a Dinâmica dos Transformers
- Desmistificando o Espaço de Embedding em Modelos Transformer
- Decifrando a Mecânica da Predição de Tokens em Transformers
- Abstrações Únicas das Camadas de Transformers
- O Mistério dos Tokens Repetitivos
- A Noção Enganosa de Aprendizado em Modelos Transformer
- A Interação entre In-Context Learning, Few-Shot Learning e Fine-Tuning em Transformers
- Navegando pela AI de Propósito Geral: Escolhas de Modelos e Insights Práticos

Assista ao episódio completo abaixo:

Compreendendo a Dinâmica dos Transformers: Uma Imersão no Espaço de Embedding

No domínio da AI e do processamento de linguagem natural, o modelo Transformer reina soberano no processamento e geração de texto. Mas o que existe por baixo dessa arquitetura impressionante? O artigo revolucionário "Analyzing Transformer Dynamics as Movement to Embedding Space" desvenda os mistérios do funcionamento interno do Transformer.

‍

Esta pesquisa começou durante o desenvolvimento de um modelo de correção automática para respostas curtas, que atingiu uma impressionante precisão de 80% em várias disciplinas, mas carecia de clareza sobre seus mecanismos. Para entender o comportamento do Transformer, o estudo aprofundou-se, explorando inicialmente a atribuição de atenção e a análise de pesos com insights limitados, deixando os pesquisadores intrigados.

1. Uma Mudança de Paradigma: Visualizando Transformers no Espaço de Embedding

O ponto de virada nesta pesquisa ocorreu ao perceberem que o Transformer poderia ser visto como uma série de operadores em um espaço de embedding. Esse espaço, como uma paisagem tridimensional, guia as predições do Transformer. Em vez de procurar por padrões de atenção, a perspectiva mudou para visualizar o Transformer como um rio fluindo por vales e cânions, seguindo caminhos de menor entropia.

2. O Espaço de Embedding Fixo

Assim que o modelo é treinado, o espaço de embedding permanece fixo. Quando apresentado à mesma sequência de entrada, ele produz consistentemente embeddings idênticos. Esses embeddings são cruciais na predição do próximo token, pois determinam as probabilidades atribuídas a cada token na sequência.

3. Proximidade Angular e Predição de Tokens

A pesquisa revelou que o espaço de embedding se organizou em um espaço delimitado semelhante a uma esfera, graças à layer normalization. As predições de token do modelo dependem fortemente da proximidade angular entre o vetor de embedding agregado e os embeddings de tokens individuais.

4. Decoding Walk vs. Encoding Walk

Duas caminhadas distintas moldam o comportamento do Transformer: a caminhada de decodificação (decoding walk), que governa a decodificação estocástica e a amostragem de tokens, e a caminhada de codificação (encoding walk), um processo determinístico que forma soft clusters com base na similaridade dos vetores de token. A caminhada de codificação é um fator-chave na transformação de uma sequência de vetores de token em um único vetor de embedding agregado.

5. Nível de Abstração nos Transformers

Ao contrário das redes neurais convencionais, nas quais as camadas inferiores trabalham em níveis mais baixos de abstração, os Transformers mantêm um nível consistente de abstração em todas as suas camadas. Isso fica evidente nas matrizes de embedding de entrada e saída compartilhadas, destacando a natureza única da arquitetura Transformer.

Desmistificando o Espaço de Embedding em Modelos Transformer

Para compreender o conceito de espaço de embedding, devemos primeiro reconhecê-lo como o espaço vetorial de tamanho d_model—o tamanho oculto (hidden size) do Transformer. Em termos mais simples, d_model representa a dimensionalidade desse espaço. Por exemplo, em modelos GPT, essa dimensão pode ser substancial, chegando a até 12.000.

Agora, o que é vital compreender é que cada vetor emergente de cada camada do modelo Transformer reside dentro desse espaço de embedding. Isso inclui não apenas os vetores de token de entrada, mas também todos os vetores gerados à medida que se sobe nas camadas, até o topo—culminando no vetor de contexto.

É essencial esclarecer que o tamanho do espaço de embedding não é determinado pelo número de parâmetros do modelo ou pela representação da camada superior. Em vez disso, é exclusivamente definido pelo valor de d_model. Essa distinção fundamental garante uma compreensão clara do que constitui o espaço de embedding em modelos Transformer.

Decifrando a Mecânica da Predição de Tokens em Transformers

Em nossa jornada para compreender o funcionamento interno dos Transformers, chegamos a um ponto decisivo: a mecânica da predição de tokens. Sumeet, com sua perspectiva perspicaz, lança luz sobre os processos complexos que ditam como os Transformers geram sequências de texto e fazem predições inteligentes.

1. O Papel da Language Modeling Head:

Em sua essência, essa language modeling head é uma matriz—uma matriz com dimensões d_model por V, onde V representa o tamanho dos seus embeddings, que pode ser substancial dependendo do seu esquema de tokenização. Essa matriz desempenha um papel crucial no mapeamento de vetores de contexto para probabilidades de tokens.

2. A Magia dos Produtos Escalares (Dot Products):

A essência da predição de tokens reside no produto escalar—uma métrica de similaridade que governa a tomada de decisão do Transformer. Quando o vetor de contexto, derivado da camada final do decodificador, passa por uma multiplicação matricial com a language modeling head, o resultado é um vetor de probabilidades. Essa distribuição de probabilidade determina a verossimilhança de cada token na sequência.

3. Mapeando Sequências na Vizinhança

Agora, considere o conceito profundo de mapear uma sequência na vizinhança de um token. O objetivo é transformar uma sequência de tokens, de W_1 a W_t, para as proximidades de W_t+1. Esse processo é semelhante a navegar por um caminho que parece inteligente para observadores humanos.

4. A Máquina Inteligente

No coração dessa transformação está a criação de uma máquina inteligente—uma máquina que pega uma sequência e a mapeia habilmente para a vizinhança do próximo token. A inteligência reside na sutileza e coerência do caminho, pois cada passo na caminhada é avaliado pelo seu grau de inteligência.

5. O Papel dos Encodings de Posição

Diferente das Redes Neurais Convolucionais (CNNs), os Transformers não empregam kernels de reconhecimento de padrões. No entanto, existe um elemento fascinante conhecido como encodings de posição relativa dentro das camadas de atenção. Esses encodings estáticos influenciam os pesos de agregação e ajudam a combater o viés de autoatração (self-bias).

6. Viés de Autoatração Negativo (Negative Self-Bias)

Compreender o viés de autoatração é fundamental. Sem os encodings de posição, um vetor de contexto estaria inclinado a atrair vetores semelhantes a si mesmo, resultando em predições repetitivas. Os encodings de posição introduzem um viés de autoatração negativo, suprimindo a afinidade do vetor de contexto por si mesmo e promovendo a diversidade nas predições.

7. Kernels de Posição

Aprofundando mais, descobrimos que os kernels de posição, conforme revelado no artigo, servem para moldar a disposição do viés de autoatração. Eles distorcem os pesos de agregação, influenciando quais posições são favorecidas e quais não são.

Fonte: https://towardsdatascience.com/transformers-in-depth-part-1-introduction-to-transformer-models-in-5-minutes-ad25da6d3cca?gi=e0dcc7a16b10

Aqui está um blog excelente que explica a arquitetura Transformer passo a passo:

‍

‍

Abstrações Únicas das Camadas de Transformers

À medida que nos aprofundamos no fascinante mundo dos modelos Transformer, um insight atraente é trazido à tona—um que distingue os Transformers das redes neurais convencionais, como as CNNs. A questão em pauta é: por que os Transformers operam de maneira diferente e como podemos entender o conceito de embeddings camada por camada?

Diferença Entre Transformers e CNNs:

  • Os Transformers operam de maneira diferente das CNNs. Nas CNNs, as camadas inferiores normalmente capturam recursos mais simples, como bordas, enquanto as camadas superiores constroem representações mais complexas.
  • Em contrapartida, os Transformers trabalham dentro do mesmo espaço abstrato em todas as camadas, sem uma hierarquia clara de abstração como nas CNNs.

Compreendendo o Residual Stream:

  • Os Transformers mantêm a uniformidade em seu espaço abstrato em parte devido à presença de um residual stream.
  • Em uma camada de Transformer (por exemplo, no codificador), há uma entrada seguida por uma camada de atenção. Uma conexão residual adiciona a saída da camada de atenção de volta à entrada.
  • Da mesma forma, na camada feed-forward, transformações são aplicadas, e outro atalho adiciona a saída de volta à entrada.
  • Essa adição consistente de entrada e saída em cada camada garante que as dimensões mantenham o mesmo significado, criando um espaço abstrato unificado.

O Modelo Mental Camada por Camada:

  • Para ajudar a entender esse fenômeno, o conceito de "embeddings camada por camada" é introduzido.
  • Nas CNNs, há uma construção hierárquica de camadas de abstração. No entanto, nos Transformers, cada camada contribui para o mesmo espaço abstrato.
  • Os Transformers desafiam a compreensão tradicional do comportamento das redes neurais ao apresentar uma rede de camadas que trabalham juntas de maneira mais unificada.

O Mistério dos Tokens Repetitivos: Modelos Transformer Pequenos vs. Grandes

No mundo dos Transformers, uma observação intrigante é a tendência dos modelos menores de repetir tokens, enquanto os modelos maiores produzem saídas mais variadas. Sumeet explora esse fenômeno, embora ele careça de uma explicação teórica clara.

  • Modelos Menores: Transformers menores frequentemente exibem repetição de tokens no texto gerado, destacando uma ligação intrigante entre o tamanho do modelo e a qualidade da saída.
  • Espaço de Embedding Mais Rico: Um fator-chave que contribui para a diferença entre modelos pequenos e grandes é a riqueza do espaço de embedding. Modelos maiores possuem um espaço de recursos mais extenso e detalhado para um processamento de informações complexo.
  • Mais Parâmetros para Processamento Granular: Modelos maiores têm mais camadas e parâmetros, especialmente em camadas feedforward. Isso aprimora sua capacidade de processar informações de maneira sofisticada.
  • Estratégias de Decodificação: A repetição de tokens pode ser mitigada escolhendo a estratégia de decodificação correta. Greedy Decoding e Beam Search são mais propensos à repetição, enquanto técnicas como amostragem Top-K ou Top-P geram resultados diversos.
  • Frases Repetidas: Mesmo em modelos maiores, a repetição ocasional de frases ocorre, revelando a complexidade da geração de texto dentro dos Transformers.

A Noção Enganosa de Aprendizado em Modelos Transformer

No domínio dos modelos Transformer, surge uma questão crucial: Ocorre um aprendizado em contexto (in-context learning) genuíno nesses modelos, ou ele é mais adequadamente descrito como um conceito inteligentemente enquadrado? O artigo de pesquisa desafia as noções convencionais de aprendizado dentro dos Transformers e revela os mecanismos subjacentes.

O aprendizado tradicional envolve o ajuste de pesos e parâmetros para facilitar a adaptação e resposta de um modelo a novos dados. No entanto, esse entendimento convencional não se alinha com os modelos Transformer. A questão central reside em seu espaço de embedding fixo e caminhos predefinidos.

Em essência, esses modelos não se envolvem no aprendizado no sentido tradicional. O espaço de embedding permanece estático e os caminhos, embora diversos, são pré-determinados. Durante a inferência, não há adaptação ou modificação dos pesos do modelo. Em vez disso, esses modelos navegam por uma paisagem de possibilidades, com cada elemento ausente servindo como um ponto de partida único.

A pesquisa também aborda o debate contínuo sobre a inteligência e as habilidades de raciocínio desses modelos. Alguns argumentam que eles carecem de mecanismos para um raciocínio genuíno, baseando-se em predições a partir de dados memorizados em vez de uma compreensão real.

Além disso, o artigo se aprofunda no processo de remoção de ruído (denoising), uma operação fundamental compartilhada por esses modelos. Quando tokens são ocultados aleatoriamente, a teia de contexto permanece intacta, independentemente da posição do token em branco. O modelo consolida com precisão esse contexto duplo em um único vetor de contexto, garantindo uma operação contínua, independentemente da localização dos elementos ausentes.

Não há aprendizado acontecendo. Digo, porque o espaço de embedding é fixo. Todos os caminhos são fixos. Tudo o que você está fazendo é escolher, selecionar. Então, que aprendizado há aqui? Seus pesos não estão mudando. Nada! - Sumeet Singh

A Interação entre In-Context Learning, Few-Shot Learning e Fine-Tuning em Transformers

No paradigma descrito, onde os Transformers navegam por caminhos predeterminados dentro de um espaço de embedding fixo, as relações entre "In-Context Learning", "Few-Shot Learning" e "Fine Tuning" adquirem perspectivas distintas.

1. In-Context Learning e Few-Shot Learning

Dentro desse paradigma, o In-Context Learning e o Few-Shot Learning convergem para um conceito compartilhado. Seja um histórico de conversa ou um conjunto de exemplos, ambos se resumem a sequências contextuais. Quando um modelo Transformer encontra um contexto inédito, ele seleciona um caminho no espaço de embedding com base nesse contexto. Esse processo de seleção de caminho, ditado pelo contexto, define a saída do modelo. Portanto, tanto o In-Context Learning quanto o Few-Shot Learning envolvem o modelo se adaptando a um contexto fornecido e gerando respostas ou saídas contextualmente relevantes.

2. Fine Tuning como Modificação de Caminho

O Supervised Fine Tuning, no contexto do Transformer, representa um processo de alteração dos caminhos predefinidos dentro do espaço de embedding. Durante o fine-tuning, dados adicionais e objetivos específicos são introduzidos, remodelando a geografia interna do modelo. Embora o mecanismo fundamental—a seleção de caminho—permaneça consistente, o panorama de caminhos disponíveis passa por ajustes para se alinhar com a tarefa de fine-tuning desejada.

3. RLHF e Propagação de Sinal

No caso do Aprendizado por Reforço com Feedback Humano (RLHF), a principal divergência reside em como o sinal de reforço se propaga. Enquanto o fine-tuning supervisionado emprega cross-entropy loss a nível de token, o RLHF aproveita sinais de um modelo de avaliação. O que diferencia o RLHF é que o sinal de reforço se estende por toda a sequência, influenciando os caminhos do modelo de forma abrangente. No entanto, tanto o RLHF quanto o fine-tuning supervisionado compartilham o objetivo comum de remodelar o mapa de ondulações no espaço de embedding para otimizar o desempenho em tarefas específicas.

📌

Ponte entre Modalidades: Modelos Transformer em Diferentes Modalidades
Os modelos Transformer possuem uma notável adaptabilidade entre modalidades. Esses modelos transitam perfeitamente de texto para imagens, fala e diversos conjuntos de dados.

Tradicionalmente, as sequências têm um fluxo linear de contexto, mas ao mudar para imagens, o conceito de uma sequência linear se torna intrigante. Modelos como o Bard lidam com isso usando denoising. Tokens em branco, independentemente de sua posição, retêm o contexto. Seja no início, meio ou fim, uma teia de contexto é formada e o modelo a agrega em um único vetor de contexto, adaptando-se perfeitamente.

Navegando pela AI de Propósito Geral: Escolhas de Modelos e Insights Práticos

  • Mudança para AI de Propósito Geral: Trate os Transformers como máquinas de inteligência versáteis, simplificando as complexidades dos modelos.
  • Variações de Modelo Importam Menos: A compreensão profunda reduz as distinções entre modelos, enfatizando o desempenho no mundo real.
  • Seleção Prática de Modelos: Escolha modelos com base na avaliação de tarefas do mundo real, priorizando a eficiência.
  • Aproveitando a Engenharia de Prompts: Adapte as entradas para uma orientação eficaz sem as meandros do modelo.
  • Fine-Tuning Econômico: Modelos menores para desempenho de alto tráfego com excelente custo-benefício.
  • Equilibrando Custo & Desempenho: Fatores cruciais para servir eficientemente modelos ajustados (fine-tuned) em cenários de alto tráfego.

Leia nossos blogs anteriores na série True ML Talks:

‍

‍

Continue assistindo à série no youtube da TrueML e lendo a série de blogs da TrueML.

TrueFoundry é um PaaS de Implantação de ML sobre Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, permitindo flexibilidade total no teste e implantação de modelos, ao mesmo tempo que garante total segurança e controle para a equipe de Infraestrutura. Através da nossa plataforma, capacitamos equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de realizar rollback em segundos - permitindo economizar custos e lançar Modelos em produção mais rápido, viabilizando a real geração de valor para o negócio.  

Try now.

One gateway for all your models, MCP servers, and agents. No credit card needed.

Start free
Table of Contents

One Gateway for Every LLM, Agent and MCP Server

Book a 30-min with our AI expert

Book a Demo

The fastest way to build, govern and scale your AI

Book Demo
Summarize with
ChatGPT logo by OpenAI
Perplexity AI logo
Blurry red snowflake on white background, symmetrical frosty design with soft edges and abstract shape.

Discover More

outubro 26, 2023
|
5 min read

True ML Talks #23 - MLOps e Aplicações de LLMs na GitLab

novembro 18, 2026
|
5 min read

Limites do Claude Code Explicados (Edição 2026)

No items found.
Analyzing how Cloudflare detects MCP traffic
novembro 18, 2026
|
5 min read

How Cloudflare Detects MCP Traffic and Helps Secure It

No items found.
novembro 18, 2026
|
5 min read

What Is AI Search? How It Works, Architecture, and Enterprise Use Cases

No items found.
Explaining LLM fine-tuning for enterprise AI teams
novembro 18, 2026
|
5 min read

A Practical Guide to LLM Fine-Tuning: Methods, Data, Costs, and Deployment

No items found.
No items found.

Recent Blogs

Black left pointing arrow symbol on white background, directional indicator.
Black left pointing arrow symbol on white background, directional indicator.
Take a quick product tour
Start Product Tour
Product Tour