True ML Talks #20 - Transformers, Embeddings e LLMs - ML Scientist @ Turnitin

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
Estamos de volta com mais um episódio do True ML Talks. Neste episódio, vamos nos aprofundar nas ideias principais do fascinante artigo intitulado Analyzing Transformer Dynamics as Movement through Embedding Space. Este artigo introduz uma perspectiva inovadora sobre como os Transformers operam, enfatizando que eles aprendem um espaço de embedding e navegam por ele durante o processo de inferência. Conversamos com Sumeet Singh
Sumeet é Distinguished ML Scientist na Turnitin e autor do artigo que discutiremos hoje. Ele também possui histórico na área de pesquisa.
📌
Nossas conversas com Sumeet abordarão os seguintes aspectos:
- Compreendendo a Dinâmica dos Transformers
- Desmistificando o Espaço de Embedding em Modelos Transformer
- Decifrando a Mecânica da Predição de Tokens em Transformers
- Abstrações Únicas das Camadas de Transformers
- O Mistério dos Tokens Repetitivos
- A Noção Enganosa de Aprendizado em Modelos Transformer
- A Interação entre In-Context Learning, Few-Shot Learning e Fine-Tuning em Transformers
- Navegando pela AI de Propósito Geral: Escolhas de Modelos e Insights Práticos
Assista ao episódio completo abaixo:
Compreendendo a Dinâmica dos Transformers: Uma Imersão no Espaço de Embedding
No domínio da AI e do processamento de linguagem natural, o modelo Transformer reina soberano no processamento e geração de texto. Mas o que existe por baixo dessa arquitetura impressionante? O artigo revolucionário "Analyzing Transformer Dynamics as Movement to Embedding Space" desvenda os mistérios do funcionamento interno do Transformer.
Esta pesquisa começou durante o desenvolvimento de um modelo de correção automática para respostas curtas, que atingiu uma impressionante precisão de 80% em várias disciplinas, mas carecia de clareza sobre seus mecanismos. Para entender o comportamento do Transformer, o estudo aprofundou-se, explorando inicialmente a atribuição de atenção e a análise de pesos com insights limitados, deixando os pesquisadores intrigados.
1. Uma Mudança de Paradigma: Visualizando Transformers no Espaço de Embedding
O ponto de virada nesta pesquisa ocorreu ao perceberem que o Transformer poderia ser visto como uma série de operadores em um espaço de embedding. Esse espaço, como uma paisagem tridimensional, guia as predições do Transformer. Em vez de procurar por padrões de atenção, a perspectiva mudou para visualizar o Transformer como um rio fluindo por vales e cânions, seguindo caminhos de menor entropia.
2. O Espaço de Embedding Fixo
Assim que o modelo é treinado, o espaço de embedding permanece fixo. Quando apresentado à mesma sequência de entrada, ele produz consistentemente embeddings idênticos. Esses embeddings são cruciais na predição do próximo token, pois determinam as probabilidades atribuídas a cada token na sequência.
3. Proximidade Angular e Predição de Tokens
A pesquisa revelou que o espaço de embedding se organizou em um espaço delimitado semelhante a uma esfera, graças à layer normalization. As predições de token do modelo dependem fortemente da proximidade angular entre o vetor de embedding agregado e os embeddings de tokens individuais.
4. Decoding Walk vs. Encoding Walk
Duas caminhadas distintas moldam o comportamento do Transformer: a caminhada de decodificação (decoding walk), que governa a decodificação estocástica e a amostragem de tokens, e a caminhada de codificação (encoding walk), um processo determinístico que forma soft clusters com base na similaridade dos vetores de token. A caminhada de codificação é um fator-chave na transformação de uma sequência de vetores de token em um único vetor de embedding agregado.
5. Nível de Abstração nos Transformers
Ao contrário das redes neurais convencionais, nas quais as camadas inferiores trabalham em níveis mais baixos de abstração, os Transformers mantêm um nível consistente de abstração em todas as suas camadas. Isso fica evidente nas matrizes de embedding de entrada e saída compartilhadas, destacando a natureza única da arquitetura Transformer.
Desmistificando o Espaço de Embedding em Modelos Transformer
Para compreender o conceito de espaço de embedding, devemos primeiro reconhecê-lo como o espaço vetorial de tamanho d_model—o tamanho oculto (hidden size) do Transformer. Em termos mais simples, d_model representa a dimensionalidade desse espaço. Por exemplo, em modelos GPT, essa dimensão pode ser substancial, chegando a até 12.000.
Agora, o que é vital compreender é que cada vetor emergente de cada camada do modelo Transformer reside dentro desse espaço de embedding. Isso inclui não apenas os vetores de token de entrada, mas também todos os vetores gerados à medida que se sobe nas camadas, até o topo—culminando no vetor de contexto.
É essencial esclarecer que o tamanho do espaço de embedding não é determinado pelo número de parâmetros do modelo ou pela representação da camada superior. Em vez disso, é exclusivamente definido pelo valor de d_model. Essa distinção fundamental garante uma compreensão clara do que constitui o espaço de embedding em modelos Transformer.
Decifrando a Mecânica da Predição de Tokens em Transformers
Em nossa jornada para compreender o funcionamento interno dos Transformers, chegamos a um ponto decisivo: a mecânica da predição de tokens. Sumeet, com sua perspectiva perspicaz, lança luz sobre os processos complexos que ditam como os Transformers geram sequências de texto e fazem predições inteligentes.
1. O Papel da Language Modeling Head:
Em sua essência, essa language modeling head é uma matriz—uma matriz com dimensões d_model por V, onde V representa o tamanho dos seus embeddings, que pode ser substancial dependendo do seu esquema de tokenização. Essa matriz desempenha um papel crucial no mapeamento de vetores de contexto para probabilidades de tokens.
2. A Magia dos Produtos Escalares (Dot Products):
A essência da predição de tokens reside no produto escalar—uma métrica de similaridade que governa a tomada de decisão do Transformer. Quando o vetor de contexto, derivado da camada final do decodificador, passa por uma multiplicação matricial com a language modeling head, o resultado é um vetor de probabilidades. Essa distribuição de probabilidade determina a verossimilhança de cada token na sequência.
3. Mapeando Sequências na Vizinhança
Agora, considere o conceito profundo de mapear uma sequência na vizinhança de um token. O objetivo é transformar uma sequência de tokens, de W_1 a W_t, para as proximidades de W_t+1. Esse processo é semelhante a navegar por um caminho que parece inteligente para observadores humanos.
4. A Máquina Inteligente
No coração dessa transformação está a criação de uma máquina inteligente—uma máquina que pega uma sequência e a mapeia habilmente para a vizinhança do próximo token. A inteligência reside na sutileza e coerência do caminho, pois cada passo na caminhada é avaliado pelo seu grau de inteligência.
5. O Papel dos Encodings de Posição
Diferente das Redes Neurais Convolucionais (CNNs), os Transformers não empregam kernels de reconhecimento de padrões. No entanto, existe um elemento fascinante conhecido como encodings de posição relativa dentro das camadas de atenção. Esses encodings estáticos influenciam os pesos de agregação e ajudam a combater o viés de autoatração (self-bias).
6. Viés de Autoatração Negativo (Negative Self-Bias)
Compreender o viés de autoatração é fundamental. Sem os encodings de posição, um vetor de contexto estaria inclinado a atrair vetores semelhantes a si mesmo, resultando em predições repetitivas. Os encodings de posição introduzem um viés de autoatração negativo, suprimindo a afinidade do vetor de contexto por si mesmo e promovendo a diversidade nas predições.
7. Kernels de Posição
Aprofundando mais, descobrimos que os kernels de posição, conforme revelado no artigo, servem para moldar a disposição do viés de autoatração. Eles distorcem os pesos de agregação, influenciando quais posições são favorecidas e quais não são.

Aqui está um blog excelente que explica a arquitetura Transformer passo a passo:
Abstrações Únicas das Camadas de Transformers
À medida que nos aprofundamos no fascinante mundo dos modelos Transformer, um insight atraente é trazido à tona—um que distingue os Transformers das redes neurais convencionais, como as CNNs. A questão em pauta é: por que os Transformers operam de maneira diferente e como podemos entender o conceito de embeddings camada por camada?
Diferença Entre Transformers e CNNs:
- Os Transformers operam de maneira diferente das CNNs. Nas CNNs, as camadas inferiores normalmente capturam recursos mais simples, como bordas, enquanto as camadas superiores constroem representações mais complexas.
- Em contrapartida, os Transformers trabalham dentro do mesmo espaço abstrato em todas as camadas, sem uma hierarquia clara de abstração como nas CNNs.
Compreendendo o Residual Stream:
- Os Transformers mantêm a uniformidade em seu espaço abstrato em parte devido à presença de um residual stream.
- Em uma camada de Transformer (por exemplo, no codificador), há uma entrada seguida por uma camada de atenção. Uma conexão residual adiciona a saída da camada de atenção de volta à entrada.
- Da mesma forma, na camada feed-forward, transformações são aplicadas, e outro atalho adiciona a saída de volta à entrada.
- Essa adição consistente de entrada e saída em cada camada garante que as dimensões mantenham o mesmo significado, criando um espaço abstrato unificado.
O Modelo Mental Camada por Camada:
- Para ajudar a entender esse fenômeno, o conceito de "embeddings camada por camada" é introduzido.
- Nas CNNs, há uma construção hierárquica de camadas de abstração. No entanto, nos Transformers, cada camada contribui para o mesmo espaço abstrato.
- Os Transformers desafiam a compreensão tradicional do comportamento das redes neurais ao apresentar uma rede de camadas que trabalham juntas de maneira mais unificada.
O Mistério dos Tokens Repetitivos: Modelos Transformer Pequenos vs. Grandes
No mundo dos Transformers, uma observação intrigante é a tendência dos modelos menores de repetir tokens, enquanto os modelos maiores produzem saídas mais variadas. Sumeet explora esse fenômeno, embora ele careça de uma explicação teórica clara.
- Modelos Menores: Transformers menores frequentemente exibem repetição de tokens no texto gerado, destacando uma ligação intrigante entre o tamanho do modelo e a qualidade da saída.
- Espaço de Embedding Mais Rico: Um fator-chave que contribui para a diferença entre modelos pequenos e grandes é a riqueza do espaço de embedding. Modelos maiores possuem um espaço de recursos mais extenso e detalhado para um processamento de informações complexo.
- Mais Parâmetros para Processamento Granular: Modelos maiores têm mais camadas e parâmetros, especialmente em camadas feedforward. Isso aprimora sua capacidade de processar informações de maneira sofisticada.
- Estratégias de Decodificação: A repetição de tokens pode ser mitigada escolhendo a estratégia de decodificação correta. Greedy Decoding e Beam Search são mais propensos à repetição, enquanto técnicas como amostragem Top-K ou Top-P geram resultados diversos.
- Frases Repetidas: Mesmo em modelos maiores, a repetição ocasional de frases ocorre, revelando a complexidade da geração de texto dentro dos Transformers.
A Noção Enganosa de Aprendizado em Modelos Transformer
No domínio dos modelos Transformer, surge uma questão crucial: Ocorre um aprendizado em contexto (in-context learning) genuíno nesses modelos, ou ele é mais adequadamente descrito como um conceito inteligentemente enquadrado? O artigo de pesquisa desafia as noções convencionais de aprendizado dentro dos Transformers e revela os mecanismos subjacentes.
O aprendizado tradicional envolve o ajuste de pesos e parâmetros para facilitar a adaptação e resposta de um modelo a novos dados. No entanto, esse entendimento convencional não se alinha com os modelos Transformer. A questão central reside em seu espaço de embedding fixo e caminhos predefinidos.
Em essência, esses modelos não se envolvem no aprendizado no sentido tradicional. O espaço de embedding permanece estático e os caminhos, embora diversos, são pré-determinados. Durante a inferência, não há adaptação ou modificação dos pesos do modelo. Em vez disso, esses modelos navegam por uma paisagem de possibilidades, com cada elemento ausente servindo como um ponto de partida único.
A pesquisa também aborda o debate contínuo sobre a inteligência e as habilidades de raciocínio desses modelos. Alguns argumentam que eles carecem de mecanismos para um raciocínio genuíno, baseando-se em predições a partir de dados memorizados em vez de uma compreensão real.
Além disso, o artigo se aprofunda no processo de remoção de ruído (denoising), uma operação fundamental compartilhada por esses modelos. Quando tokens são ocultados aleatoriamente, a teia de contexto permanece intacta, independentemente da posição do token em branco. O modelo consolida com precisão esse contexto duplo em um único vetor de contexto, garantindo uma operação contínua, independentemente da localização dos elementos ausentes.
Não há aprendizado acontecendo. Digo, porque o espaço de embedding é fixo. Todos os caminhos são fixos. Tudo o que você está fazendo é escolher, selecionar. Então, que aprendizado há aqui? Seus pesos não estão mudando. Nada! - Sumeet Singh
A Interação entre In-Context Learning, Few-Shot Learning e Fine-Tuning em Transformers
No paradigma descrito, onde os Transformers navegam por caminhos predeterminados dentro de um espaço de embedding fixo, as relações entre "In-Context Learning", "Few-Shot Learning" e "Fine Tuning" adquirem perspectivas distintas.
1. In-Context Learning e Few-Shot Learning
Dentro desse paradigma, o In-Context Learning e o Few-Shot Learning convergem para um conceito compartilhado. Seja um histórico de conversa ou um conjunto de exemplos, ambos se resumem a sequências contextuais. Quando um modelo Transformer encontra um contexto inédito, ele seleciona um caminho no espaço de embedding com base nesse contexto. Esse processo de seleção de caminho, ditado pelo contexto, define a saída do modelo. Portanto, tanto o In-Context Learning quanto o Few-Shot Learning envolvem o modelo se adaptando a um contexto fornecido e gerando respostas ou saídas contextualmente relevantes.
2. Fine Tuning como Modificação de Caminho
O Supervised Fine Tuning, no contexto do Transformer, representa um processo de alteração dos caminhos predefinidos dentro do espaço de embedding. Durante o fine-tuning, dados adicionais e objetivos específicos são introduzidos, remodelando a geografia interna do modelo. Embora o mecanismo fundamental—a seleção de caminho—permaneça consistente, o panorama de caminhos disponíveis passa por ajustes para se alinhar com a tarefa de fine-tuning desejada.
3. RLHF e Propagação de Sinal
No caso do Aprendizado por Reforço com Feedback Humano (RLHF), a principal divergência reside em como o sinal de reforço se propaga. Enquanto o fine-tuning supervisionado emprega cross-entropy loss a nível de token, o RLHF aproveita sinais de um modelo de avaliação. O que diferencia o RLHF é que o sinal de reforço se estende por toda a sequência, influenciando os caminhos do modelo de forma abrangente. No entanto, tanto o RLHF quanto o fine-tuning supervisionado compartilham o objetivo comum de remodelar o mapa de ondulações no espaço de embedding para otimizar o desempenho em tarefas específicas.
📌
Ponte entre Modalidades: Modelos Transformer em Diferentes Modalidades
Os modelos Transformer possuem uma notável adaptabilidade entre modalidades. Esses modelos transitam perfeitamente de texto para imagens, fala e diversos conjuntos de dados.
Tradicionalmente, as sequências têm um fluxo linear de contexto, mas ao mudar para imagens, o conceito de uma sequência linear se torna intrigante. Modelos como o Bard lidam com isso usando denoising. Tokens em branco, independentemente de sua posição, retêm o contexto. Seja no início, meio ou fim, uma teia de contexto é formada e o modelo a agrega em um único vetor de contexto, adaptando-se perfeitamente.
Navegando pela AI de Propósito Geral: Escolhas de Modelos e Insights Práticos
- Mudança para AI de Propósito Geral: Trate os Transformers como máquinas de inteligência versáteis, simplificando as complexidades dos modelos.
- Variações de Modelo Importam Menos: A compreensão profunda reduz as distinções entre modelos, enfatizando o desempenho no mundo real.
- Seleção Prática de Modelos: Escolha modelos com base na avaliação de tarefas do mundo real, priorizando a eficiência.
- Aproveitando a Engenharia de Prompts: Adapte as entradas para uma orientação eficaz sem as meandros do modelo.
- Fine-Tuning Econômico: Modelos menores para desempenho de alto tráfego com excelente custo-benefício.
- Equilibrando Custo & Desempenho: Fatores cruciais para servir eficientemente modelos ajustados (fine-tuned) em cenários de alto tráfego.
Leia nossos blogs anteriores na série True ML Talks:
Continue assistindo à série no youtube da TrueML e lendo a série de blogs da TrueML.
TrueFoundry é um PaaS de Implantação de ML sobre Kubernetes para acelerar os fluxos de trabalho dos desenvolvedores, permitindo flexibilidade total no teste e implantação de modelos, ao mesmo tempo que garante total segurança e controle para a equipe de Infraestrutura. Através da nossa plataforma, capacitamos equipes de Machine Learning a implantar e monitorar modelos em 15 minutos com 100% de confiabilidade, escalabilidade e a capacidade de realizar rollback em segundos - permitindo economizar custos e lançar Modelos em produção mais rápido, viabilizando a real geração de valor para o negócio.
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)
.webp)
.webp)


.webp)


.webp)
.webp)
.png)

.png)
.png)
.png)






