True ML Talks #20 - Transformers、Embeddings、LLMs - TurnitinのML Scientist

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
True ML Talksの新しいエピソードをお届けします。今回は、Analyzing Transformer Dynamics as Movement through Embedding Spaceという魅力的な論文の主要なアイデアを掘り下げます。この論文は、TransformerがEmbedding空間を学習し、推論プロセス中にその空間内を移動するという点に焦点を当て、Transformerの動作に関する新しい視点を提供しています。本日は、Sumeet Singh氏にお話を伺います。
Sumeet氏はTurnitinのDistinguished ML Scientistであり、本日取り上げる論文の著者でもあります。研究者としてのバックグラウンドもお持ちです。
📌
Sumeet氏との対談では、以下のテーマを取り上げます:
- Transformer Dynamicsの理解
- TransformerモデルにおけるEmbedding空間の解明
- Transformerにおけるトークン予測のメカニズムの解読
- Transformer層のユニークな抽象化
- 繰り返しトークンの謎
- Transformerモデルにおける学習という誤解を招く概念
- Transformerにおけるインコンテキスト学習、フューショット学習、ファインチューニングの相互作用
- 汎用AIの導入:モデルの選択と実践的な知見
フルエピソードは以下からご視聴いただけます:
Transformer Dynamicsの理解:Embedding空間へのディープダイブ
AIおよび自然言語処理の領域において、Transformerモデルはテキスト処理と生成で絶大な存在感を放っています。しかし、この優れたアーキテクチャの内部では何が起きているのでしょうか?画期的な論文「Analyzing Transformer Dynamics as Movement to Embedding Space」は、Transformer内部の仕組みの謎を解き明かしています。
この研究は、記述式短文解答の自動採点モデルを開発した際に始まりました。全教科にわたって80%という素晴らしい正答率を達成したものの、その内部メカニズムには不透明さが残っていました。Transformerの挙動を理解するため、研究チームは深く掘り下げ、当初はAttention attributionや重み分析を試みましたが得られる知見は限られており、研究者を悩ませていました。
1. パラダイムシフト:Embedding空間でのTransformerの捉え方
研究の転機となったのは、TransformerをEmbedding空間における一連のオペレーターとして捉えることができるという気づきでした。この空間は3次元の風景のように、Transformerの予測をガイドします。Attentionのパターンを探す代わりに、谷や峡谷を流れ、最小エントロピーの経路をたどる川としてTransformerを観察する視点へとシフトしました。
2. 固定されたEmbedding空間
モデルのトレーニングが完了すると、Embedding空間は固定されます。同じ入力シーケンスが与えられれば、常に同一のEmbeddingを生成します。これらのEmbeddingは、シーケンス内の各トークンに割り当てられる確率を決定するため、次のトークンを予測する上で極めて重要です。
3. 角度の近接性とトークン予測
研究により、Layer NormalizationによってEmbedding空間が球体に似た有界空間へと自己組織化されることが判明しました。モデルのトークン予測は、集約されたEmbeddingベクトルと個々のトークンEmbeddingとの間の角度の近接性に大きく依存しています。
4. 確率的デコーディングウォーク vs 確定的なエンコーディングウォーク
Transformerの挙動は2つの異なるウォークによって形作られます。確率的デコーディングとトークンサンプリングを制御するデコーディングウォークと、トークンベクトルの類似性に基づいてソフトクラスタを形成する確定的なプロセスであるエンコーディングウォークです。エンコーディングウォークは、トークンベクトルのシーケンスを1つの集約されたEmbeddingベクトルに変換する鍵となる要因です。
5. Transformerにおける抽象化レベル
下位層が低い抽象化レベルで機能する従来のニューラルネットワークとは異なり、Transformerはすべての層を通して一貫した抽象化レベルを維持します。これは共有された入力および出力Embedding行列に明確に表れており、Transformerアーキテクチャ独自の性質を強調しています。
TransformerモデルにおけるEmbedding空間の解明
Embedding空間の概念を理解するには、まずそれをTransformerの隠れ層サイズであるd_modelサイズのベクトル空間として認識する必要があります。簡単に言えば、d_modelはこの空間の次元数を表します。例えばGPTモデルでは、この次元数は最大で12,000に達する広大なものになります。
ここで重要なのは、Transformerモデルのすべての層から出力されるすべてのベクトルが、この同一のEmbedding空間内に存在するということです。これには入力トークンベクトルだけでなく、層を上がっていく際に生成されるすべてのベクトル、そして最上層のコンテキストベクトルまでが含まれます。
Embedding空間のサイズは、モデルのパラメーター数や最上層の表現によって決まるわけではない点に注意が必要です。代わりに、d_modelの値によってのみ定義されます。この決定的な違いを理解することが、TransformerモデルにおけるEmbedding空間の構成を明確に把握する第一歩となります。
Transformerにおけるトークン予測のメカニズムの解読
Transformerの内部動作を解明する探求において、重要な局面であるトークン予測のメカニズムに到達しました。Sumeet氏は洞察に満ちた視点から、Transformerがどのようにテキストのシーケンスを生成し、知的な予測を行うのか、その複雑なプロセスを明らかにしています。
1. 言語モデルヘッド(Language Modeling Head)の役割:
言語モデルヘッドの本質は行列です。次元数がd_model × Vの行列であり、ここでVはEmbeddingのサイズ(トークナイゼーション設計に応じて非常に大きくなる可能性があります)を表します。この行列は、コンテキストベクトルをトークン確率にマッピングする上で中心的な役割を果たします。
2. 内積(Dot Products)の魔法:
トークン予測の本質は、Transformerの意思決定を制御する類似度指標である内積にあります。デコーダーの最終層から得られたコンテキストベクトルが言語モデルヘッドと行列乗算されると、確率ベクトルが生成されます。この確率分布によって、シーケンス内の各トークンの尤度が決定されます。
3. シーケンスの近傍へのマッピング
次に、トークンの近傍にシーケンスをマッピングするという深い概念を考えてみましょう。目的は、W_1からW_tまでのトークンシーケンスを、W_t+1の近傍に変換することです。このプロセスは、人間から見て知的に見える経路をたどるナビゲーションに似ています。
4. インテリジェントなマシン
この変換の核となるのは、シーケンスを受け取り、それを次のトークンの近傍へ巧みにマッピングするインテリジェントなマシンの構築です。インテリジェンスは経路の繊細さと一貫性に宿っており、ウォークの各ステップがその知性の度合いに応じて評価されます。
5. 位置エンコーディング(Position Encodings)の役割
畳み込みニューラルネットワーク(CNN)とは異なり、Transformerはパターン認識カーネルを使用しません。しかし、Attention層には相対位置エンコーディングと呼ばれる魅力的な要素が存在します。これらの静的なエンコーディングは集約の重みに影響を与え、セルフバイアス(自分自身へのバイアス)に対抗する役割を果たします。
6. 負のセルフバイアス(Negative Self-Bias)
セルフバイアスの理解は極めて重要です。位置エンコーディングがない場合、コンテキストベクトルは自分自身に類似したベクトルを引き寄せる傾向があり、繰り返しの予測につながります。位置エンコーディングは負のセルフバイアスを導入し、コンテキストベクトルが自分自身を好む傾向を抑制することで、予測の多様性を促進します。
7. 位置カーネル(Position Kernels)
論文で明らかにされているように、位置カーネルはセルフバイアスの傾向を形成する働きをします。これらは集約の重みを歪ませ、どの位置が優先され、どの位置が優先されないかに影響を与えます。

以下は、Transformerのアーキテクチャをステップバイステップで非常に分かりやすく解説している素晴らしいブログです:
Transformer層のユニークな抽象化
Transformerモデルの魅力的な世界をさらに掘り下げると、CNNのような従来のニューラルネットワークとTransformerを分かつ興味深い洞察が得られます。「なぜTransformerは異なる動作をするのか、そして層ごとのEmbedding概念をどのように把握すべきか」という問いへの答えを探ります。
TransformerとCNNの違い:
- TransformerはCNNとは異なる仕組みで動作します。CNNでは、通常、下位層がエッジのような単純な特徴を捉え、上位層がより複雑な表現を構築します。
- 対照的に、TransformerはCNNのような明確な抽象化の階層を持たず、すべての層にわたって同じ抽象空間内で動作します。
Residual Stream(残差ストリーム)の理解:
- Transformerが抽象空間の均一性を維持できる理由の一因は、Residual Streamの存在にあります。
- Transformer層(例:エンコーダー内)には、入力に続いてAttention層が存在します。残差接続(Residual Link)により、Attention層の出力が入力に連動して加算されます。
- 同様に、Feed-forward層でも変換が適用され、別のショートカットによって出力が入力へと連動して加算されます。
- 各層で入力と出力が一貫して加算されることで、次元が同一の意味を保持し続け、統一された抽象空間が創出されます。
層ごとのメンタルモデル:
- この現象の理解を助けるため、「層ごとのEmbedding」という概念が導入されています。
- CNNには抽象化層の階層的構築が存在します。しかし、Transformerでは各層が同じ抽象空間に寄与します。
- Transformerは、各層がより統合された形で連携して動作するネットワークを提示することで、ニューラルネットワークの挙動に関する従来の理解に挑戦しています。
繰り返しトークンの謎:小規模モデル vs 大規模Transformerモデル
Transformerの世界における興味深い観察結果として、小規模モデルはトークンを繰り返しがちである一方、大規模モデルはより多様な出力を生成するという点があります。理論的な説明はまだ十分に確立されていませんが、Sumeet氏はこの現象について考察しています。
- 小規模モデル:小規模なTransformerは生成テキストでトークンの重複を起こしやすく、モデルサイズと出力品質の間に興味深い関連性があることを示しています。
- より豊かなEmbedding空間:小規模モデルと大規模モデルの違いを生み出す主な要因は、Embedding空間の豊かさです。大規模モデルは、複雑な情報処理のための、より広大でニュアンス豊かな特徴空間を備えています。
- 細やかな処理を実現するパラメータの増加:大規模モデルは特にFeed-forward層において多くの層とパラメータを持っています。これにより、情報を洗練された形で処理する能力が高まります。
- デコーディング戦略:トークンの重複は適切なデコーディング戦略を選択することで軽減できます。Greedy DecodingやBeam Searchは重複が起きやすいですが、Top-KやTop-Pサンプリングなどの手法は多様な結果をもたらします。
- 繰り返される文章:大規模モデルであっても時折文章の重複が発生することがあり、これはTransformerにおけるテキスト生成の複雑さを示しています。
Transformerモデルにおける「学習」という誤解を招く概念
Transformerモデルの領域において、「これらのモデルで真のインコンテキスト学習が行われているのか、それとも単に巧妙にフレーム化された概念に過ぎないのか」という重要な問いが浮かび上がります。本論文はTransformer内部の学習に関する従来の概念に異議を唱え、その背景にあるメカニズムを明らかにしています。
従来の学習とは、モデルが新しいデータに適応し応答できるように重みやパラメータを調整することを意味します。しかし、この従来の理解はTransformerモデルには当てはまりません。根本的な理由は、固定されたEmbedding空間と事前に定義された経路にあります。
本質的に、これらのモデルは従来の定義での学習を行っていません。Embedding空間は静的なままであり、経路は多様であってもあらかじめ決定されています。推論中にモデルの重みが適応したり変更されたりすることはありません。代わりに、モデルは可能性の風景をナビゲートしており、欠落した各要素がユニークなスタート地点として機能しているだけなのです。
また本論文は、これらのモデルの知性と推論能力に関する継続的な議論にも触れています。一部の研究者は、モデルが本当の意味での理解ではなく記憶されたデータに基づく予測に依存しているため、真の推論のメカニズムを欠いていると主張しています。
さらに、論文ではこれらのモデルに共通する根幹の操作であるノイズ除去(Denoising)プロセスについても掘り下げています。トークンがランダムにブランク化されても、ブランクのトークンの位置に関係なく、コンテキストの網の目は維持されます。モデルはこの二重のコンテキストを1つのコンテキストベクトルへと巧みに統合し、欠落要素の場所に関わらずシームレスな動作を保証します。
学習など起きていません。なぜならEmbedding空間は固定されているからです。すべての経路は決まっています。あなたが行っているのは選択に過ぎません。では、ここにある学習とは何でしょうか?重みは変化していません。何も変わっていないのです! - Sumeet Singh
Transformerにおけるインコンテキスト学習、フューショット学習、ファインチューニングの相互作用
Transformerが固定されたEmbedding空間内の決定された経路をナビゲートするという先ほどのパラダイムでは、「インコンテキスト学習」、「フューショット学習」、そして「ファインチューニング」の関係性に新しい視点がもたらされます。
1. インコンテキスト学習とフューショット学習
このパラダイムにおいて、インコンテキスト学習とフューショット学習は共通の概念へと収束します。会話の履歴であれ一連の例であれ、どちらも本質的にはコンテキストのシーケンスに行き着きます。Transformerモデルが新しいコンテキストに遭遇すると、そのコンテキストに基づいてEmbedding空間内の特定の経路を選択します。コンテキストによって指示されるこの経路選択プロセスが、モデルの出力を決定づけます。したがって、インコンテキスト学習もフューショット学習も、提供されたコンテキストにモデルが適応し、コンテキストに関連する応答や出力を生成するプロセスを意味します。
2. 経路の変更としてのファインチューニング
Transformerのコンテキストにおいて、Supervised Fine Tuning(教師ありファインチューニング)はEmbedding空間内の決定された経路を変更するプロセスを表します。ファインチューニング中に追加データと特定の目標が導入されることで、モデルの内部地理が再形成されます。基本的なメカニズム(経路選択)は一定ですが、利用可能な経路の風景自体が目的のファインチューニングタスクに適合するよう調整されます。
3. RLHFとシグナルの伝播
Reinforcement Learning from Human Feedback(RLHF)の場合、主な違いは強化シグナルがどのように伝播するかにあります。教師ありファインチューニングがトークンレベルの交差エントロピー損失を使用するのに対し、RLHFは評価モデルからのシグナルを活用します。RLHFを特別なものにしているのは、強化シグナルがシーケンス全体に広がり、モデルの経路に包括的な影響を与える点です。しかし、RLHFも教師ありファインチューニングも、特定タスクでのパフォーマンスを最適化するためにEmbedding空間内の起伏マップを再形成するという共通の目的を共有しています。
📌
ギャップを埋める:マルチモダリティにわたるTransformerモデル
Transformerモデルはモダリティを超えた驚くべき適応性を備えています。テキストから画像、音声、多種多様なデータセットへとシームレスに移行します。
従来、シーケンスはコンテキストの直線的なフローを持ちますが、画像へと移行した際、直線的シーケンスの概念は興味深いものになります。Bardのようなモデルはノイズ除去(Denoising)を使用してこれに対処します。ブランクのトークンは、その位置に関係なくコンテキストを保持します。先頭、中央、末尾のいずれであってもコンテキストの網が形成され、モデルはそれを1つのコンテキストベクトルへと集約してシームレスに適応します。
汎用AIの導入:モデルの選択と実践的な知見
- 汎用AIへのシフト:Transformerを多目的でインテリジェントなマシンとして扱い、モデルの複雑さをシンプルに捉えます。
- モデルの違いの重要性の低下:深い理解によりモデルごとの差異は薄れ、現実世界でのパフォーマンスがより重視されます。
- 実践的なモデル選定:実世界のタスクでの評価に基づいてモデルを選択し、効率性を最優先します。
- Prompt Engineeringの活用:モデルの複雑な構造に頼ることなく、効果的なガイダンスのために出力を最適化します。
- コスト効率の高いファインチューニング:高トラフィック環境で費用対効果の高いパフォーマンスを実現するために、より小規模なモデルを活用します。
- コストとパフォーマンスのバランス:高トラフィックのシナリオでファインチューニング済みモデルを効率的に運用するための極めて重要な要因です。
True ML Talksシリーズの過去のブログもご覧ください:
引き続きTrueMLのYouTubeシリーズおよびTrueMLブログシリーズをお楽しみください。
TrueFoundryは、Kubernetes上で動作するML Deployment PaaSです。インフラチームの完全なセキュリティと管理権限を保証しながら、開発者がモデルのテストやデプロイを柔軟に行えるようワークフローを加速させます。当社のプラットフォームを通じて、機械学習チームは100%の信頼性と拡張性をもって15分でモデルをデプロイおよび監視し、数秒でロールバックすることができます。これにより、コストを削減し、モデルのプロダクションリリースを高速化して、本質的なビジネス価値を実現します。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.















.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






