TrueMem: AIのためのモデルアグノスティックなメモリレイヤーの構築

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
毎週の恒例行事
毎週金曜日、私は全く同じ内容を入力します。
「私はPrathameshです。TrueFoundryのシニアソフトウェアエンジニアです。メモリサービスを担当しています。フォーマット:着手したこと、進行中のこと、ブロッカー。簡潔にまとめてください。」
そして、今週の進捗更新の作成を依頼します。
AIはそれを完璧に書き上げてくれます。しかし、来週の金曜日はどうでしょうか?また同じ作業の繰り返しです。AIは私の名前も、役職も、プロジェクトも、3週間連続で同じブロッカーについて言及したことさえ覚えていません。
このアシスタントは私が自分で作りました。シンプルなチャットUIに、バックエンドにはTrueFoundryのAI Gatewayを使用しています。スタンドアップミーティングの準備、メール作成、Slackメッセージ、ドキュメントの下書きなどをこなしてくれます。本当に役立つツールです。しかし、セッションが始まるたびに記憶はゼロに戻ります。私はAIのメモリ機能を使っているのではありません。私自身がAIのメモリになっているのです。
ChatGPTは組み込みのメモリ機能でこの問題を解決しました。しかし、独自のLLMアプリケーションを構築する場合、そのようなインフラストラクチャは存在しません。自力で解決するしかありません。自分で構築しない限りは。
だからこそ、私は自ら構築しました。TrueMemは、AIアプリケーションのための永続メモリレイヤーです。あらゆるLLMに、セッションを越えて、さらには異なるモデル間でも機能する長期記憶を提供します。もう同じことを繰り返す必要はありません。AIが実際に「覚えている」状態を実現します。
既存のアプローチが機能しない理由
一見して分かりやすい解決策には、明らかな問題が存在します。
ChatGPTの組み込みメモリ機能は、OpenAIのエコシステム内部に閉じ込められています。プログラムでアクセスすることも、他のモデルで使用することも、何が保存されているかを監査することもできません。TrueFoundryのAI Gatewayを使えば、複数のモデルにアクセスし、保存内容を監査できます。独自のアプリケーションを構築する誰にとっても、ChatGPTの標準機能だけでは話になりません。
検索拡張生成(RAG)は異なる問題を解決します。RAGはドキュメントから情報を検索する技術です。「このPDFには何が書かれていますか?」という質問に答えます。ユーザーメモリは根本的に異なります。個人に特化し、絶えず変化し、関係性に基づくものです。会話で共有する事実は、インデックス化されるドキュメントではありません。今後のあらゆるやり取りを方向付けるコンテキスト(文脈)なのです。
コンテキストウィンドウの拡張は力任せのアプローチです。会話履歴全体を含めるという手法です。現代のモデルは128Kトークン以上をサポートしているため、それを利用しない手はないと思うかもしれません。しかし、トークンは高価であり、コンテキストが増えるほど推論速度は低下し、セッションが終了すればすべて消え去ります。結局、無駄な手順を踏んで高額な「記憶喪失」費用を払っているだけに過ぎません。
真に必要なのは、ユーザーに関する抽出された事実を永久に保存し、各クエリに関連する情報だけを抽出する専用のレイヤーです。それこそがTrueMemの埋めるギャップです。
認知科学からの学び
人間の記憶は、すべての会話を逐一原文のまま保持することで機能しているわけではありません。私たちには、現在のタスクのためのワーキングメモリと、永続的な知識のための長期記憶があります。これら2つのシステムは絶えず相互作用しています。長期記憶は新しい情報をどう解釈するかを指示し、重要な体験は長期記憶へと定着していきます。
TrueMemはこの構造を反映し、会話コンテキスト用の短期メモリ(STM)と、永続的なユーザー事実用の長期メモリ(LTM)という2つの明確なコンポーネントで構成されています。

これらのメモリタイプは異なる目的を果たすため、分離することが重要です。STMは「今まさに起きていること」、つまり現在の会話の完全なフローを捉えます。LTMは、すべての会話にわたって維持される抽出された事実を保持します。STMは常にコンテキストに含まれますが、LTMは意味的な関連性に基づいて検索されます。1つのメカニズムで両方を解決しようとすると、妥協を強いられることになります。二重構造のアプローチにより、その問題を完全に回避できます。
短期メモリ:会話の一貫性を保つ
単一のチャットセッション内で、AIは5分前に議論した内容を覚えている必要があります。これがSTMの役割であり、2つの要素を維持します。過去のメッセージの継続的な要約と、直近20件の完全な精度のメッセージです。
会話が長くなるにつれて、総トークン数を継続的に追跡します。制限値を超えると、バックグラウンドワーカーが直近のメッセージを維持しながら、過去のメッセージを要約へと圧縮します。

要約処理は非同期で行われるため、ユーザーが待たされることはありません。制限値を超えると、バックグラウンドジョブが未要約のメッセージを取得し、既存の要約と結合して、更新された包括的な要約を生成します。それらのメッセージには「要約済み」のマークが付けられ、サイクルが継続します。段階的な圧縮により、1時間に及ぶ会話であっても適切なコンテキスト制限内に収まります。
しかし、会話のコンテキストだけでは不十分です。ユーザーが明日戻ってきたらどうなるでしょうか?そこで長期メモリの登場です。
長期メモリ:永続的な理解の構築
LTMは、名前、職業、好み、コミュニケーションスタイルなど、会話を越えて記憶する価値のあるユーザーに関する事実を無期限に保持します。これらは生のテキストとして保存されるのではありません。ベクトル埋め込み(Vector Embeddings)に変換され、意味的な類似性検索を可能にします。
ユーザーが「どのプログラミング言語を使うべきですか?」と尋ねた場合、保存されたメモリに対してキーワードマッチングを行うわけではありません。クエリを埋め込みベクトル化し、意味的に関連するメモリを見つけ出します。「ユーザーはPythonを好む」「MLインフラストラクチャを担当している」といったメモリは、共通のキーワードがなくても概念的に関連しているため表面化します。
システムは2つのチャネルを通じてLTMに情報を入力します。明示的なメモリは直接的なリクエストから得られます。「箇条書きを好むことを覚えておいて」「ピーナッツアレルギーであることを忘れないで」。トリガーフレーズを検出し、核心となる事実を抽出し、最大の重要度で保存します。これらのメモリが自動的に削除されることはありません。
自動メモリは会話の分析から得られます。ユーザーが「MLプラットフォームチームを率いています」と言及した場合、明示的な保存リクエストがなくても貴重なコンテキストになります。各やり取りの後、バックグラウンドワーカーが会話を調べ、保存する価値のある事実を抽出し、それぞれに重要度スコアをタグ付けします。
重要度スコアは1から5までの範囲です。5は絶対に忘れてはならない重要な情報(明示的なユーザー指示、強い好み、アレルギーなど)を意味します。4は職業や場所などの主要な個人的事実を表します。3は趣味や関心などの全般的なコンテキストです。2は現在のプロジェクトなどの一時的な情報を網羅します。1は軽微な詳細です。明示的なメモリには自動的に5が割り当てられ、自動抽出された情報は事実の重要性に応じて通常1から4の間でスコア付けされます。

自動抽出には課題が生じます。あるセッションでユーザーが「Pythonが好きです」と言い、別のセッションで「JavaScriptよりPythonが好きです」と言ったらどうなるでしょうか?単純に保存すると重複が発生します。TrueMemは意味的重複排除によってこれを解決します。保存する前に、85%以上の類似性を持つ既存のメモリを検索します。ほぼ重複するものが存在する場合は、新しいエントリーを作成するのではなく更新します。データベースは常にクリーンに保たれ、各事実は最も完全な形式で正確に1つだけ存在することになります。
プライバシーは透明性によって管理されます。ユーザーは保存されたメモリを閲覧、編集、削除できます。すべてのメモリはユーザーごとに厳密に分離されます。エンタープライズでの導入においては、システム全体がお客様のインフラストラクチャ上で動作します。環境外にデータが送信されることはありません。
抽出精度についてはどうでしょうか?いくつかのメカニズムがこれに対応しています。重要度スコアリングにより、明示的なメモリよりも先に自動抽出された情報が整理されます。ユーザーは間違いを確認して修正できます。また、会話を通じて強化された正しい情報はより高い重要度を獲得し、一発誤抽出された情報は自然な整理(プルーニング)によって消去されます。
検索:関連するメモリの高速な発見
メモリを保存しておくことは問題の半分に過ぎません。ユーザーがメッセージを送信した際、適切なサブセットが必要です。すべてではなく、関連するものだけが必要です。パワーユーザーは150個の保存された事実を持っているかもしれませんが、そのすべてを含めるとコンテキストウィンドウが溢れてしまいます。
このプロセスでは、ユーザーのメッセージを埋め込みベクトル化し、コサイン類似度検索を実行して、上位10件の致するものを返します。適切なインデックス作成を行うことで、これは10ミリ秒未満で完了します。
1つの例外:新規ユーザーです。保持しているメモリが10個未満の場合は、類似性に関わらずすべてを含めます。関係の初期段階では、すべてのコンテキストが重要になります。カウントが10を超えると、純粋な類似性ベースの検索に切り替わります。
この検索はより大きなコンテキスト準備フローの一部であり、高速である必要があります。
パフォーマンス上の挑戦
メモリレイヤーは、目立ったレイテンシを追加しない場合にのみ有用です。ユーザーは遅延に敏感であり、200ミリ秒でさえ遅く感じられます。私たちの目標は、コンテキスト準備を80ms未満に抑えることでした。
鍵となるのは並列化です。コンテキスト準備には、埋め込みの生成、最近のメッセージの取得、明示的トリガーのチェック、長期メモリの検索という、いくつかの独立した操作が含まれます。これらを順次に実行するのではなく、並行して実行します。

埋め込み生成は約30ミリ秒で最も時間がかかりますが、10msで完了するデータベースクエリと並行して実行されます。支払うコストは合計ではなく、最も長い操作の分だけです。全体のレイテンシは約45msとなり、目標を大幅に下回ります。
要約やメモリ抽出のような重い操作は、応答が送信された後に非同期で実行されます。ユーザーが待たされることはなく、処理はバックグラウンドワーカーで行われます。この高速な同期パスと遅い非同期パスの分離は、本番環境での利用において不可欠です。
メモリが確実に機能するようになるにつれ、予期せぬ利点が明らかになりました。私たちは偶然にも「モデルアグノスティック」なものを構築していたのです。
予期せぬ利点:ベンダーロックインからの解放
私たちが予想していなかったのは以下の点です。メモリがモデルの外部に存在すれば、もはや単一のプロバイダーにロックインされることはありません。
GPT-4からClaudeに切り替えますか?メモリは維持されます。複雑な推理には一方を、クリエイティブライティングには他方を使うなど、異なるタスクに異なるモデルを使用しますか?すべてのモデルが、あなたに対する同じ理解を共有します。カスタムモデルをファインチューニングしますか?初日から既存のユーザー関係を引き継ぐことができます。
メモリレイヤーが不変の定数となり、モデルは交換可能なものになります。
統合も最小限に抑えられます。LLM呼び出しの前にコンテキストを取得し、その後にやり取りをログに記録します。2つのAPI呼び出しにより、あらゆるステートレスなモデルが永続メモリを持つモデルへと変換されます。SDKのロックインも、複雑な統合も不要です。どんなアーキテクチャにも適合するHTTPエンドポイントだけです。
もちろん、メモリを永遠に増やし続けることはできません。ライフサイクル管理のないシステムは、古い事実で溢れてしまいます。
メモリライフサイクル管理
すべてのメモリには1から5までの重要度スコアがあります。明示的な指示には5が与えられます。主要な個人的事実には4、全般的なコンテキストには3、一時的な情報には2、軽微な詳細には1が与えられます。
数がソフト上限(デフォルトでは150)を超えると、プルーニング(剪定)が作動します。システムが重要度4以上のメモリに触れることはありません。より重要度の低いメモリの中で、スコアが最も低いものから順に削除し、同点の場合は作成日時の古さを決定打とします。
明示的なユーザー指示は無期限に生き残ります。価値の低い自動抽出情報はリサイクルされ、新しい情報のためのスペースが作られます。手動での整理を必要とすることなく、メモリは常に関連性を保ち続けます。
すべてを組み合わせる
ユーザーがチャットを開き、次のように入力します:「以下のポイントに基づいて、週次進捗の作成を手伝ってください…」

アプリはコンテキストを求めてTrueMemを呼び出します。TrueMemは、「名前はPrathamesh」「シニアMLエンジニア」「メモリサービスを担当」といった情報を含む、STMと関連するLTMを組み立てます。これにかかる時間は45ミリ秒です。
LLMはパーソナライズされた応答を生成します:「Prathameshさん、今週の進捗更新です…」。定型文の入力は不要です。自己紹介も不要です。AIは誰が尋ねているかを知っています。
応答後、アプリはやり取りをログに記録します。バックグラウンドワーカーがメッセージを保存し、新しい事実を抽出し、必要に応じて要約を更新します。重い処理は目に見えない場所で行われます。
技術的選択
私たちは現実的な理由から、専用のベクトルデータベースではなくPostgreSQLとpgvectorを選択しました。ほとんどのチームはすでにPostgresを運用しています。メモリは完全なACID特性を備え、ユーザーデータと同居します。ユーザーあたり100〜200個のベクトルコレクションにおいて、pgvectorは10ms未満の類似性検索を提供します。ユーザー範囲に限定されたメモリとしては、これが最適な選択肢です。
LLMの呼び出しには数秒かかり、リクエストをブロックするには長すぎるため、バックグラウンドワーカーはRedisでサポートされたキュー上で実行されます。ワーカーは、ユーザー向けのレイテンシに影響を与えることなく、失敗の再試行、バッチ処理、独立したスケールを行えます。
もう儀式はいらない
あの金曜日の慣習を覚えていますか?「私はPrathameshです。シニアソフトウェアエンジニアです。メモリサービスを担当しています。」
TrueMemを使えば、一度言えば十分です。AIは覚えています。来週の金曜日の更新はスムーズに行われます。来月のメールの下書きは私の署名を知っています。コンテキストは常にそこにあります。
さらに良いことに、別のモデルに切り替えても、記憶は引き継がれます。日常のアシスタントは、余計な手間をかけることなくモデルアグノスティックになります。
それこそが目指す姿です。あなたを覚えているAI。何度も思い出させるからではなく、AIが本当に覚えているからです。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.














.webp)





.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






