プロンプトエンジニアリングとは?

Built for Speed: ~10ms Latency, Even Under Load
Blazingly fast way to build, track and deploy your models!
- Handles 350+ RPS on just 1 vCPU — no tuning needed
- Production-ready with full enterprise support
はじめに
プロンプトとは、ツールや人間に対して与える明確な指示や一連の指示のことです。検索エンジンに入力するキーワード、コンピュータプログラムへのコマンド、友人に尋ねる質問など、プロンプトは探しているものや実行してほしいことを相手が理解するのに役立ちます。
効果的なプロンプトを作成する技術と科学であるプロンプトエンジニアリングは、大規模言語モデル(LLM)の人気の高まりとともにますます不可欠になっています。プロンプトエンジニアリングにより、LLMの持つ能力をフルに活用できるようになるためです。
この記事では、言語モデルの視点を通じてプロンプトエンジニアリングを習得するのに役立つ情報を提供します。
プロンプトとLLM
プロンプトエンジニアリングを行う際、一般的にはAPIを使用してLLMとやり取りします。これらのAPIは、目的の出力を得るために調整できる一連のハイパーパラメータで構成されています。ここでは、Hugging Face Inference API(下の画像を参照)を例に挙げ、各パラメータの重要性について確認していきます。
from huggingface_hub import InferenceClient
# HF Inference Endpoints parameter
endpoint_url = "https://YOUR_ENDPOINT.endpoints.huggingface.cloud"
hf_token = "hf_YOUR_TOKEN"
# Streaming Client
client = InferenceClient(endpoint_url, token=hf_token)
# Generation parameters
gen_kwargs = {
"max_new_tokens": 512,
"top_k": 50, # Adjusting top-k sampling parameter
"top_p": 0.8, # Adjusting nucleus sampling parameter
"temperature": 0.5, # Adjusting temperature for randomness
"repetition_penalty": 1.5, # Adjusting repetition penalty to avoid repetitive responses
"stop_sequences": ["\nUser:", "", "</s>"],
}
# Prompt
prompt = "What are the effects of climate change on"
# Text generation
stream = client.text_generation(prompt, stream=True, details=True, **gen_kwargs)
上記のように、さまざまなハイパーパラメータを調整することで、生成されるテキストの品質や多様性に影響を与えることができます。上記の gen_kwards プロパティに含まれるさまざまなハイパーパラメータを詳しく見てみましょう。-
ハイパーパラメータ
Temperature
料理のスパイスのレベルを調整するようなものです。Temperatureが高いほどランダム性が増し、味付けのためにスパイスを加えるような効果があります。一方、Temperatureが低いとレシピ通りに進めるように予測可能性が高維持されます。例えば、詩の作成やストーリーのアイディア出しのようなクリエイティブな執筆タスクでは、Temperatureを高く設定することで、より多様で独創的なテキストが得られます。
Top_k
図書館で選択肢を最も人気のある本だけに絞り込むようなものと考えてください。テキスト生成中に最も確率の高いトークンを選択し、出力を洗練させます。例えば、一般的な問い合わせでユーザーを支援するカスタマーサービスボットを考えてみましょう。top_k パラメータを設定することで、チャットボットは最も関連性の高い情報に基づいて回答の優先順位を決定できるため、不要な詳細でユーザーを混乱させることなく、正確で役立つサポートを提供できます。
Top_p
Top_p は、累積確率が p に達するまでトークンを選択することで、考慮されるトークンに制限を設けます。top_k と top_p の両方が、多様性と品質を制御するために使用されます。
Max_new_tokens
エッセイの文字数制限を設定するようなものです。Max_new_tokens はモデルが生成できるテキストの量を決定し、指定された長さ以内に収めます。例えば、チャットボットの応答を生成している場合、最大トークン制限を設定することで、応答が簡潔であり、会話のコンテキストに関連した状態を維持できます。
Repetition_penalty
Repetition_penalty は、モデルが同じトークンを再利用するのを抑制し、生成されるテキストの多様性を促進します。仮想アシスタントなどの会話型AIアプリケーションにおいて、repetition_penalty を設定することで、長時間のやり取りでもアシスタントの応答が多様で自然な状態を保つことができます。
Frequency Penalty
Frequency Penalty は、モデルがあまり一般的でないトークンを探索することを促し、テキストをよりユニークなものにします。さまざまな情報源からの記事を要約するニュースアグリゲーターアプリを開発しているとします。Frequency Penalty を適用することで、アプリは知名度の低い出版物やニッチなトピックを優先し、ユーザーに多様な視点を提供できます。
Presence Penalty
Presence Penalty は、特定の基準に沿ったテキストの生成を促したり、特定のトピックを回避させたりすることで、関連性を確保します。オンラインフォーラムのコンテンツモデレーションシステムでは、Presence Penalty を設定することで、不適切な言語や攻撃的な言語のフィルタリングに役立ちます。例えば、ユーザーが差別的なコメントを投稿しようとした場合、Presence Penalty によりシステムは警告メッセージを生成するよう誘導されます。
優れたプロンプトを書くための一般的なヒント
シンプルな記述から始める
最初にすべての情報を詰め込むのではなく、まずはシンプルで単刀直入なプロンプトを作成し、改良を重ねながら徐々に複雑さを加えていくべきです。そのため、大きなタスクを扱う場合は、それを小さなサブセットに分解するようにしてください。
明確なガイダンス
指示は明確かつ具体的である必要があります。例:
悪いプロンプト:「 The quick brown fox jumps over the lazy dog, これを翻訳して。」
良いプロンプト:「次の英語のテキストをスペイン語に翻訳してください:'The quick brown fox jumps over the lazy dog.'」
具体的に書く
関連する例や詳細な指示を含めることで、プロンプトの明確さを向上させます。
悪いプロンプト:「ソーシャルメディアとその影響について書いてください。」
良いプロンプト:「ソーシャルメディアがティーンエイジャーのメンタルヘルスに与える影響について論じた500語のエッセイを書いてください。アメリカ心理学会などの信頼できる情報源からの統計データを含め、ソーシャルメディアの過剰利用の影響を受けた個人の実例を挙げてください。」
混乱を避ける
モデルの応答における曖昧さを防ぐため、プロンプトが明確で直接的であることを確認してください。
継続的な改善
フィードバックとパフォーマンスに基づいてプロンプトを反復的に改良し、自動プロンプトエンジニアリングを通じて結果を最適化します。
LLMにおけるプロンプトエンジニアリングのためのツール、フレームワーク、ライブラリ
最適なプロンプトエンジニアリングツールの選択は、実験、本番環境へのデプロイ、またはモデル固有のワークフローのいずれに向けてプロンプトを最適化しているかによって異なります。
Hugging Face Transformers
特定のタスクに対してモデルをファインチューニングするためのインターフェースを提供し、カスタムプロンプトの作成を可能にします。
OpenAI Codex API
OpenAIのAPIにはプロンプトエンジニアリング機能が含まれており、ユーザーはプロンプトに基づいてコードやテキストを生成できます。
GPT-3 Playground
GPT-3 Playgroundのようなプラットフォームは、プロンプトを実験し、モデルの応答をリアルタイムで観察するためのインタラクティブな環境を提供します。
GoogleのT5 Framework
T5(Text-To-Text Transfer Transformer)は、すべてのNLPタスクをText-to-Text形式に変換するフレームワークであり、さまざまなタスクにおけるプロンプトエンジニアリングを簡素化します。
AllenNLP
AllenNLPは、プロンプトの設計および評価メカニズムを含む、NLPモデルの構築と評価のためのツールを提供します。
プロンプトエンジニアリングの高度な手法
このセクションでは、自然言語処理(NLP)および言語モデルのファインチューニングにおけるプロンプトエンジニアリングの傘下で実装されている、いくつかのSOTA(最先端)手法について説明します。上述した方法と多少の重複があるかもしれませんが、これらの手法をより公式かつ構造化されたアプローチとして捉えてください:
Zero-shot Prompting
「Zero-shot」という用語が示すように、ここではLLMに文脈を追加で提供することなく直接推論を行います。代わりに、モデルが既存の知識に基づいて結果を生成します。
プロンプト:
Who was the first man in space?
出力:
The first man in space was Yuri Gagarin, a Soviet cosmonaut.
Few-shot Prompting
Few-shot Promptingとは、質問をする前に言語モデル(LLM)にあらかじめ少し情報を与える手法です。この追加のコンテキストには2つの大きな目的があります。第1に、LLMが進行中の状況を把握するのを助け、より的確な応答を返せるようにすることです。第2に、LLMがこれまで遭遇したことのない新しい情報を学習できるようにし、知識を最新かつ適応可能な状態に保つことです。
プロンプト:
Compose a poem with three stanzas, each focusing on a different theme: love, nature, and solitude.
出力:
In your embrace, I find my solace,
A symphony of hearts beating as one,
Lost in the dance of passion's embrace.
Behold the whispering trees, their leaves aglow,
Nature's canvas painted with hues divine,
Serenity is found in the murmuring flow.
In the quietude of the night, I am alone,
A solitary soul under the starry sky,
Finding solace in the silence, all on my own.
Prompt Chaining
Prompt Chainingは、複雑なタスクをより扱いやすいステップに分割するための強力な手法です。あるプロンプトの出力を別のプロンプトの入力として渡すことで、プロセスを合理化し、複雑な問題に効率的に対処できます。
このアプローチにはいくつかの利点があります。指示の簡素化、集中したトラブルシューティングのための問題箇所の特定、そして結果のより優れた検証です。さらに、Prompt Chainingによりタスクの平行実行が可能になり、複数のサブタスクを同時に処理できます。
プロンプト-1:
There is a workout routine, present on the website <link>:
ウェブサイト上で言及されているエクササイズを特定してください。それらを <quotes></quotes> XMLタグで囲み、直接の引用として提供してください。エクササイズが言及されていない場合は、「エクササイズは言及されていません」と述べてください。
出力-1:
<quotes>
"10 push-ups"
"20 squats"
</quotes>
プロンプト-2:
以下は、ルーティンの中で言及されているエクササイズです。<quotes></quotes> XMLタグで囲まれています:
<quotes>
"10 push-ups"
"20 squats"
</quotes>
これらのエクササイズを使用してワークアウトルーティンを作成してください。指示が明確で理解しやすいことを確認してください。
出力-2:
# Generates a comprehensive workout plan
Chain-of-Thought Prompting
Chain-of-Thought Prompting(思考の連鎖プロンプティング)手法は、学生が問題の例を示された後、同様の問題を解くようにチャレンジさせられるシナリオを模倣しています。
プロンプト:
Q: Sally has 50 apples. She gives 15 to her friend and then buys three times as many as she gave away. How many apples does Sally have now?
A: Sally started with 50 apples. After giving away 15, she has 50 - 15 = 35 apples left. Then she buys three times as many as she gave away, which is 3 * 15 = 45 apples. Adding the apples she bought to what she had left, Sally now has 35 + 45 = 80 apples. Therefore, Sally has 80 apples.
Q: Joe has 20 eggs. He buys 2 more cartons of eggs. Each carton contains 12 eggs. How many eggs does Joe have now?
出力:
A: Joe started with 20 eggs. 2 cartons of 12 eggs is 24 eggs. 20 + 24 = 44. Therefore, Joe has 44 eggs, and the answer is 44.
例が少ない場合や例が全くない状況では、元のプロンプトに「ステップバイステップで考えましょう(Let's think step by step)」のようなフレーズを追加することが、モデルのパフォーマンスを向上させるのに効果的です。
Automatic Chain-of-Thought (Auto-CoT)
LLMに問題を解決する方法を示す例を自動的に生成します。これらの例は「デモンストレーション」と呼ばれ、LLMに思考プロセスを明確に表現させ、問題にどのようにアプローチするかを説明させることで作成されます。
Auto-CoTの仕組み
Auto-CoTは2つのステージで動作します:
- 質問のクラスタリング:まず、類似した質問をグループ化します。これにより、デモンストレーションが広範囲の多様な問題タイプをカバーできるようになります。
- デモンストレーションのサンプリング:次に、各クラスタから代表的な質問を選択し、LLMにそのデモンストレーションを生成させます。LLMは声に出して思考し、推論プロセスをステップバイステップで説明することでこれを行います。
LLMのファインチューニング
多くの場合、ファインチューニングはプロンプトエンジニアリングの一部とはみなされませんが、プロンプトエンジニアリングと同様に、大規模言語モデル(LLM)を特定タスクに適応させるための手法です。
これには、すでに学習済みのモデルを独自の専門的なラベル付きデータセットでトレーニングし、パラメータを調整することが含まれます。新しいデータに合わせて最後の層が調整されることが多いですが、ファインチューニングでは複数の層にわたってパラメータを微調整し、元のトレーニングで学習した知識を維持しながら、ドメイン固有の特徴をより適切に捉えることも可能です。
従来、ファインチューニングは強力なハードウェア、機械学習の専門知識、そして大量のラベル付きデータを必要とする、複雑でリソース集約的なプロセスでした。
しかし現在では、事前学習済みモデルと使いやすいファインチューニングパイプラインを提供するHugging Faceのようなプラットフォームのおかげで、ファインチューニングはよりアクセスしやすく効率的になっています。Hugging Faceの機能を従来のファインチューニングアプローチと統合することで、事前学習済みモデルを出発点として活用でき、膨大な量のラベル付きデータや専門知識の必要性を減らすことができます。
TruefoundryもLLMのファインチューニング機能を提供しており、直感的でシンプルなインターフェースにより、3つの簡単なステップでモデルをファインチューニングできます:
- データベースの接続
- ファインチューニングジョブの比較と、ニーズに合った最適なものの選択
- ファインチューニング済みモデルのデプロイ
Retrieval Augmented Generation (RAG)
Retrieval Augmented Generation(RAG:検索連動型生成)では、質問応答やテキスト生成などのタスクにおけるモデルのパフォーマンスを向上させるため、生成とともに検索がコンポーネントとして使用されます。RAGは事実が変化し続けるシナリオに適応可能であり、LLMの固定された知識だけでは追いつけない場合に価値を発揮します。RAGを使用すると、言語モデルは再トレーニングを回避し、検索ベースの生成を通じて最新情報にアクセスして、信頼性の高い出力を生成できます。
近年、RAGシステムは基本的なNaive RAGから、より精巧なAdvanced RAGやModular RAGモデルへと進化しています。
Naive RAGはユーザー入力に基づいて情報を検索しますが、古いデータや無関係な応答のために精度に苦戦することがあります。Advanced RAGは、検索プロセスを微調整してより精密で関連性の高いものにすることで、これを改善します。
Modular RAGは、検索やメモリなどのさまざまなカスタマイズ可能なモジュールを提供することでさらに進歩しており、特定の問題を解決するための柔軟性を可能にしています。全体として、これらの進歩は、情報検索と応答生成をより適切に管理することにより、対話システムをよりスマートで信頼性の高いものにすることを目指しています。
Truefoundryは、任意のメタデータストア、エンベディング、またはLLMモデルと統合できる、RAG向けの完全なエンドツーエンドインターフェースも提供しています。
人間のフィードバックからの強化学習 (RLHF)
かなり長い間、強化学習を使用して言語モデルをトレーニングするというアイディアは、エンジニアリング上およびアルゴリズム上の課題の両方から実現不可能と考えられていました。RLHFの技術的詳細を理解するには、さまざまな強化学習の前提知識が必要となるため、ここでは非常に一般的な説明にとどめます。
迷路を移動するようにロボットをトレーニングすることを目的とする問題を考えてみましょう。従来の強化学習(RL)では、ロボットはゴールに素早く到達することを目指し、迷路内でどれだけ優れたパフォーマンスを発揮したかに基づいてフィードバックを受け取ります。しかし、人間のフィードバックからの強化学習(RLHF)は、人間が追加の入力を与えることで、これを一歩進めます。人間は速度だけでなく、ロボットが障害物を回避しているか、見た目の良いルートを通っているかなどについてもコメントできます。
例えば、ロボットが障害物を避けるルートを選んだり、人間が好むルートに従ったりした場合、ボーナスポイントを獲得できる場合があります。このようにして、ロボットはゴールに早く到達することだけでなく、人間が何を好むかを考慮することも学習します。
大規模言語モデル(LLM)向けのプロンプトエンジニアリングにおいて、RLHFは非常に便利です。プロンプトが望ましい応答を引き出せるように改善されることを確実にし、人間のチェックによってプロンプトの品質を向上させ、好みに合わせてプロンプトをカスタマイズできるようにし、時間の経過とともに変化するトレンドに対応し続けます。人間の入力を取り入れることで、さまざまなタスクや分野にわたって、求めている結果により近い出力を得られるようになります。
TrueFoundry AI Gateway delivers ~3–4 ms latency, handles 350+ RPS on 1 vCPU, scales horizontally with ease, and is production-ready, while LiteLLM suffers from high latency, struggles beyond moderate RPS, lacks built-in scaling, and is best for light or prototype workloads.
















.webp)




.webp)
.webp)
.png)

.png)
.png)
.png)
.png)
.png)
.webp)
.webp)






