【Bedrock】プロンプトルーティングを試してみた

はじめに

皆さんこんにちは！パーソル＆サーバーワークスの小泉です。

突然ですが、Amazon Bedrockのモデル選定に困ったことはありませんか？

プロンプトルーティングの仕組みを活用すれば、モデル選定がもっと楽になるのでは(もしくは不要になるのでは)？と思い、熱が冷めないうちにブログにまとめました。

※本記事執筆時点では、プロンプトルーティングはプレビュー機能となっています。

プロンプトルーティングとは？

簡単に言うと、プロンプトの内容に応じて適切なモデルに自動的にルーティングしてくれる仕組みです！

Amazon Bedrockでは、同じモデルファミリー内の異なる基盤モデル間でリクエストを自動的に振り分け、最適なモデルを選択してくれます。これにより、ユーザーが都度モデルを選択する手間が省け、効率的に推論を実行できます。

プロンプトルーティングのメリット

例えば、Claude 3 HaikuとClaude 3 Sonnetの特徴を比較してみましょう。

Claude 3 Haiku

• 推論速度が速い
• コストが安い
• シンプルなタスクに適している

Claude 3.5 Sonnet

• 高精度 & より高度な会話に適している
• 複雑なタスクが可能

例えば、「簡単なプロンプトにはHaikuを使いたい」「より詳細なプロンプトにはSonnetを使いたい」と思っても、 毎回モデルを切り替えるのは面倒ですよね。

そこでプロンプトルーティングを活用すると、 適切なモデルが自動的に選択され、 コストとパフォーマンスの最適化が可能になります！

実際に試してみた

実際にプロンプトルーティングを試してみた結果を紹介します。 routerにClaude 3 Haiku,Claude 3.5 Sonnetを選択します！

物は試しでということで、二つのプロンプトを投げてみました！ プロンプト1には簡単なプロンプト与え、プロンプト2には少し複雑なプロンプトを与えてみました！

プロンプト 1

Describe the purpose of a 'hello world' program in two line

プロンプト 1 結果

Claude 3 Haikuが使用されていることがわかりました！

プロンプト 2

Alice has N brothers and she also has M sisters. How many sisters does Alice's brothers have?

プロンプト 2 結果

Claude 3.5 Sonnetが使用されていることがわかりました！

まとめ

いまはプレビュー機能ということもあり、選択できるモデルに制限がありますが今後のアップデートに期待です！

参考

AWS公式ブログ

この記事は私が書きました

小泉 和貴

記事一覧

全国を旅行することを目標に、仕事を頑張っています。