Genesys Agent Copilot AIモデルとLLM入力を理解する

ジェネシスエージェント副操縦士GenesysネイティブとAWS ベッドロック機能、ユースケース、方言に応じてモデルが異なります。

Genesys Agent Copilot AIモデルとLLM入力

Genesys Agent Copilotは、GenesysネイティブとAWS ベッドロック機能、ユースケース、方言に応じてモデルが異なります。

トークンの概要

トークンは、単語の一部、スペース、句読点などのテキストのセグメントを表します。API は入力を処理し、その入力をトークンに分解しますが、必ずしも単語全体に一致するとは限りません。いくつかの重要な近似値は次のとおりです。

• 1トークンは英語で約4文字に相当します
• 1トークンは単語の約3/4に相当する
• 100トークンは約75語に相当します

 または： 

• 1～2文は約30トークンに相当します
• 1段落は約100トークンに相当します
• 1,500語は約2048トークンに相当する

例えば、 「Carpe diem」のような有名な格言には、10 個のトークンがあるかもしれません。 企業のビジョンステートメントは約 500 トークンになる可能性があります。 「The Road Not Taken」などの古典的な詩には、約 1,700 個のトークンが含まれる場合があります。

言語の違い

トークン化は言語によって異なります。たとえば、フランス語で「みなさん、こんにちは」を意味する「Bonjour tout le monde」は、わずか 19 文字であるにもかかわらず、5 つのトークンが含まれています。英語以外のテキストではより多くのトークンが必要になる可能性があり、API コストに影響します。

トークンの生成方法

API は、コンテキストに基づいて単語をトークンに変換し、処理してから、トークンを読み取り可能なテキストに変換します。同じ単語でも、配置によっては異なるトークンに分割される場合があります。たとえば、「blue」という単語は、末尾にスペースがあったり大文字で始まっていたりすると、異なるトークンを持つ可能性があります。

例:

• 末尾にスペースがある「blue」のトークンは「4321」のようになります。
• 「Blue」のトークン（大文字でスペースあり）は「4521」になります。
• 「Blue」（先頭が大文字）のトークンは「5000」のようになります。

共通トークンの価値は低くなります。句読点は、カンマと同様に、頻繁に使用されるため、一貫したトークン ID を持つ傾向があります。単語は、大文字と小文字、または文中の位置に基づいて異なるトークン ID を持つ場合があります。