Tokenとは丨生成AI 用語集

この記事の監修者

佐々木真
PM Career事業責任者（Xアカウント ＠shin_sasaki19）
株式会社リクルートにて「スタディサプリ」の初期メンバーとして事業開発・プロダクトマネージャー業を担当し全国展開を達成後、SmartHRのグループ会社としてToB向けSaaS「SmartMeeting」を立ち上げ2021年3月に退任。その後PMオンラインスクール「PM School」、プロダクト開発人材の転職サイト「PM Career」の事業を運営中。プロダクト開発の知見・人材の流動性を高め、日本のプロダクト作りをぶち上げるべく尽力中。個人としてもX（Twitter）アカウントのフォロワーは3万人超え、YouTubeやPodcastでもプロダクト開発のコンテンツを発信する日本で最も有名なプロダクト開発者の1人。

今すぐ転職をしたい人も、中長期的にしたい方も、PM Careerに無料会員登録をしておくことでキャリアに役立つ情報を定期的にキャッチアップすることが重要です。まだ登録されてない方はこちらからどうぞ。3分で完了します。
PM Careerに無料会員登録する
転職についての情報はこちらをご覧ください！

• プロダクトマネージャー転職完全ガイド｜年収・面接対策・求人探しまで【2025年最新版】
• プロジェクトマネージャー 転職・完全ガイド｜年収・面接対策・求人探しまで【2025年最新版】

Token（トークン）とは

Token（トークン）とは、生成AIや自然言語処理（NLP）でテキストを扱う際の「最小単位」を指す言葉です。たとえば、ある文章をAIに処理させるとき、その文章はまず「Token」に分割されてから処理されます。

この「Token」は、単語そのものだけでなく、記号や文の一部なども含まれることがあり、「単語＝Token」とは限りません。AIのモデルによっては、1単語を複数のトークンに分割することもあります。

Tokenの例と分割の仕組み

たとえば、「OpenAIはすごい」という日本語を扱う場合、以下のようにToken化されることがあります。

["Open", "AI", "は", "すご", "い"]

また、英語の場合も「Token＝単語」とは限らず、「unbelievable」が以下のように分割されることがあります。

["un", "believ", "able"]

これは、トークン化のアルゴリズム（たとえばByte Pair Encodingなど）により、AIが効率よくテキストを処理できるよう設計されているためです。

Tokenとモデルの関係

生成AI（たとえばGPTシリーズ）では、「1回の入力や出力で扱えるToken数（トークン数）」に制限があります。これをコンテキスト長と呼び、モデルによって異なります。たとえばGPT-3.5は最大4,096トークン、GPT-4では最大128,000トークンまで扱えるバージョンもあります。

トークン数の制限を超えると、それ以前の内容をモデルが「忘れる」ため、プロンプト設計ではトークン数の管理が重要です。

Tokenとコスト

多くの生成AIサービス（例：OpenAIのChatGPT API）は、利用料金を「トークン数に基づいて課金」しています。入力・出力のトークンが多ければ多いほど、コストも高くなる仕組みです。

したがって、プロンプトを設計する際には、必要な情報をコンパクトにまとめ、トークン数を最適化することがコスト削減につながります。

関連用語

生成AI 用語集