トークンとは？AI APIの入力・出力と料金の計算方法

トークンは、モデルが文章を扱う単位

AIモデルにテキストを処理させる際、文章はまずトークンと呼ばれる小さなまとまりへと分解されます。単語単位で区切られることもあれば、ひとつの単語が複数のトークンに分割されるケースもあります。この分割処理を担うモジュールがトークナイザーです。

分割のルールや語彙の設計は、モデルやトークナイザーの種類ごとに異なります。全く同じ日本語の文章であっても、使用するモデルが変われば算出されるトークン数は変化します。そのため、日本語の文字数に一定の係数を掛けるだけで正確なトークン数を割り出すことはできません。

入力と出力の費用を分けて足す

トークン単位で課金されるAPIでは、ユーザーがモデルへ渡す入力（プロンプト）と、モデルが生成して返す出力（レスポンス）で単価が異なる場合があります。まずは利用するモデルの公式料金表で、それぞれの単価設定を確認しましょう。

1回の費用 =
  入力トークン数 ÷ 1,000,000 × 入力の100万トークン単価
  ＋ 出力トークン数 ÷ 1,000,000 × 出力の100万トークン単価

月間の概算 = 1回の費用 × 月間の呼び出し回数

計算の流れを把握するための仮の前提として、100万トークンあたりの入力単価を200円、出力単価を800円と設定してみます。1回のリクエストで入力が2,000トークン、出力が500トークンだった場合、入力費用は0.4円、出力費用は0.4円となり、1回あたりの合計は0.8円です。これを月に1,000回実行すると、月額費用は800円と算出されます。なお、これらは計算手順を説明するための仮の数値であり、実在する特定サービスの価格ではありません。

手元の単価を入力して試算する

利用を検討しているモデルの料金ページを参照し、入力と出力の単価を入力してご活用ください。米ドル建ての金額をそのまま打ち込んでも日本円の概算にはなりません。また、各社が提供する無料利用枠やクレジットの差し引きを自動計算する機能は備えていません。

会話ターンが重なると入力トークンも増大する

1回あたりのユーザー発言だけでコストを見積もってしまうと、本番環境で想定以上のトークンを消費することがあります。チャットボットでは過去の対話履歴全体、システムプロンプトの指示文、RAGで検索された参照ドキュメント、ツール定義のスキーマなどもすべて入力トークンとして計上されるためです。

ユーザーの入力文自体は短くても、RAGで長大なマニュアルをリクエストごとに添付していれば入力コストは一気に跳ね上がります。一方で、プロンプトキャッシュなどの割引機能が適用されるケースでは、通常の入力単価だけで計算すると実際の請求額と乖離が生じます。ダッシュボードの利用ログと請求明細を定期的に突き合わせて確認しましょう。

実際の使用量を測って、見積もり直す

1. 代表的な入力をいくつか用意します。
2. 実際のAPIで、入力と出力の使用量を記録します。
3. 短い回答と長い回答を分けて、呼び出し回数を見積もります。
4. 再試行や外部ツールの費用を別に足します。

平均値だけで試算を進めると、極端に長いドキュメントを投入した際や、出力上限までテキストを生成させた際の外れ値コストを見落としがちです。通常の利用パターンに加えて、最大サイズの資料を読み込ませる負荷テストを実施しておくと、想定外の予算超過を防止できます。上記の計算フォームは、そのうちトークン課金部分のベースコストを把握する用途としてお役立てください。