トークンとは？
Token ・ とーくん
A. トークンとは
AIが文章を処理する最小単位です。料金や入力できる長さ（コンテキスト）はトークン数で測られます。
トークン（Token）は、LLMがテキストを扱う際の最小単位です。英語では単語や単語の一部、日本語では文字や語の断片がトークンになります。目安として日本語は1文字あたり1トークン前後を消費します。
API料金は「入力トークン＋出力トークン」の量で課金されることが多く、入力できる文章の長さ（コンテキストウィンドウ）もトークン数で表されます。長い文書を扱うほどトークン消費が増えます。