토큰란?
Token
A. 토큰란
AI가 텍스트를 처리하는 최소 단위입니다. 요금과 최대 입력 길이(컨텍스트) 모두 토큰 단위로 측정됩니다.
토큰은 LLM이 텍스트를 다루는 최소 단위입니다. 영어에서는 토큰이 단어나 단어의 일부인 경우가 많고, 한국어에서는 글자나 단어의 일부가 되는 경향이 있습니다. 대략적인 기준으로, 한국어는 글자당 약 한 개의 토큰을 소비합니다.
API 요금은 보통 입력 토큰과 출력 토큰의 양에 따라 부과되며, 입력 가능한 텍스트의 최대 길이(컨텍스트 윈도)도 토큰으로 표시됩니다. 처리하는 문서가 길수록 더 많은 토큰을 소비합니다.