컨텍스트 윈도란?
Context Window
A. 컨텍스트 윈도란
AI가 한 번에 고려할 수 있는 입력+출력 토큰의 최대 개수입니다. 클수록 더 긴 문서와 대화를 처리할 수 있습니다.
컨텍스트 윈도는 AI가 한 번의 교환에서 참조할 수 있는 정보량의 상한, 즉 입력과 출력 토큰 수의 합계입니다. 이를 넘어서는 부분은 잊혀집니다.
최근에는 수십만에서 백만 토큰 규모의 큰 컨텍스트를 갖춘 모델이 등장하면서, 긴 문서·전체 코드베이스·긴 대화를 한꺼번에 처리할 수 있게 되었습니다. 긴 문서 처리가 중요하다면 눈여겨볼 지표입니다.