토큰

개념

AI가 글을 읽고 쓰는 최소 단위로, 대략 짧은 단어 조각 하나에 해당합니다. 사용량 요금과 맥락 창의 한도가 모두 토큰으로 계산되기 때문에, 비용과 기억력을 이야기할 때 기준 단위가 됩니다. 같은 내용이라도 언어와 표기에 따라 토큰 수가 달라집니다.