AI 텍스트 분할기
AI 텍스트 분할기로 텍스트를 로컬 tokenizer 기준의 최대 토큰 수와 오버랩으로 나누고 각 청크를 확인합니다.
업데이트: 2026-09-02
생성된 청크
1개
전체 토큰11
최대 크기120 토큰
오버랩20 토큰
| 번호 | 토큰 | 내용 |
|---|---|---|
| 1 | 11 | AI를 활용해 문서를 요약해 주세요. |
청크별 토큰과 원문 토큰 구분
오버랩을 넣으면 앞 청크의 끝부분이 다음 청크에도 들어갑니다. 화면의 전체 토큰 수는 원문 기준이므로 중복분까지 합친 청구 토큰으로 읽지 마세요. 나눈 텍스트를 각각 전송한다면 겹친 부분도 다시 포함됩니다. 문장 중간에서 잘릴 수 있어 사용할 청크의 시작과 끝도 살펴보세요.
이 도구가 도움이 되셨나요?
여러분의 의견은 더 유용한 도구를 만드는 데 도움이 됩니다.