만드는 기록/작게 만든 도구들

글자 수가 도구마다 다른 이유와 원고 분량 검사기 설계

Roslyn 2026. 11. 18. 08:00
반응형

원고를 에디터에서 복사해 다른 도구에 붙이면 글자 수가 달라질 때가 있습니다. 한쪽이 틀렸다고 생각하기 쉽지만 제목을 포함했는지, 줄바꿈을 어떻게 셌는지, 글자라는 단위를 무엇으로 정했는지부터 확인해야 합니다. 같은 텍스트를 받았다는 사실만으로 같은 길이를 계산하는 것은 아닙니다.

원고를 쓰고 도구도 만드는 입장에서는 숫자 하나보다 그 숫자의 정의가 필요합니다. 이 글은 작은 분량 검사기를 설계할 때 정할 기준을 다룹니다. 2026년 11월 1일 확인한 JavaScript와 Unicode 문서를 바탕으로 설명하며, 특정 연재 플랫폼이나 에디터의 내부 계산식을 알아냈다는 뜻은 아닙니다.

코드 단위, 코드 포인트, 문자소를 나눕니다

MDN의 String.length 설명에 따르면 JavaScript 문자열의 length는 UTF-16 코드 단위 수입니다. 보통 사용하는 완성형 한글 한 음절이나 영문 한 글자만 보면 사람이 세는 글자 수와 같아 보일 수 있습니다. 그러나 일부 문자와 결합 표현에서는 같은 결과를 기대할 수 없습니다.

코드 포인트는 Unicode에서 문자를 나타내는 값의 단위이고, 문자소는 사용자가 한 글자로 받아들이는 묶음에 가까운 단위입니다. 여러 코드 포인트가 하나의 묶음을 이루는 경우가 있으므로 코드 포인트를 세는 것만으로 눈에 보이는 글자를 항상 셀 수는 없습니다. 이모지 결합이나 결합 부호가 붙은 표현이 이런 차이를 드러내는 사례입니다.

Unicode의 텍스트 분할 표준은 문자소, 단어, 문장의 경계를 설명합니다. 문자소 경계는 사람의 인식과 가까운 계산을 위한 기준이지만 모든 상황의 인식을 완벽하게 결정하는 것은 아닙니다. 분량 규칙을 정할 때에는 “진짜 글자 수”라는 이름보다 어떤 경계 규칙을 사용했는지를 밝히는 편이 정확합니다.

한국어도 저장 표현을 살펴볼 필요가 있습니다. 같은 음절처럼 보이는 내용이 완성된 음절 코드로 들어오거나 자모의 결합으로 표현될 수 있습니다. 문자열 정규화 안내처럼 Unicode 표현을 일정한 형태로 맞추는 기능이 있지만, 원고를 검사한다는 이유로 원본 파일을 조용히 바꿀 필요는 없습니다. 측정용 복사본의 정규화 여부를 정책으로 정하면 됩니다.

무엇을 세고 무엇을 빼는지 먼저 고정합니다

문자소를 선택해도 제목, 작성자 메모, 주석, 표, 코드, 링크 주소를 어디까지 포함할지에 따라 결과는 달라집니다. 블로그 HTML이라면 태그가 들어 있는 소스의 길이와 독자가 읽는 본문의 길이는 다른 값입니다. 설명란에 적은 제목까지 포함한 수치와 본문만 센 수치를 그대로 비교하면 차이의 원인을 잘못 찾을 수 있습니다.

예를 들어 내부 원고 검사 규칙을 “본문 표시 텍스트를 대상으로 하고, 문단 경계는 공백으로 바꾸며, 연속 공백은 하나로 합친다”라고 정할 수 있습니다. 이는 하나의 가능한 계약입니다. 모든 출판사나 플랫폼이 그렇게 센다는 뜻은 아닙니다. 대사 사이의 줄바꿈이나 의도적인 여백이 중요한 원고라면 다른 정책을 선택할 수 있습니다.

HTML을 다룰 때에는 단순히 꺾쇠괄호 사이를 지우는 작업만으로 본문 추출을 완료했다고 보기 어렵습니다. 주석과 엔티티, 문단 경계, 코드 안의 특수문자 등을 구분해야 합니다. HTML 파서로 필요한 텍스트를 추출하고 어떤 요소를 제외할지 정하는 단계와, 추출된 문자열을 세는 단계를 나누면 문제를 찾기 쉽습니다.

  • 입력 범위: 제목과 메타데이터를 포함하는지, 본문만 세는지 적습니다.
  • 공백 정책: 일반 공백, 탭, 줄바꿈, 연속 공백을 어떻게 처리할지 정합니다.
  • 문자 단위: UTF-16 코드 단위, 코드 포인트, 문자소 중 무엇을 셀지 표시합니다.
  • 정규화: 측정용 텍스트를 변환한다면 방식과 적용 순서를 기록합니다.

“공백 제외”라는 이름도 구체화해야 합니다. 일반 띄어쓰기만 뺄지, 줄바꿈과 탭도 뺄지에 따라 다릅니다. 원고의 모든 보이지 않는 문자를 무조건 제거하면 서로 다른 표현을 합치거나 의미 있는 문자를 잃을 수 있습니다. 결과가 기대와 다를 때에는 제거한 문자 종류를 확인할 수 있어야 합니다.

문자소 계산은 작은 함수로 분리할 수 있습니다

MDN의 Intl.Segmenter 안내는 문자열을 문자소, 단어, 문장 단위로 나누는 기능을 설명합니다. 문자소를 기준으로 선택하려면 granularity를 grapheme으로 지정할 수 있습니다. 실제로 사용할 브라우저나 Node.js 환경에서 지원 여부를 확인해야 하며, 지원되지 않을 때 다른 단위를 같은 이름으로 대신 표시해서는 안 됩니다.

아래는 이미 추출과 공백 처리가 끝난 일반 텍스트를 받는 미실행 JavaScript 예시입니다. Intl.Segmenter를 지원하는 환경이 전제이며 HTML 추출이나 플랫폼 규칙을 구현한 코드는 아닙니다. 입력에 남아 있는 공백과 줄바꿈도 문자소 분할의 대상이므로, 제외 정책은 이 함수 앞에서 따로 적용해야 합니다.

function countGraphemes(text) {
  const segmenter = new Intl.Segmenter("ko", {
    granularity: "grapheme"
  });
  return Array.from(segmenter.segment(text)).length;
}

이 함수의 예상 동작은 분할된 문자소 묶음의 개수를 반환하는 것입니다. 이 결과를 그대로 “플랫폼 제출 글자 수”라고 이름 붙이면 범위를 넘어섭니다. “문자소 기준 본문 길이”처럼 측정한 내용을 표시하고, 공백 포함 여부도 같은 위치에서 읽을 수 있게 합니다.

큰 원고를 계속 입력하면서 계산한다면 실행 비용도 고려해야 합니다. 위 예시는 분할 결과를 배열로 만들기 때문에 이해하기는 쉽지만 대량 입력에 최적인 구현이라고 주장할 수는 없습니다. 실제 원고 크기와 입력 빈도를 기준으로 필요할 때 순회 방식이나 계산 시점을 조정하고, 측정 없이 빠르다고 표현하지 않습니다.

숫자를 하나로 줄이기 전에 진단용 결과를 함께 볼 수도 있습니다. 원문 길이와 추출한 본문 길이, 공백 처리 후 길이를 구분해 두면 어떤 단계가 차이를 만들었는지 찾을 수 있습니다. 다만 일반 사용자 화면에는 모든 기술 단위를 늘어놓기보다 현재 기준과 상세 설명을 나눠 보여 주는 편이 읽기 쉽습니다.

플랫폼과 다른 수치는 원인을 나눠 확인합니다

확인용 자료에는 짧은 한글 문장, 연속 공백, 탭, 여러 줄 문단, 결합 문자가 있는 문자열, HTML 엔티티가 있는 본문을 포함할 수 있습니다. 각 자료마다 어떤 텍스트를 세야 하는지 먼저 고정합니다. 파일을 읽은 단계에서 이미 문자가 손상됐다면 계산 함수를 바꿔도 올바른 결과가 나오지 않습니다.

같은 원고를 다른 플랫폼에 넣었을 때 숫자가 다르면 먼저 입력 범위를 맞춥니다. 제목이나 출처 링크의 표시 문구가 추가됐는지, 붙여넣기 과정에서 빈 줄이 생겼는지 확인합니다. 그다음 공백 정책과 문자 단위를 비교합니다. 플랫폼의 공식 규칙이 없다면 몇 개 사례가 맞았다는 이유만으로 내부 구현을 확정하지 않습니다.

제출 기준이 플랫폼의 표시값이라면 최종 제출 전에는 그 값을 확인해야 합니다. 내부 검사기는 집필 과정의 일관성을 돕는 보조 도구로 둘 수 있습니다. 반대로 팀이나 개인이 자체 분량 기준을 쓰는 경우에는 같은 규칙을 모든 원고에 적용하고, 규칙을 바꿨다면 이전 측정값과 바로 비교하지 않도록 버전을 남깁니다.

런타임이나 Unicode 처리 방식이 바뀔 때에는 대표 문자열의 결과도 다시 확인할 대상입니다. 검사기 버전, 입력 범위, 공백 처리, 단위를 함께 기록해 두면 나중에 숫자가 바뀌었을 때 원고가 달라진 것인지 도구의 기준이 달라진 것인지 구분할 수 있습니다. 단순한 도구일수록 이 설명이 결과의 신뢰를 지탱합니다.

오늘은 글자 수 결과 옆에 “무엇을, 어떤 공백 정책으로, 어떤 단위로 셌는가”를 한 줄 붙여 보시면 좋겠습니다. 분량 검사기의 첫 기능은 숫자를 크게 보여 주는 것이 아니라 같은 원고를 같은 기준으로 다시 셀 수 있게 만드는 것입니다. 기준이 드러나면 도구 간 차이도 막연한 오류가 아니라 확인 가능한 질문이 됩니다.

반응형