Readability.js

• Readability.js는 Firefox Reader View에서 쓰이는 본문 추출 로직의 독립 실행형 라이브러리
• DOM 노드를 스코어링하는 휴리스틱으로 광고·네비게이션·사이드바를 걸러내고 기사 본문만 남기는 파서
• new Readability(document).parse() 한 줄 호출로 title/content/textContent/excerpt 등을 반환하는 API

해당 개념이 필요한 이유

• HTML을 그대로 chunk하면 nav/ads가 claim 추출 대상에 섞여 LLM-wiki Ingest flow의 claim 품질이 떨어진다
• 본문만 남기는 게 이 라이브러리의 역할이고, 정제된 HTML을 markdown으로 바꾸는 것은 Turndown.js가 담당하는 별개 단계다
• HTML Ingest 레이어와 LLM-Wiki 전체 구조에서는 이 조합을 기본 구현체로 쓰지만, 레이어 인터페이스(HTML in → 정규화 Markdown + 해시 out)만 지키면 trafilatura 같은 다른 라이브러리로 교체할 수 있다

AS-IS

<html>
  <nav>...메뉴...</nav>
  <aside>...광고...</aside>
  <article><h1>제목</h1><p>본문...</p></article>
  <footer>...</footer>
</html>

전체 DOM이 그대로 chunk 대상이 되어 nav/aside/footer도 claim 후보에 섞인다.

TO-BE

const { document } = new JSDOM(rawHtml).window;
const article = new Readability(document).parse();
// article.content: 본문 HTML만 남음 (nav/aside/footer 제거)
// article.textContent: 본문 텍스트만

parse() 결과 필드

필드	내용
title	기사 제목
content	정제된 본문 HTML
textContent	본문 순수 텍스트
excerpt	요약/설명
byline	작성자 정보
lang, dir, publishedTime, siteName	메타데이터

주의할 점 2가지

1. parse()는 원본 DOM을 직접 수정한다 — 원본 보존이 필요하면 clone한 document를 넘겨야 한다
2. Readability 자체는 sanitize를 하지 않는다 — 신뢰할 수 없는 입력(web clipper로 임의 사이트를 수집하는 경우 등)이면 DOMPurify 같은 라이브러리를 별도로 통과시켜야 한다

참고 문서

• mozilla/readability GitHub
• HTML Ingest 레이어와 LLM-Wiki 전체 구조