llm-document-review-verifier
LLM은 제안하고 코드가 판정합니다. 문서 검토에서 인용 검증, 숫자·날짜 해석, 규칙 평가, 이슈 장부를 코드로 처리합니다.
어떤 문제를 푸나The problem
모델이 쓴 검토 결과는 각 항목에 원본 안에 그대로 있는 인용이 붙어 있을 때만 가치가 있습니다. 그다음의 산술과 날짜 규칙은 모델이 아니라 코드가 판정하고, 이슈는 재검토를 거쳐도 같은 정체성을 유지합니다.
외부 의존성 없는 Python 라이브러리이며 견적서나 제안서 검토, 테스트 케이스 생성, 코드 리뷰처럼 같은 패턴에 쓸 수 있습니다.
이런 분께 맞습니다Who it is for
LLM으로 문서를 검토하는 서비스를 만들면서 모델의 말을 그대로 믿지 않으려는 개발자.
무엇을 하나What it does
- verify_claims는 인용이 해당 블록에 그대로 있고 너무 짧지 않으며 사실의 값이 인용 안에 있을 때만 검증된 것으로 봅니다.
- parse_number는 숫자 토큰이 하나일 때만 읽고, 여러 개이거나 12k, $1.5M 같은 규모 표기면 None입니다.
- evaluate는 합계, 곱, 같음, 날짜 범위, 비어 있지 않음 규칙을 판정하며 모르는 id는 규칙을 버립니다.
- can_confirm은 열린 오류·경고, 알 수 없는 심각도·상태가 남아 있으면 확정을 막습니다(닫힌 쪽으로 실패).
직접 돌려 본 출력Real output
저장소의 examples 폴더를 실행한 결과입니다.
$ python3 examples/quickstart.py
verified: ['F1', 'F2', 'F3'] rejected (never reach a verdict): ['F4']
1,200 x 3 = 3,600 ? True
rule about a rejected fact is dropped: None
can confirm with an open error: (False, "issue with status 'open' and severity 'E' is not closed (closed = ['applied', 'resolved', 'untracked']; only 'open' severity 'I' may remain)")
after the fix is re-reviewed: (True, 'ok')알아둘 한계Limits
- 표준 라이브러리만 쓰며 LLM 클라이언트는 들어 있지 않습니다.
- SKILL.md의 일부 항목(서명된 확정 등)은 구현이 아니라 설계 가이드입니다.
받아서 쓰기Get it
# 저장소를 받습니다
git clone https://github.com/Kein-chronicle/llm-document-review-verifier.git
# Claude Code 스킬로 쓰려면 이 폴더 이름으로 받습니다
git clone https://github.com/Kein-chronicle/llm-document-review-verifier.git ~/.claude/skills/llm-proposes-code-judges정보Info
- 분류Category
- 콘텐츠·서비스Content & services
- 형태Type
- 라이브러리Library
- 라이선스License
- MIT
- 필요한 것Requires
- Python 3.10 이상
- 저장소Repository
- llm-document-review-verifier
- 토픽Topics
llmai-agentsdocument-reviewverificationpythonclaude-skillsagent-skillsstructured-output
2026-10-18 기준: 저장소의 테스트를 로컬에서 실행해 통과했고, 예제 출력은 저장소의 examples 폴더를 실제로 실행한 결과입니다.