논문 속 모든 숫자를 원문에서 Ctrl+F로 찾아낼 수 있어야 합니다

정교한 환각

대형 언어 모델이 만들어 내는 숫자는 흔히 흠이 없어 보입니다. 표본 수 N=337, 회귀 계수 α=0.821, 결정계수 R²=0.594, 유의성 p<0.01. 형식은 맞고 소수점 자릿수는 세심하며 통계 용어 사용도 제자리에 있습니다. 문단 전체가 이미 발표된 실증 연구에서 통째로 옮겨 온 것처럼 보입니다.

그러다 지도교수가 한마디 합니다. "이 0.594는 어느 논문에서 나왔습니까?"

여기서 길은 둘로 갈립니다. 원문을 처음부터 뒤져 두 시간 동안 어떤 PDF의 그 줄을 찾아내거나, 아예 출처를 찾지 못합니다. 그런데 두 번째 경우는 오타가 아닙니다. 그건 근거 없는 생성입니다.

숫자가 대부분인 논문에서 이 한 줄의 차이가 학위 논문 전체를 흔듭니다. 하지만 숫자가 의심받을 때는 마지막에 흔들리는 게 아니라 처음부터 그 숫자 하나 때문에 의심이 시작됩니다.

논문 속 숫자는 수사가 아닙니다. 숫자는 모두 외부 세계에 대한 주장이고, 주장은 두 종류뿐입니다. 검증할 수 있는 주장, 그리고 데이터처럼 생긴 것뿐인 주장.

방법 하나: 화이트리스트 게이트

검색의 첫 관문은 키워드가 아니라 출처 자체입니다.

목표국의 상위권 대학, 색인 저널, 권위 기관만 검색 파이프라인에 들어올 수 있습니다. 목록에 없는 도메인은 검색 단계에서 버려지고, 초록조차 파싱하지 않습니다.

이것은 엄밀해 보이려고 하는 조치가 아닙니다. 출처가 뒤섞이면 증거 웅덩이가 오염됩니다. 들뜬 논문 한 편에 기대버린 숫자는 결론의 겉보기 확신도를 아무도 설명할 수 없는 수준까지 끌어올립니다. 게이트는 "출처 신뢰"를 연구자의 자의식에서 시스템의 기본값으로 바꿔 놓습니다.

게이트는 검색이 무엇을 돌려주는지도 바꿉니다. 같은 검색식을 섞인 출처 웅덩이에 넣으면 그럴듯한 백 개의 링크가 돌아오고, 같은 검색식을 이미 걸러진 웅덩이에 넣으면 인용할 수 있는 실제 출처 몇 개만 남습니다. 남은 것마다 뒤에 소속 기관이 분명히 적혀 있습니다. 결과는 적지만 훨씬 쓸모 있고, 목록이 너무 짧다고 지도교수와 벌이는 논쟁도 눈에 띄게 짧아집니다.

거절되는 도메인은 예외 없이 빠지고, 그 기록도 남습니다. 어떤 출발점이 왜 묕겨 나왔는지를 나중에 되짚을 수 있다는 뜻입니다.

방법 둘: 문장 단위 앵커

숫자는 원래 문장에서 떨어지면 의미를 잃습니다.

WriterOne은 모든 숫자를 원문에 등장한 그 문장째 함께 저장합니다. 앵커 문장이라는 것은 숫자가 실려 있던 그 한 문장 그대로입니다. 그리고 두 가지를 대조합니다. 그 문장은 보관된 전문에서 찾아야 하고, 문장 속 숫자는 카드에 적힌 숫자와 일치해야 합니다. 문장을 찾지 못하거나 숫자가 맞지 않으면 그 근거는 그대로 폐기됩니다. "확인 필요"로 낮추는 것이 아니라 통째로 버립니다.

문서 전체가 아니라 문장 하나로 확인하는 것이 핵심입니다. 한 문장만 떼어 내면 그 숫자가 어떤 표본, 어떤 표, 어떤 조건에서 나왔는지가 함께 남기 때문입니다. 검증자는 근거 하나만 따라가면 됩니다.

이 규칙은 가혹하지만, 증거 사슬 전체의 기반입니다. 근거 하나가 흔들리면 그 위의 결론도 함께 흔들리므로, 애초에 흔들릴 자리를 남기지 않는 편이 낫습니다.

방법 셋: 없는 값은 '미보고'

원문이 보고하지 않은 통계량은 '미보고'로 적습니다. 절대 지어내지 않습니다.

많은 연구자가 빈칸이 초라해 보인다고 여겨 모델에게 구멍을 메우게 합니다. Cronbach's α, RMSEA, CFI를 차례로 채웁니다. 이렇게 만들어진 숫자는 표와 그림으로, 결론으로, 구술방지로 흘러가지만, 원문 어디에도 그 숫자를 받쳐 주는 문장은 없습니다.

같은 규칙이 차트에도 적용됩니다. 검증 가능한 데이터 점이 두 개 미만이면 차트는 그대로 그리지 않습니다. 어떤 지표가 빠졌고 왜 빠졌는지를 분명히 적은 품질 감사 차트로 격하됩니다. 데이터처럼 보이는 그림을 그리는 대신.

한 가지 기준을 더하는 것이 낫습니다. 원문에 없는 값을 채우지 않고 비워 둔 채로 둡니다. 비워 둔 칸은 독자가 "이 연구는 무엇을 측정하지 않았는가"를 그대로 보게 합니다.

엔지니어링: 지문과 22개 열 원장

검증 가능성은 구현되어야 합니다. 보관된 원문에는 SHA-256 지문이 붙습니다. 파일을 한 바이트만 바꿔도 지문이 달라지므로, 지금 대조하고 있는 것이 처음 수집한 그본임을 나와 지도교수가 함께 확인할 수 있습니다.

각 근거 카드 뒤에는 22개 열로 된 데이터 원장이 있습니다. 지표 정의, 단위, 기간, 지역, 출처, 표본 수, 표본 추출 방법, 신뢰도, 타당도, 신뢰구간, 적합도 지표, 유의성, 집계 기준의 비교 가능성, 한계 등입니다. 각 열은 출처가 있는 값이거나, 분명히 '미보고'로 표시된 값입니다. 빠진 값은 빈 셀이 아니라 그 자체가 하나의 결론입니다.

같은 PDF의 사본 두 개가 참고 문헌 한 줄에서 한 글자만 다를 수 있고, 어느 사본을 썼는지 보여 줄 수 없는 학생은 그 질문에 아예 답할 수 없습니다. 지문은 "이것은 원본입니다"라는 약속을, 일치하거나 일치하지 않는 사실로 바꿔 놓습니다.

결론: 완전성보다 검증 가능성이 중요하다

카드 30장으로 된 문헌 검토에서 12장의 숫자가 한 글자씩 원문으로 되짚어지는 경우가, 카드 50장을 두면서 숫자 20개의 출처를 찾을 수 없는 검토보다 낫습니다.

지도교수가 실제로 확인하는 것은 바로 후자입니다. 검증할 수 없는 숫자가 남기는 것은 결론이 아니라 위험입니다.

검증된 숫자 하나는 밖으로 말할 수 있는 한 문장이고, 논문 구술방지라는 것도 결국 그것입니다. 누군가가 계속 되묻는, 각 숫자의 출처를 찾는 긴 대화가 말입니다.