진실은 검증, 재검증에 견뎌낸 결과다(사진_ai이미지 제작)

[굿모닝전북신문 9.15 창간특집] 『조작사회』 - 제7부 학문은 진실을 탐구하는가, 권위를 만드는가

"지식은 진실을 밝히는 힘이지만, 동시에 진실을 말할 자격을 독점하는 힘이 될 수도 있다.“

프롤로그
인류는 오랫동안 "아는 사람이 모르는 사람보다 강하다."는 사실을 경험해 왔다.
문자를 아는 사람과 모르는 사람, 천문을 아는 사람과 모르는 사람, 의술을 아는 사람과 모르는 사람, 법을 아는 사람과 모르는 사람
그리고 현대사회에서는 논문을 쓰는 사람과 읽지 못하는 사람, 통계를 해석할 수 있는 사람과 그렇지 못한 사람, AI 알고리즘을 이해하는 사람과 그렇지 못한 사람을 구분해 왔다.

그래서 프랜시스 베이컨이 남긴 유명한 명제 "Knowledge itself is power.“ 는 현대사회에서도 여전히 강력하다. 그러나 여기서 한 단계 더 질문해야 한다. 지식이 힘이라면, 그 지식을 누가 가지고 있는가? 그리고 더 중요한 질문은 누가 '이것이 진실이다'라고 말할 권한을 가지고 있는가?

학문은 왜 권위를 필요로 하는가
학문은 혼자 존재하지 않는다. 학자는 연구하고 동료가 검토하고, 학술지가 심사하고, 대학과 연구기관이 평가하고, 사회가 그 결과를 활용한다. 이 과정에서 자연스럽게 권위(authority)가 만들어진다. 어떤 학자의 연구가 반복적으로 검증되고, 많은 연구자에게 인용되고, 새로운 지식을 만들어낸다면 그 사람의 학문적 권위는 커진다. 이것은 정상적인 학문의 발전 과정이다.

그러니, 문제는 권위가 검증을 대신하기 시작할 때 발생한다.
"교수님이 말했다"는 증거가 아니다. 사람들은 권위를 믿는다. 의사가 말하면 믿고, 판사가 말하면 믿고, 교수가 말하면 믿는다. 전문가의 의견은 중요하다. 하지만 전문가라는 신분 자체가 주장의 진실성을 보증하지는 않는다. 학문에서 중요한 것은 "누가 말했는가?"보다 "무엇을 근거로 말했는가?"이다.

이것은 『조작사회』 전체를 관통하는 중요한 원칙이기도 하다.

논문은 진실의 증명서가 아니다. 논문은 지식을 검증하기 위한 중요한 형식이다. 그러나 논문이 존재한다는 사실만으로 그 내용이 절대적 진실이 되는 것은 아니다. 연구에는 가설이 있고 자료가 있고 방법론이 있고 통계가 있고 해석이 있다. 그리고 각각에서 오류가 발생할 수 있다. 따라서 좋은 학문은 "내가 맞다"라고 주장하는 데서 끝나지 않는다. 오히려 "내 연구가 틀릴 가능성은 무엇인가?"를 함께 묻는다.

재현성(再現性) 위기 ― 한 번 나온 결과는 진실인가
현대 과학에서 매우 중요한 문제가 있다. 재현성(Reproducibility)이다.
어떤 연구 결과가 발표되었다. 그런데 다른 연구자가 같은 방법으로 실험했더니 같은 결과가 나오지 않는다. 그렇다면 그 연구 결과를 어디까지 믿어야 할까? 이른바 재현성 위기는 심리학을 비롯한 여러 분야에서 큰 논쟁을 불러왔다. 여기에서 중요한 교훈이 나온다. 한 번의 연구는 결론이 아니라 질문의 시작일 수 있다.

연구비는 연구의 방향을 바꿀 수 있는가
학문은 돈으로부터 완전히 자유롭지 않다. 연구에는 실험실이 필요하고, 장비가 필요하고, 연구자가 필요하다. 그래서 연구비가 필요하다. 정부, 기업, 재단, 대학, 국제기구 등이 연구를 지원한다. 대부분의 연구비 지원은 사회 발전에 필수적이다. 그러나 연구비와 연구 결과 사이에 이해관계가 형성될 가능성은 늘 경계해야 한다. 중요한 것은 연구비를 받았느냐가 아니라, 이해관계를 공개하고 연구의 독립성을 어떻게 확보하느냐이다.

학문은 어떻게 조작되는가
학문적 조작은 단순한 '틀린 연구'와 다르다. 고의적인 데이터 위조(Fabrication), 데이터변조(Falsification), 표절(Plagiarism) 이미지 조작, 통계 왜곡, 부당한 저자 표시, 선택적 결과 보고 등은 연구윤리의 핵심 문제다. 특히 데이터를 만들어내는 것과 불리한 데이터를 의도적으로 감추는 것은 전혀 다른 차원의 문제처럼 보이지만, 둘 다 독자의 판단을 왜곡할 수 있다는 점에서 조작학적으로 중요한 연구 대상이 된다.

통계는 어떻게 권위가 되는가
숫자는 권위를 만든다. "연구 결과 87.3%가..." 이 한 문장만으로도 독자는 강한 신뢰감을 느낀다. 그러나 질문해야 한다.
표본은 얼마나 되는가? 누구를 조사했는가? 질문은 어떻게 했는가? 비교 기준은 무엇인가? 통계적으로 유의미한가? 다른 연구에서도 같은 결과가 나왔는가?

숫자는 과학적으로 보이지만, 숫자를 선택하고 해석하는 과정은 인간의 판단이다. 이것은 제3부 「경제는 숫자로 말하지만, 숫자도 거짓말을 한다」와 정확하게 연결된다.

학문과 권력
역사적으로 지식과 권력은 완전히 분리되어 있지 않았다. 국가가 특정 연구를 지원하기도 하고, 정권이 학자를 이용하기도 하며, 반대로 학자가 권력에 저항하기도 한다. 냉전시대의 과학기술 경쟁, 우주개발, 군사기술, 핵무기 연구는 과학과 국가권력의 관계를 보여주는 대표적인 사례다. 그러므로 질문은 "학문은 권력에 복무하는가?"가 아니다. 더 정확한 질문은 "학문은 권력과 관계를 맺으면서 어떻게 독립성을 지킬 것인가?"이다.

전문가 사회의 역설
현대사회는 전문가 없이는 움직일 수 없다.
의학, 법률, 경제, 기후, 원자력, AI. 모든 분야에서 전문가가 필요하다. 그러나 전문가 의존도가 높아질수록 시민이 스스로 검증하기 어려운 영역도 늘어난다. 여기서 전문가주의의 역설이 발생한다. 전문성이 높아질수록 대중과의 정보 격차도 커질 수 있다. 따라서 민주사회에서 필요한 것은 전문가를 불신하는 것이 아니라 전문가의 판단을 검증할 수 있는 제도와 시민의 능력이다.

AI는 학문의 권위를 어떻게 바꿀 것인가
AI는 논문을 검색하고, 자료를 분석하고, 코드를 작성하고, 문헌을 요약하고, 가설을 제안할 수 있다. 그렇다면 앞으로 "학자"의 의미는 무엇인가? 정보를 많이 가진 사람이 학자인가? 아니면 정보를 해석하고, 좋은 질문을 만들고, 결과를 검증하는 사람이 학자인가? AI 시대에는 후자가 더욱 중요해질 가능성이 높다. 왜냐하면 정보의 희소성은 줄어들지만, 검증된 지식의 희소성은 오히려 커질 수 있기 때문이다.

조작학 해설
학문조작학(Academic Manipulology), 조작학에서 학문조작은 단순한 논문 위조만을 의미하지 않는다. 더 넓게 보면 "지식이 생산되고, 검증되고, 유통되고, 권위로 전환되는 과정에서 발생하는 왜곡을 연구하는 것"이다.

이렇게 보면 학문조작은 네 단계로 나눌 수 있다.

학문조작 네 단계 상세 설명
① 생산의 조작 — 데이터 자체를 만들거나 바꾸는 단계
이 단계는 국제적으로 통용되는 연구부정행위 정의인 FFP(Fabrication, Falsification, Plagiarism) 중 앞의 두 가지에 해당합니다. 미국 연구윤리국(ORI)의 공식 정의에 따르면 위조(Fabrication)는 "존재하지 않는 데이터나 결과를 만들어 기록하거나 보고하는 것"이고, 변조(Falsification)는 "연구 재료·장비·과정을 조작하거나 데이터·결과를 바꾸거나 누락시켜 연구가 사실과 다르게 기록되도록 하는 것"입니다(ORI). 예를 들어 실험을 N번 했는데 N+X번 한 것처럼 보고하거나, 불리한 값을 슬쩍 지우고 나머지만 보고하는 행위가 여기 속합니다(Pitt Responsible Conduct of Research). 이는 학문조작 중 가장 명백하고 처벌이 무거운 유형으로, 데이터의 "출생 신고서"를 조작하는 것과 같습니다.

② 검증의 조작 — 불리한 결과를 숨기거나 선택적으로만 검증하는 단계
여기서 핵심 기법이 바로 아래 설명할 "체리피킹"과 "p-해킹(p-hacking)"입니다. 통계적으로 유의미한 결과가 나올 때까지 변수를 바꿔가며 분석을 반복하거나, 여러 종속변수 중 자신의 가설을 뒷받침하는 결과만 골라 보고하는 방식입니다. 생태학·진화생물학 연구자 800명 이상을 조사한 결과 64%가 통계적으로 유의하지 않다는 이유로 결과 보고를 누락한 적이 있다고 답했고, 42%는 결과를 본 뒤 데이터를 추가로 수집했으며, 51%는 사후에 발견한 결과를 마치 처음부터 예측했던 것처럼 제시("HARKing", Hypothesizing After Results are Known)한 적이 있다고 응답했습니다(The Conversation). 이런 행위는 명백한 위조·변조보다 적발이 어렵기 때문에 "회색지대 부정행위(questionable research practices)"로 불리지만, 결과의 신뢰성을 심각하게 훼손합니다.

③ 유통의 조작 — 특정 연구만 유통시키고 반대 연구는 배제하는 단계
이는 개별 연구자 차원을 넘어 학계·언론·정책 생태계 전체에서 벌어지는 구조적 조작입니다. 저명한 방법론학자 존 이오아니디스(John Ioannidis)는 "발표된 연구 결과 대부분이 거짓이다"라는 유명한 주장을 폈는데, 그 핵심 근거가 바로 출판편향입니다. 통계적으로 유의한(긍정적인) 결과는 더 자주 게재되고 더 자주 인용·홍보되는 반면, 무효 결과나 반박 연구는 서랍 속에 묻히는 경향이 있습니다(PMC). 여기에 "인용 편향(citation bias)"과 "가설의 사실화(transmutation, 가설이 반복 인용되며 마치 확정된 사실처럼 굳어지는 현상)"가 겹치면, 실제로는 검증되지 않았거나 반박된 주장이 "근거 있는 권위"로 유통되게 됩니다. 언론이 "한 연구에 따르면"이라는 표현을 검증 없이 확산시키는 것도 이 유통 조작의 통로가 될 수 있습니다.

④ 권위의 조작 — "전문가가 말했다"로 논쟁을 종결시키는 단계
말씀하신 대로 이 단계가 가장 중요합니다. 지식이 검증 가능한 주장이 아니라 "권위 있는 출처가 말했다"는 사실 자체로 정당화되는 순간, 그 지식은 더 이상 반증 가능한 과학적 명제가 아니라 권력의 언어로 전환됩니다. 앞의 세 단계(생산·검증·유통 조작)가 결합되면 실제로는 취약한 근거가 "동료평가를 통과한 논문", "전문가 합의"라는 포장을 얻고, 이 포장 자체가 더 이상의 질문을 차단하는 무기로 쓰입니다. 이오아니디스가 지적했듯 저품질 학술지의 부실한 동료평가와 연구자의 명성·인용지수 추구가 결합하면 "근거 없는 주장에 부당한 권위가 부여"되는 결과를 낳습니다(PMC). 저널리즘 관점에서는 바로 이 지점—권위가 검증을 대체하는 순간—을 포착해 "왜 이 전문가의 말이 검증을 우회하고 있는가"를 되묻는 것이 취재의 핵심 지점이 됩니다.

이 네 번째 단계가 특히 중요하다. 지식이 권위가 되는 순간, 지식은 권력의 언어, 종송변수가 될 수 있기 때문이다.

조작학 연구노트

핵심 개념
① 연구윤리 (Research Integrity)
연구자가 연구를 기획·수행·보고하는 모든 단계에서 지켜야 할 기본 원칙의 총칭입니다. 미국 국립과학원의 1992년 보고서 이후 "연구부정행위(research misconduct)"는 국제적으로 위조(Fabrication)·변조(Falsification)·표절(Plagiarism),줄여서 FFP로 정의되어 왔습니다(NCBI). 단, 정직한 실수나 견해차는 연구부정행위에 포함되지 않는다는 점이 중요합니다(ORI) — 즉 연구윤리 위반은 "의도성" 또는 "심각한 부주의"를 전제로 판단됩니다.

② 재현성 (Reproducibility / Replicability)
동일하거나 유사한 방법으로 다시 연구했을 때 같은 결과가 나오는 정도입니다. 심리학·의학 등 여러 분야에서 이른바 "재현 위기(replication crisis)"가 심각하게 논의되고 있는데, 실험자 1,500명을 대상으로 한 설문에서 약 70%가 다른 연구자의 실험을 재현하는 데 실패했고, 놀랍게도 50% 이상은 자기 자신의 실험조차 재현하지 못했다고 답했습니다(PMC). 더 심각한 문제는 재현에 실패한 연구가 성공한 연구보다 게재될 가능성이 절반밖에 되지 않는다는 점인데, 이는 출판편향과 재현성 문제가 서로를 강화하는 구조라는 뜻입니다.

③ 동료평가 (Peer Review)
논문이 학술지에 게재되기 전, 같은 분야의 전문가들이 연구방법의 타당성과 결과의 신뢰성을 검토하는 과정입니다. 흔히 "품질 보증 장치"로 불리지만, 동료평가 자체도 완벽하지 않습니다 — 심사자의 전문성 부족, 심사 소홀, 심지어 부실 학술지(predatory journal)의 형식적 심사가 오히려 저품질 연구에 "동료평가를 통과했다"는 잘못된 권위를 부여하는 통로가 되기도 합니다(PMC). 최근에는 사전등록(pre-registration, 실험 전에 가설과 분석계획을 제3자에게 미리 제출하는 제도)이 동료평가를 보완하는 장치로 확산되고 있습니다.

④ 이해상충 (Conflict of Interest)
연구자의 개인적·경제적·조직적 이해관계가 연구 설계, 데이터 해석, 결과 발표에 영향을 미칠 수 있는 상태를 말합니다. 예를 들어 제약회사의 자금 지원을 받은 임상시험이 해당 약물에 유리한 결과를 낼 가능성이 통계적으로 더 높다는 것은 여러 메타분석에서 반복적으로 확인된 패턴입니다. 이해상충 자체가 곧 부정행위는 아니지만, 공개(disclosure)되지 않은 이해상충은 독자가 결과를 비판적으로 읽을 기회를 박탈한다는 점에서 문제가 됩니다.

⑤ 출판편향 (Publication Bias)
긍정적이거나 통계적으로 유의미하거나 "흥미로운" 결과가 그렇지 않은 결과보다 학술지에 게재될 확률이 높은 현상입니다. 학술지들이 "새롭고 놀라운" 발견을 선호하고 "무효 결과(null result)"나 반복연구를 잘 싣지 않는 관행에서 비롯됩니다(Wiley). 이 현상은 학문분야 전체의 "증거 지도"를 왜곡시킵니다 — 실제로는 효과가 없거나 미미한데도, 발표된 문헌만 보면 강한 효과가 있는 것처럼 보이는 착시를 만들어냅니다. 대응책으로 PLoS ONE, Scientific Reports 같은 일부 학술지는 결과의 "흥미로움"이 아니라 방법론적 엄밀성만으로 게재를 결정하는 정책을 도입했습니다.

⑥ 체리피킹 (Cherry Picking)
전체 자료 중 자신의 주장에 유리한 일부만 선택적으로 제시하는 행위입니다. 시뮬레이션 연구에 따르면 체리피킹은 원 연구의 거짓양성률(false positive rate)을 최대 21%까지 끌어올리고, 효과크기를 실제보다 과장시키며, 후속 재현연구의 검증력(power)까지 떨어�뜨리는 연쇄 효과를 낳습니다 — 표본이 작고 실제 효과가 미미할수록 이 왜곡은 더 심해집니다(UConn 연구). 체리피킹은 명백한 위조·변조보다 법적·윤리적 처벌 기준이 모호해 "회색지대"에 머무는 경우가 많지만, 재현 위기의 핵심 원인 중 하나로 지목됩니다.

이 여섯 개념을 앞의 네 단계에 대응시켜 보면, 연구윤리는 전체를 관통하는 원칙이고, 체리피킹은 ①②단계의 실행 기법, 출판편향은 ③단계의 구조적 원인, 이해상충은 ①~③단계 전반을 왜곡시키는 동기, 동료평가와 재현성은 이 모든 조작을 걸러내야 할 안전장치이자 동시에 취약점이라는 이중적 위치에 있다고 정리할 수 있습니다.

조작학 실험실
같은 자료, 다른 결론 100명의 사람에게 질문했다고 가정해 보자. 그중 70명이 A를 선택했다. 언론은 이렇게 쓸 수 있다.
"70%가 A를 선택했다.“ 하지만 다른 방식으로 표현할 수도 있다. "30%는 A를 선택하지 않았다."숫자는 동일하다. 그러나 독자가 받는 인상은 달라진다.

여기에 표본의 선정 방식, 질문의 순서,조사 시점,응답자의 특성을 추가하면 같은 데이터에서도 해석은 더욱 달라질 수 있다. 따라서 조작학은 숫자만 보지 않는다. 숫자가 만들어진 과정까지 본다.

학문과 진실 사이
여기에서 우리는 아주 중요한 역설을 만난다. 학문은 진실을 찾기 위해 만들어졌다. 그러나 학문도 인간이 만든 제도다. 따라서 학문에는 인간의 욕망과 경쟁, 명예와 돈, 권력과 조직문화가 들어올 수 있다. 그렇다고 해서 "학문은 믿을 수 없다"고 결론 내리는 것은 잘못이다. 오히려 정반대다.

학문이 스스로의 오류를 발견하고, 비판을 받아들이고, 기존 이론을 수정하고, 새로운 증거 앞에서 결론을 바꾸는 능력을 가지고 있기 때문에 인류의 지식은 발전해 왔다.

좋은 학문은 틀리지 않는 학문이 아니다. "틀렸을 때 스스로 수정할 수 있는 학문이다." 이것이 과학과 권위주의를 가르는 중요한 차이다.

에필로그
지식은 힘이다. 그러나 검증되지 않은 지식은 권위에 불과할 수 있다. 그리고 권위가 검증을 거부하는 순간, 학문은 발전을 멈춘다. 그래서 학문의 가장 아름다운 모습은 "나는 옳다."가 아니라 "내가 틀렸다면 새로운 증거를 보여 달라."라고 말할 수 있는 태도다. 학문은 진실을 소유하는 제도가 아니다. 진실에 가까워지기 위한 집단적 탐구 과정이다.

『조작사회』 제8부 AI는 진실을 만드는가, 현실을 조작하는가
― 현실보다 현실 같은 가짜가 등장한 시대

"내가 지금 보고 있는 것은 현실인가, 아니면 현실처럼 만들어진 것인가?"를 게제한다.

굿모닝전북신문 편집부