Robert Todd Carroll
control group study, double-blind and random tests, 대조군 실험, 이중맹 실험, 무작위 검사
대조군 실험은 우리가 알고자 하는 가설을 확인하기 위하여 대조군과 비교하는 실험이다. 대조군과 실험군은 실험군에 우리가 알고 싶어하는 요인이 포함된 것 말고는 서로 모든 것이 동일해야 한다. 만약 효과가 있다고 생각하는 요인이 정말로 효과를 일으킨다면 결과는 대조군과 유의미하게 다른 결과를 보일 것이다. 예를 들면, C가 E를 초래한다고 하면, 우리가 대조군과 비교해서 C를 추가한 그룹이 대조군보다 E가 더 높게 나타날 것이다. 유의성은 우연과 비교해서 측정된다. 만약 결과가 우연히 일어난 것으로 보이지 않는다면 이 결과는 유의미한 것이다.
이중 맹검법이란 대조군에 관한 검증으로, 시험자와 피험자 쌍방 모두, 어느 것이 대조군인지 알 수 없게 하는 것이다. 무작위 테스트는, 실험군과 대조군의 개체를 무작위로 선발하는 것이다.
대조군 실험, 이중 맹검법, 무작위 테스트법의 목적은, 실수를 제거하고, 자기기만과 편견을 줄이기 위한 것이다. 아래의 예를 보면, 왜 이러한 안전 장치가 필요한지 알 수 있을 것이다.
다이엘렉트로카이네틱 연구소(DielectroKinetic Laboratories, DKL)의 DKL LifeGuard Model 2는, 이 기계의 제작자에 의하면 어떤 장애물이 있어도 최대 20m 떨어진 곳에서 사람의 심장 소리를 탐지하여 살아있는 인간을 찾아낼 수 있다고 말한다. 산디아 연구소는 이 기계를, 이중 맹검법과 무작위 테스트를 이용하여 확인하여 보았다. 산디아 연구소(Sandia Labs)는 록히드 마틴의 관련 기업중 하나로 산디아 사는 에너지 부 (U.S. Department of Energy)을 위해 운영되는 국가 보안 연구소이다. 그들이 검증하고자 하는 가설을 정리하면 다음과 같다 : 인간 심장의 고동 소리는 LifeGuard에 직접 신호를 전달한다. 따라서 LifeGuard 의 사용자는 최대 20m 떨어진 곳에 숨어있는 사람(목표)을 어떠한 장애물이 있어도 탐지할 수있다.
검증 방법은 상당히 단순한 것이었다. 플라스틱으로 만든 큰 상자를 ５개 준비하여 30 피트마다 일렬로 나열하고, 오퍼레이터는 DKL사의 LifeGuard Model 2를 사용하여, 5개중 어느 상자에 사람이 들어가 있는지 맞히는 것이다. 어떤 상자에 사람이 들어갈지는 무작위로 정했다. 이것은 오퍼레이터가 패턴을 읽어서 결과를 예측하는 것을 방지하기 위함이다. 테스트 결과, 이 탐지기에서는 우연으로 얻을 수 있는 결과 밖에 나오지 않았다. 오퍼레이터는 DKL 대표자였다. 오퍼레이터가 좋은 성적을 내는 경우는, 미리 목표의 위치를 알고 있던 때 뿐이었다.
이 구조원은, 상자에 사람이 있는것을 알고 있는 경우, 10회중10 회 모두 탐지에 성공했다. 미리 결과를 알려주고 시험을 하는 것은 어리석어 보이지만 실제로는 탐지기가 정상적으로 작동하는가에 대한 기본 확인이었다. 오퍼레이터는, 탐지기가 정상적으로 동작하고 있다고 동의하고 시험을 시작했으며, 제2 단계의 이중 맹검 테스트로 진행한다．이러한 일을 미리하는 것은, 기계가 올바르게 동작하는 것을 미리 확인시켜, 오퍼레이터가 이중 맹검법에 실패한 것에 대한 임시방편 가설(ad hoc hypothesis)을 세우는 것을 방지하기 위한 것이다.
만약 이 탐지기가 주장대로의 성능을 발휘한다면, 오퍼레이터는 빈 상자에서 아무 신호를 받지 못하고, 사람이 들어간 상자에서만 신호를 받을 것이다. 본 실험에서 오퍼레이터도 심사원도 어느 상자에 사람이 들어있는지 알 수 없고 그 결과도 그때 그때 알려주지 않았을 경우에, 오퍼레이터의 성적은 매우 나빠서 25회 중에 6회를 맞추었을 뿐이고 미리 결과를 알았을 때와 비교했을 때 4배나 시간이 더 걸렸다.
만약 이 기계로 인간의 고동을 감지할 수 있다면, 25회중 6회 보다는 훨씬 정확하게 맞추었을 것이다. 이 결과는 우연히 맞출수 있는 경우에 불과하다.
10회중 10회를 맞춘 것과 25회중 6회를 맞춘 것처럼 양 실험에서 결과가 다른 것은 왜 맹검시험을 해야하는지를 여실히 보여주고 있다. 즉, 맹검은 자기기만과 주관적인 평가를 제거해준다. 심사원도 결과를 모르게 하는 것은 심사원이 의식적이던 아니던, 시험자가 결과를 알 수 있는 몸짓을 할 수 있기 때문이다. 만약 어느 상자에 사람이 들어갔는지 알고 있다면, 심사원은 사람이 들어간 상자만 꼼짝없이 보는 등의 방법을 통해서 피험자의 눈에 신호를 보낼 수도 있다. 속임수와 심사원의 편견을 없애기 위해서 심사원도 대조구에 대해서 아무것도 몰라야 한다.
통제된 실험을 하지 않은 것은 왜 초능력자, 필상학사, 점성술사, 수맥탐사가(다우져), 초상 요법사등의 대부분이 스스로의 능력을 믿는지 설명한다. 한 다우져의 테스트에서 그의 동료나 친구들이 그가 말한 곳에서 물이 나왔다는 것만으로는 충분하지 않다. 제대로 실험하고자 한다면 PBS(역주 : 미국의 유명한 교육방송, NOVA는 이 방송의 프로그램이기도 하다.)의 프로그램 Frontier of Science (1997년 11월 19일)에서 레이 하이먼(Ray Hyman)이 했던 것과 같은 실험을 해야한다.
프로그램에서, 다우져는 물뿐만 아니라 지중에 메워진 금속도 찾을 수 있다고 주장했다. 그 다우져는, 무작위로 번호를 선택하고, 그 번호에 대응하는 물통을 선택한 다음 테스트에 동의했다. 물통은 뒤집어져 있고 일부의 물통안에는 금속이 있었다. 금속을 넣은 사람은 다우져를 따라다니는 사람과 다른 사람이다. 우연히 맞출 확률은 정확하게 측정이 가능했다. 예를 들어 100개의 물통중에 10개의 금속이 있었다면 그 확률은 10%이다. 여러번을 충분히 반복하면 어떤 사람도 10번중에 한번은 맞출 수 있을 것이다. 하지만 만약 80% - 90%의 적중률을 가진다면, 그리고 우리들이 그들에게 속임수를 쓰지 못하게 했다고 확신한다면, 그것은 다우져의 능력을 확인시킨다.
다우져는 로드를 갖고 물통사이를 걸어 다녔지만, 강한 느낌이 오지 않는다고 했다. 그는 다우져로서의 판단 기준에 근거하여 아마 이것이다라고 생각하는 물통을 하나 선택했다. 하지만 몇번이나 선택했지만 금속은 발견되지 않았다. 그 행동은 통제된 조건(대조구가 있는 조건)에서 테스트한 다우져의 전형적인 것이다. 그 자신도 정말로 놀라는 것이다. 우리들 모두와 마찬가지로 이 다우져는 자기기만, 소망적 사고, 암시, 무의식적인 편견, 선택적 사고, 주관적인 평가, 조직에 의한 강화등 평가의 장애가 되는 많은 요인이 있는 것을 미쳐 몰랐다.
대조 연구의 대부분은, 어떤 요인이 포함된 처리를 하는지 아닌지를 피험자가 알 수 없도록 하기 위해서 대조군에는 플라시보(위약, placebo)를 처리한다. 예를 들어 신약의 효과를 검증하기 위한 연구에서는, 대조군과 실험군 양쪽에, 외관상으로 구분이 되지 않는 정제를 준다. 약효성분은 실험군에만 주는 것이고 대조군은 플라시보다. 이중맹검 연구는 어느 피험자에게 플라시보를 주는지 결과를 평가하는 사람조차도 결과가 끝날때 까지 모르게 하는 것이다. 이것은 심사원의 편견이 관찰이나 측정에 영향을 주지 않도록 하기 위해서 이다.
관련된 항목 : ad hoc hypotheses, cold reading, communal reinforcement, 편향 확증, Occam's razor, the placebo effect, the post hoc fallacy, selective thinking, self-deception, subjective validation, testimonials, James Van Praagh and wishful thinking.
읽기 자료
Giere, Ronald, Understanding Scientific Reasoning, 4th ed, (New York, Holt Rinehart, Winston: 1998).
Sagan, Carl. The Demon-Haunted World: Science as a Candle in the Dark (New York:Random House, 1995).
Robert Todd Carroll
conjuring