앞 장에서는 연관관계(association)가 인과관계(causation)와 왜, 어떻게 다른지 살펴봤습니다. 연관관계가 인과관계가 되려면 무엇이 필요한지도 알아봤습니다.
\[ E[Y|T=1] - E[Y|T=0] = \underbrace{E[Y_1 - Y_0|T=1]}_{ATT} + \underbrace{\{ E[Y_0|T=1] - E[Y_0|T=0] \}}_{BIAS} \]
다시 정리하면, 편향(bias)이 없을 때 연관관계는 인과관계가 됩니다. 그리고 \(E[Y_0|T=0]=E[Y_0|T=1]\)이면 편향은 없습니다. 말로 풀면, 실험군(treated)과 대조군(control)이 처치(treatment)를 제외한 나머지 면에서 같거나 비교할 만하다면 연관관계가 곧 인과관계라는 뜻입니다. 조금 더 전문적으로 말하면, 대조군의 결과(outcome)가 실험군의 반사실적 결과(counterfactual outcome)와 같을 때입니다. 여기서 반사실적 결과란 실험군이 처치를 받지 않았다면 나타났을 결과라는 점을 기억하세요.
연관관계를 인과관계와 같게 만드는 조건은 수학적으로 그럭저럭 잘 설명한 것 같습니다. 하지만 어디까지나 이론일 뿐이었습니다. 이제 편향을 없애 주는 첫 번째 도구인 무작위 실험(randomised experiment)을 살펴보겠습니다. 무작위 실험은 모집단의 개인을 실험군과 대조군에 무작위로 배정합니다. 처치를 받는 비율이 꼭 50%일 필요는 없습니다. 표본의 10%만 처치를 받는 실험도 얼마든지 할 수 있습니다.
랜덤화(randomisation)는 잠재적 결과(potential outcome)를 처치와 독립으로 만들어 편향을 없앱니다.
\[ (Y_0, Y_1) \perp\!\!\!\perp T \]
처음에는 헷갈릴 수 있습니다(저도 그랬습니다). 하지만 걱정 마세요, 용감하고 진실한 동지여. 차근차근 설명하겠습니다. 결과가 처치와 독립이라면 처치에 아무 효과가 없다는 뜻 아닐까요? 네, 맞습니다! 그런데 지금 말하는 것은 결과가 아니라 잠재적 결과라는 점에 주목하세요. 잠재적 결과는 처치를 받았을 때(\(Y_1\))나 받지 않았을 때(\(Y_0\)) 결과가 어떠했을지를 뜻합니다. 무작위 실험에서 결과 자체가 처치와 독립이기를 바라지는 않습니다. 처치가 결과를 일으킨다고 생각하기 때문입니다. 대신 잠재적 결과가 처치와 독립이기를 바랍니다.
잠재적 결과가 처치와 독립이라는 말은 실험군에서든 대조군에서든 잠재적 결과의 기댓값이 같다는 뜻입니다. 더 쉽게 말하면 실험군과 대조군을 비교할 수 있다는 뜻입니다. 또는 누가 어떤 처치를 받았는지 알아도 처치 전 결과가 어땠는지는 전혀 알 수 없다는 뜻이기도 합니다. 따라서 \((Y_0, Y_1)\perp T\)는 실험군과 대조군의 결과 차이를 만드는 요인이 처치 하나뿐이라는 의미입니다. 이를 확인하려면 독립성이 바로 다음을 뜻한다는 점에 주목하세요.
\[ E[Y_0|T=0]=E[Y_0|T=1]=E[Y_0] \]
앞에서 봤듯이 이 조건이 성립하면 다음이 됩니다.
\[ E[Y|T=1] - E[Y|T=0] = E[Y_1 - Y_0]=ATE \]
결국 랜덤화 덕분에 실험군과 대조군의 단순한 평균 차이를 그대로 처치효과(treatment effect)라고 부를 수 있습니다.
2020년 코로나19 팬데믹으로 기업들은 사회적 거리두기에 맞춰 일하는 방식을 바꿔야 했습니다. 배달 서비스가 널리 퍼졌고, 대기업은 원격 근무로 전환했습니다. 학교도 다르지 않았습니다. 많은 학교가 자체 온라인 강의 저장소를 만들기 시작했습니다.
위기가 시작되고 넉 달이 지나자, 많은 사람이 이런 변화를 계속 유지할 수 있을지 궁금해하기 시작했습니다. 온라인 수업에 장점이 있다는 데는 의문의 여지가 없습니다. 건물과 교통에 드는 비용을 아낄 수 있으니 더 저렴합니다. 또 디지털 환경을 십분 활용해 정해진 교사진에만 기대지 않고 전 세계의 일류 콘텐츠를 쓸 수 있습니다. 그런데도 온라인 수업이 학생들의 학업 성취도에 나쁜 영향을 주는지 좋은 영향을 주는지는 여전히 답해야 할 문제로 남아 있습니다.
이 질문에 답하는 한 가지 방법은 주로 온라인 수업을 하는 학교의 학생들과 전통적인 교실 수업을 하는 학교의 학생들을 비교하는 것입니다. 이제 다들 알다시피 이는 좋은 방법이 아닙니다. 온라인 학교에는 자기 관리가 뛰어나서 대면 수업을 듣더라도 평균보다 잘했을 학생들만 모였을 수도 있습니다. 그렇다면 실험군의 학업 능력이 원래 대조군보다 뛰어나서 양의 편향이 생깁니다. 즉, \(E[Y_0|T=1] > E[Y_0|T=0]\)입니다.
반대로 온라인 수업은 값이 더 싸기 때문에 공부하면서 일도 해야 하는 형편이 넉넉지 않은 학생들이 주로 들을 수도 있습니다. 이 경우 이 학생들은 대면 수업을 듣더라도 대면 수업 학교의 학생들보다 성적이 낮을 것입니다. 그렇다면 실험군의 학업 능력이 원래 대조군보다 떨어져서 반대 방향의 편향이 생깁니다. 즉, \(E[Y_0|T=1] < E[Y_0|T=0]\)입니다.
그러니 단순 비교를 할 수는 있어도 설득력은 없습니다. 어느 쪽이든 편향이 숨어서 인과효과를 가리고 있지 않다고 확신할 수 없기 때문입니다.
이 문제를 풀려면 실험군과 대조군을 비교할 수 있게, 즉 \(E[Y_0|T=1] = E[Y_0|T=0]\)이 되게 만들어야 합니다. 이를 강제하는 한 가지 방법은 학생들에게 온라인 수업과 대면 수업을 무작위로 배정하는 것입니다. 그렇게만 할 수 있다면 실험군과 대조군은 받는 처치를 빼고는 평균적으로 같아집니다.
다행히 몇몇 경제학자가 이 작업을 대신 해 줬습니다. 이들은 수업을 무작위로 배정해서 일부 학생은 대면 강의를, 일부는 온라인 강의만, 나머지 한 그룹은 온라인과 대면을 섞은 혼합형 수업을 듣게 했습니다. 그리고 학기 말에 치른 표준 시험 점수를 수집했습니다.
데이터는 다음과 같습니다.
import pandas as pd
import numpy as np
data = pd.read_csv("./data/online_classroom.csv")
print(data.shape)
data.head()(323, 10)| gender | asian | black | hawaiian | hispanic | unknown | white | format_ol | format_blended | falsexam | |
|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0 | 0.0 | 63.29997 |
| 1 | 1 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0 | 0.0 | 79.96000 |
| 2 | 1 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0 | 1.0 | 83.37000 |
| 3 | 1 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 0 | 1.0 | 90.01994 |
| 4 | 1 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 1.0 | 1 | 0.0 | 83.30000 |
표본은 323개입니다. 빅데이터라고 하기는 어렵지만 분석하기에는 충분합니다. 인과효과를 추정하려면 처치 유형별 평균 점수를 구하기만 하면 됩니다.
(data
.assign(class_format = np.select(
[data["format_ol"].astype(bool), data["format_blended"].astype(bool)],
["online", "blended"],
default="face_to_face"
))
.groupby(["class_format"])
.mean())| gender | asian | black | hawaiian | hispanic | unknown | white | format_ol | format_blended | falsexam | |
|---|---|---|---|---|---|---|---|---|---|---|
| class_format | ||||||||||
| blended | 0.550459 | 0.217949 | 0.102564 | 0.025641 | 0.012821 | 0.012821 | 0.628205 | 0.0 | 1.0 | 77.093731 |
| face_to_face | 0.633333 | 0.202020 | 0.070707 | 0.000000 | 0.010101 | 0.000000 | 0.717172 | 0.0 | 0.0 | 78.547485 |
| online | 0.542553 | 0.228571 | 0.028571 | 0.014286 | 0.028571 | 0.000000 | 0.700000 | 1.0 | 0.0 | 73.635263 |
네, 정말 이게 다입니다. 대면 수업의 평균 점수는 78.54점, 온라인 수업은 73.63점입니다. 온라인 수업을 지지하는 사람들에게는 그리 반가운 소식이 아닙니다. 따라서 온라인 수업의 \(ATE\)는 -4.91입니다. 온라인 수업 때문에 학생들의 점수가 평균 5점 정도 낮아진다는 뜻입니다. 더 할 일은 없습니다. 대면 수업을 들을 형편이 안 되는 가난한 학생들이 온라인 수업에 몰렸을까 봐 걱정할 필요가 없습니다. 더 나아가 처치 유형이 다른 학생들끼리 받은 처치 말고 다른 면에서도 다를까 봐 걱정할 필요도 없습니다. 무작위 실험은 애초에 그런 차이를 없애도록 설계되어 있습니다.
그래서 랜덤화가 제대로 이루어졌는지(또는 올바른 데이터를 보고 있는지) 점검하는 좋은 방법은 처치 전 변수에서 실험군과 대조군이 같은지 확인하는 것입니다. 이 데이터에는 성별과 인종 정보가 있어서 그룹 간에 비슷한지 확인할 수 있습니다. gender, asian, hispanic, white 변수는 꽤 비슷해 보입니다. 하지만 black 변수는 조금 차이가 나 보입니다. 데이터셋이 작을 때 이런 일이 생긴다는 점을 잘 보여 주는 사례입니다. 무작위로 배정하더라도 우연히 한 그룹이 다른 그룹과 다를 수 있습니다. 표본이 크면 이런 차이는 사라지는 경향이 있습니다.
무작위 실험, 즉 무작위 통제 실험(randomised controlled trial, RCT)은 인과효과를 얻는 가장 믿을 만한 방법입니다. 방법이 단순하면서도 터무니없을 만큼 설득력이 있습니다. 워낙 강력해서 대부분의 국가가 신약의 효과를 입증할 때 RCT를 필수 요건으로 둡니다. 형편없는 비유를 하나 들자면, RCT는 『아바타: 아앙의 전설』의 아앙이고 다른 기법들은 소카에 가깝습니다. 소카도 멋지고 여기저기서 쓸 만한 재주를 부리지만, 아앙은 4원소를 모두 다룰 줄 알고 영혼의 세계와도 이어질 수 있습니다. 이렇게 생각해 보세요. 할 수만 있다면 인과관계를 밝힐 때 RCT 말고는 아무것도 하지 않을 겁니다. 잘 설계된 RCT는 모든 과학자의 꿈입니다.
안타깝게도 RCT는 비용이 매우 많이 들거나 아예 비윤리적인 경우가 많습니다. 처치 배정 메커니즘을 아예 통제할 수 없을 때도 있습니다. 임신 중 흡연이 신생아 출생 체중에 미치는 영향을 추정하려는 의사라고 상상해 보세요. 임산부 일부를 무작위로 골라 임신 중에 담배를 피우라고 강요할 수는 없습니다. 또는 큰 은행에서 일하면서 신용 한도가 고객 이탈에 미치는 영향을 추정해야 한다고 해 봅시다. 고객들에게 신용 한도를 무작위로 주기에는 비용이 너무 큽니다. 최저임금 인상이 실업률에 미치는 영향을 알고 싶을 때도 마찬가지입니다. 나라마다 최저임금을 이렇게 저렇게 정하라고 배정할 수는 없습니다. 무슨 말인지 아실 겁니다.
나중에 조건부 랜덤화로 랜덤화 비용을 낮추는 방법을 살펴보겠지만, 비윤리적이거나 실행할 수 없는 실험은 어떻게 할 도리가 없습니다. 그래도 인과적 질문을 다룰 때는 언제나 이상적인 실험을 떠올려 볼 가치가 있습니다. 항상 스스로에게 물어보세요. 할 수만 있다면 이 인과효과를 밝히기 위해 어떤 완벽한 실험을 하겠는가? 이렇게 생각하다 보면 이상적인 실험 없이도 인과효과를 찾아낼 실마리가 보일 때가 많습니다.
무작위 실험에서 분석단위(unit)를 이 처치 또는 저 처치에 배정하는 메커니즘은, 뭐, 무작위입니다. 앞으로 보겠지만 모든 인과추론(causal inference) 기법은 어떤 식으로든 처치 배정 메커니즘(assignment mechanism)을 파악하려고 합니다. 이 메커니즘이 어떻게 작동하는지 확실히 알면, 배정이 무작위가 아니더라도 인과추론 결과를 훨씬 더 확신할 수 있습니다.
아쉽게도 처치 배정 메커니즘은 데이터만 들여다봐서는 알아낼 수 없습니다. 예를 들어 고학력일수록 부유하다는 데이터가 있어도, 데이터만 봐서는 무엇이 무엇의 원인인지 확실히 알 수 없습니다. 세상이 어떻게 돌아가는지에 관한 지식을 동원해서 그럴듯한 배정 메커니즘을 주장해야 합니다. 학교가 사람을 교육해서 생산성을 높이고, 그래서 보수가 더 높은 일자리를 얻게 되는 걸까요? 아니면 교육을 비관적으로 본다면 학교는 생산성을 높이는 데 아무 역할도 하지 않는다고 말할 수도 있습니다. 부유한 집안만 자녀에게 높은 학위를 받게 할 여유가 있어서 생긴 허구적 상관관계(spurious correlation)일 뿐이라는 것입니다.
인과적 질문에서는 대개 양쪽 모두 주장할 수 있습니다. X가 Y의 원인이라고 할 수도 있고, 제3의 변수 Z가 X와 Y 모두의 원인이어서 X와 Y의 상관관계는 허구일 뿐이라고 할 수도 있습니다. 그래서 처치 배정 메커니즘을 알면 훨씬 설득력 있는 인과적 답을 낼 수 있습니다. 인과추론이 흥미진진한 이유도 바로 여기에 있습니다. 응용 머신러닝은 대개 버튼 몇 개를 순서대로 누르면 끝나지만, 응용 인과추론에서는 데이터를 만들어 낸 메커니즘을 진지하게 고민해야 합니다.
무작위 실험이 인과효과를 밝히는 가장 단순하고 효과적인 방법이라는 점을 살펴봤습니다. 무작위 실험은 실험군과 대조군을 비교할 수 있게 만들어서 이를 해냅니다. 안타깝게도 무작위 실험을 언제나 할 수는 없지만, 할 수만 있다면 어떤 이상적인 실험을 할지 생각해 보는 것은 여전히 도움이 됩니다.
통계에 익숙한 독자라면 지금쯤 제가 인과효과 추정값의 분산을 살펴보지 않았다고 항의하고 있을지도 모릅니다. 4.91점 하락이 우연이 아니라는 걸 어떻게 알 수 있을까요? 다시 말해 그 차이가 통계적으로 유의한지 어떻게 알 수 있을까요? 옳은 지적입니다. 걱정 마세요. 다음 장에서 통계 개념 몇 가지를 복습하겠습니다.
저는 이 책 전체를 Joshua Angrist, Alberto Abadie, Christopher Walters의 훌륭한 계량경제학 강의에 바치는 헌사라고 생각합니다. 이 책에 담긴 아이디어 대부분은 이들이 미국경제학회(American Economic Association)에서 한 강의에서 가져왔습니다. 힘든 2020년을 버틸 수 있는 것도 이 강의들을 보는 덕분입니다. * Cross-Section Econometrics * Mastering Mostly Harmless Econometrics
Angrist의 멋진 책들도 참고 자료로 소개하고 싶습니다. 이 책들 덕분에 계량경제학, 이들 표현으로는 ’Metrics가 아주 유용할 뿐 아니라 무척 재미있다는 것을 알게 되었습니다.
마지막 참고 자료는 Miguel Hernan과 Jamie Robins의 책입니다. 까다로운 인과적 질문에 답해야 할 때마다 믿음직한 동반자가 되어 주었습니다.
이 장에서 사용한 데이터는 다음 연구에서 가져왔습니다. Alpert, William T., Kenneth A. Couch, and Oskar R. Harmon. 2016. “A Randomized Assessment of Online Learning”. American Economic Review, 106 (5): 378-82.
Causal Inference for the Brave and True는 과학의 통계학이라 할 수 있는 인과추론을 다루는 오픈소스 자료입니다. 파이썬 기반의 무료 소프트웨어만 사용하며, 돈이 없어도, 배경지식이 많지 않아도 누구나 볼 수 있는 자료를 목표로 합니다. 이 책이 도움이 되었고 후원하고 싶다면 Patreon을 방문해 주세요. 금전적으로 기여하기 어렵다면 오타를 고치거나, 수정할 부분을 제안하거나, 이해하기 어려웠던 부분에 의견을 주는 것으로도 도울 수 있습니다. 책의 저장소에서 이슈를 열어 주세요. 마지막으로 이 내용이 마음에 들었다면 도움이 될 만한 사람들과 공유하고 GitHub에서 스타를 눌러 주세요.
한국어판의 오역이나 오탈자는 한국어판 이슈 페이지에 알려 주세요. 한국어판이 도움이 되었다면 한국어판 저장소에도 스타를 부탁드립니다.