[사회조사방법론 #20] 평가연구란 무엇인가? 정책의 진짜 효과를 검증하는 유사실험설계

사회조사 방법론을 열심히 공부하다 보면 불현듯 이런 근본적인 질문이 떠오를 때가 있습니다. "도대체 이렇게 힘들게 분석한 통계와 연구 결과들이 실제 사회에서 어디에 쓰이는 걸까?"

그 질문에 가장 직접적으로, 그리고 아주 강력하게 연결되는 방법론이 바로 오늘 알아볼 '평가연구(Evaluation Research)'입니다. 평가연구는 단순히 사회 현상을 관찰하고 "그렇구나~" 하며 이해하는 데서 그치지 않습니다. 정부의 새로운 복지 정책, 기업의 마케팅 프로그램, 학교의 새로운 교육 방식이 "실제로 돈값(효과)을 했는지" 깐깐하게 성적표를 매기는 연구입니다. 우리가 내는 세금이 제대로 쓰였는지 확인하는 가장 과학적인 검증 도구, 평가연구의 세계로 들어가 보겠습니다.

평가연구는 언제 필요한가

평가연구는 사회에 인위적인 '개입(Intervention)'이 존재할 때 비로소 시작됩니다. 여기서 개입이란, 가만히 놔두면 안 될 것 같아서 무언가를 바꾸기 위해 의도적으로 돈과 시간을 쏟아붓는 모든 활동을 말합니다. 정책, 복지사업, 교육 프로그램, 금연 캠페인 등이 모두 개입입니다. 즉, 평가연구는 "TV에서 유명한 솔루션을 받았으니(개입), 식당 매출이 진짜 올랐는지 확인해 보자(평가)"라는 예능 프로그램의 문제의식에서 출발합니다.

목적에 따라 달라지는 4가지 평가연구 유형

평가연구는 도대체 무엇을 알고 싶으냐에 따라 크게 네 가지로 나뉩니다.

• 욕구평가연구: 프로그램을 짜기 전, "이 동네 노인들에게 정말 스마트폰 교육이 필요한가?", "청년들의 진짜 정신건강 상태는 어떠한가?"처럼 수요와 심각성을 먼저 파악하는 필수적인 밑작업입니다.
• 비용 평가: 프로그램의 효과가 들어간 돈(예산)을 정당화할 수 있는지 따져보는 가성비 분석입니다. 아무리 성과가 좋아도 너무 많은 재원을 소모했다면 그 정책은 경제성 측면에서 낙제점입니다.
• 모니터링 평가연구: 범죄율, 전염병 확산, 실업률 같은 사회적 핵심 지표가 시간 흐름에 따라 어떻게 변하는지 CCTV처럼 계속 추적하고 관찰하는 연구입니다.
• 프로그램평가 (성과평가): 가장 전형적이고 자주 쓰이는 평가연구입니다. 실제로 시행된 프로그램이 애초에 약속했던 목표(취업률 10% 상승 등)를 정말로 달성했는지 냉정하게 판단합니다.

가장 중요한 미션: 보이지 않는 것을 어떻게 측정할 것인가

평가연구의 핵심은 결국 '측정'의 문제로 귀결됩니다. 프로그램 기획자들은 흔히 "국민의 삶의 질 향상", "청년의 의식 개선"처럼 듣기에는 좋지만 뜬구름 잡는 막연한 목표를 내세우길 좋아합니다. 그래서 연구자는 이런 뜬구름을 '관찰 가능하고 숫자로 측정 가능한 데이터'로 바꿔내야 합니다. 예를 들어 '청년 취업 지원 프로그램'을 평가한다면 단순히 "만족하셨나요?"라고 묻는 것을 넘어, 실제 취업 여부, 취업 후 3개월 유지 비율, 이전 대비 소득 변화액 등을 깐깐한 지표로 삼아야 합니다.

또한 이 과정에서 같은 이름의 프로그램이라도 강사가 누구였는지, 몇 시간이나 참여했는지에 따라 효과가 천차만별이므로 '개입 자체(프로그램 운영 퀄리티)'도 구체적으로 측정해야 합니다. 대상을 명확히 하지 않으면 결과의 일반화가 불가능해지고 성과가 심하게 뻥튀기될 위험이 큽니다.

가짜 효과에 속지 않는 법 (사회적 맥락 고려)

평가연구에서 연구자들이 가장 두려워하는 것은 '우연'을 '성과'로 착각하는 일입니다. 예를 들어, 정부가 거액을 들여 취업 지원금을 풀었더니 그해 취업률이 올랐다고 합시다. 이것이 100% 지원금 덕분이라고 단정할 수 있을까요? 마침 그 시기에 글로벌 경기가 호황을 맞아 기업들이 채용을 미친 듯이 늘렸을 수도 있습니다. 따라서 평가연구는 프로그램의 결과만 단편적으로 보는 것이 아니라, 그 결과가 튀어나온 거대한 사회적 맥락과 외부 환경까지 함께 의심하고 통제해야 하는 아주 치밀한 작업입니다.

현실과 타협하는 연구 설계: 유사실험설계

평가연구의 결과를 100% 확신하려면 앞서 배운 완벽한 '실험설계'를 써야 합니다. 참가자를 무작위로 갈라 한쪽(실험집단)에만 지원금을 주고, 다른 쪽(통제집단)은 주지 않은 채 결과를 비교하는 것이 가장 깔끔합니다. 하지만 현실의 정책과 복지에서는 윤리적인 문제나 예산 부족 때문에 사람을 내 마음대로 무작위로 차별해서 나눌 수가 없습니다. 그래서 평가연구에서는 아쉽지만 차선책인 유사실험설계(Quasi-experimental design)를 자주 활용합니다.

• 시계열 설계: 지원금을 주기 1년 전, 6개월 전, 직전, 그리고 지원금을 주고 6개월 후, 1년 후 등 여러 번에 걸쳐 관찰 대상의 변화 흐름을 반복 측정하는 방식입니다.
• 비균등 통제집단 설계: 지원금을 받은 A동네 청년들과, 애초에 지원 대상이 아니었던 B동네 청년들을 비교합니다. 비록 무작위로 공평하게 나누진 못했지만 아쉬운 대로 비교 대상을 두는 현실적인 대안입니다.
• 다중시계열 설계: 위 두 가지를 합친 끝판왕입니다. 여러 지역, 여러 기간의 자료를 한꺼번에 시계열로 쫙 깔아놓고 비교하는 것으로, 실제 현실 정책 평가에서 가장 신뢰받는 방법 중 하나입니다.

📚 일상 속 비유: '골목길 지하 중고 서점'의 공간 활성화 프로젝트 평가 연구
교과서 속 평가연구와 유사실험설계의 복잡한 논리를, 우리가 주택가 골목 지하에 위치한 어느 조용한 '중고 서점'의 문을 열고 들어가 "독서 문화 공간 활성화 프로젝트(개입)"의 성적표를 매기는 과정에 비유하면 단번에 이해됩니다.

• 4대 평가 유형의 적용: 서점 인근 주민들이 어떤 인문학 서적을 원하는지 파악하는 욕구평가, 프로젝트에 투입된 custom 스티커 및 Sign 포스터 제작 비용 대비 매출 상승률을 따지는 비용평가, 매달 오프라인 방문자 수의 추이를 관찰하는 모니터링평가, 최종 목적인 '해외 원서 카테고리 매출 15% 상승'을 달성했는지 검증하는 성과평가가 톱니바퀴처럼 맞물립니다.
• 유사실험설계(비균등 통제집단)의 실무: 공간 디자인 리뉴얼과 큐레이션 매대를 대대적으로 정비한 우리 중고 서점(실험집단)의 매출 데이터와, 예산 문제로 기존 인테리어를 그대로 유지하고 있는 이웃 동네의 유사한 독립 서점(통제집단)의 데이터를 상호 대조합니다. 무작위 배정은 불가능했기에 아쉬운 대로 현실과 타협한 비균등 통제집단 설계입니다.
• 제3의 변수(사회적 맥락)의 통제: 프로젝트 시행 후 우리 서점의 매출이 올랐더라도, 마침 인근 대학교의 개강 시즌이 겹쳤거나 주변 골목에서 대형 지역 문화 축제(외부 사건)가 열려 유동인구가 폭증한 것은 아닌지 철저히 검증해야 합니다. 이 외부 환경적 변수들을 걸러내야만 비로소 '공간 활성화 프로젝트'가 만들어낸 순수한 인과적 효과를 증명해낼 수 있습니다.

마무리: 미래의 가치와 일상의 평화를 지표화하는 기술

평가연구는 단순한 성과 자랑용 보고서가 아니라, 사회적 개입이 우리 삶을 진짜로 바꿨는지 냉정하게 검증하는 팩트 체크 그 자체입니다. 하지만 이 차가운 잣대를 실제 현장에 들이대는 과정은 교과서처럼 명쾌하지만은 않습니다.

가장 큰 난관은 성과의 '시차'입니다. 교육 소외 지역 아이들을 위한 학습 시스템을 평가할 때, 진정한 성과는 아이들이 성인이 되어 사회의 일원으로 자립하는 수십 년 뒤에야 비로소 완성됩니다. 그러나 예산과 정책의 시계는 고작 1년 단위로 돌아가기에, 연구자는 당장 눈에 보이는 '대학 진학률'이나 '성적 향상' 같은 단기 지표로 거대한 교육의 가치를 성급하게 재단해야 하는 딜레마에 빠집니다.

또한, 가로등이나 깨끗한 공기처럼 공공성이 강한 서비스는 그 존재가 너무나 당연하기에 이용자들의 '만족도'를 묻는 것 자체가 무의미할 때가 많습니다. 사고가 나지 않을 때는 그 가치를 잊고 살다가, 문제가 터졌을 때만 그 부재를 체감하는 공공 서비스의 특성을 어떻게 숫자로 증명해낼 것인가는 평가연구자의 영원한 숙제입니다.

결국 훌륭한 평가연구란 단순한 통계 수치 나열이 아닙니다. 단기간에 보이지 않는 미래의 가치를 상상하고, 공기처럼 당연하게 여겨지는 일상의 평화를 지표화하여 설득해내는 고도의 인문학적 작업입니다. 현장의 어려움 속에서도 우리가 끈질기게 평가의 잣대를 놓치지 않는 이유는, 그 기록들이 모여 결국 우리 세금이 더 가치 있는 곳으로 흘러가게 만드는 가장 정직한 이정표가 되기 때문입니다.

 

[다음 글 보기]

[사회조사방법론 #21] 평가연구의 현실적 쟁점: 사회적 맥락, 사회지표, 윤리

 

[이전 글 보기]

[사회조사방법론 #19] 비개입적 측정