[사회조사방법론 #11] 사회과학은 왜 하나의 질문으로 측정하지 않을까? 지수와 척도의 진짜 차이

사회과학에서 다루는 개념들은 우리 생각보다 훨씬 복잡하고 입체적입니다. '종교성', '보수성', '만족도', '사회적 거리감' 같은 개념은 "당신은 보수적입니까? (예/아니오)"라는 단 하나의 질문으로 딱 잘라 측정할 수 없습니다. 누군가는 교회 예배는 매주 참석하지만 내면의 신념은 약할 수 있고, 누군가는 스스로를 보수적이라고 생각하지만 특정 사회적 이슈에서는 진보적인 반응을 보일 수도 있기 때문입니다.

그래서 사회과학에서는 달랑 질문 하나만 던지는 대신, 여러 개의 문항을 묶어 하나의 거대한 측정 도구로 만드는 방식을 주로 사용합니다. 이때 핵심적으로 등장하는 두 가지 도구가 바로 '지수(Index)'와 '척도(Scale)'입니다.

왜 굳이 여러 문항을 묶어서 측정할까?

양적 연구에서 이렇게 번거롭게 여러 질문을 합치는 '합성 측정'을 사용하는 이유는 꽤 분명합니다.

첫째, 복잡한 사회 현상에는 완벽하게 똑떨어지는 명확한 단일 지표가 없기 때문입니다. 둘째, 연구자는 어떤 개념을 '있다/없다'의 단순한 차원이 아니라, 1도부터 100도까지 그 '강도의 차이'를 섬세하게 측정하고 싶어 합니다. 셋째, 여러 문항을 묶어서 만든 측정 도구는 나중에 통계를 돌릴 때 데이터의 퀄리티와 분석 효율성을 훨씬 높여줍니다.

간단히 말해, 사람의 마음하고 사회 현상이 복잡하기 때문에 그것을 재는 자(측정 도구) 역시 복합적일 수밖에 없는 것입니다.

수능 점수와 매운맛의 차이 (지수와 척도)

실제 현장에서는 이 둘을 섞어서 부르는 경우가 많지만, 엄밀히 말해 지수와 척도는 완전히 다른 개념입니다.

지수 (Index): 수능 점수 합산 방식 지수는 여러 개의 구체적인 관찰치(문항)를 '합산'하거나 요약해서 좀 더 일반적인 덩어리를 만들어내는 방식입니다. 쉽게 말해 국어, 수학, 영어 점수를 각각 더해서 '수능 총점'이라는 하나의 점수로 만드는 것과 같습니다. 문항들이 모여서 "얼마나 많이 해당되는가(양의 문제)"를 보여줍니다.

척도 (Scale): 매운맛 단계 방식 반면 척도는 문항들 사이에 논리적인 '강도나 순서의 구조'가 있다는 점이 핵심입니다. 단순히 점수를 기계적으로 더하는 것이 아닙니다. 예를 들어 "① 진라면 순한맛을 먹을 수 있다 ② 신라면을 먹을 수 있다 ③ 불닭볶음면을 먹을 수 있다"라는 문항이 있다면, ③번에 예스라고 답한 사람은 당연히 ①, ②번도 먹을 수 있다고 전제하는 방식입니다. "어떤 패턴과 강도로 반응하는가"를 훨씬 세밀하게 파악합니다.

🏃‍♂️ 일상 속 비유: '웰빙 라이프 지수'와 '러닝 강도 척도'의 차이
지수와 척도의 묘한 차이를 우리가 일상에서 실천하는 건강 관리 데이터에 비유해 볼까요?

• 웰빙 라이프 지수(Index): "하루에 물 2L 마시기(+1점)", "7시간 이상 숙면하기(+1점)", "채소 섭취하기(+1점)", "30분 이상 운동하기(+1점)". 이 점수들을 모두 더해 '오늘의 건강 지수 4점 만점'으로 환산하는 방식입니다. 문항 간에 상하 서열이 없으며, 단순히 얼마나 많은 양적 조건을 충족했는지 합산합니다.
• 러닝 강도 척도(Scale): "① 가볍게 1km를 산책할 수 있다. ② 평지에서 5km를 쉬지 않고 조깅할 수 있다. ③ 하프 마라톤(21km) 코스를 완주할 수 있다." 이 질문들은 명확한 강도의 계층 구조를 가집니다. ③번에 "예"라고 응답한 러너라면, 구태여 물어보지 않아도 ①번과 ②번은 당연히 수행할 수 있다고 논리적으로 추론하는 설계입니다.

이처럼 사회조사에서도 단순 합산으로 현상의 크기를 잴 것인지(지수), 내재된 논리적 강도의 깊이를 추적할 것인지(척도)에 따라 설계 방향이 완전히 달라집니다.

좋은 '지수'를 만들기 위한 문항 선정의 기술

지수를 만들 때 아무 질문이나 끌어모은다고 좋은 도구가 되는 것은 아닙니다. 가장 먼저 진행해야 할 '문항 선정' 단계에는 4가지 까다로운 기준이 있습니다.

• 액면 타당도: 문항이 측정하려는 개념과 '겉으로 보아도' 상식적으로 관련이 있어야 합니다.
• 단일 차원성: 하나의 문항은 가능하면 '딱 하나의 의미'만 물어야 합니다. 한 질문 안에 두세 가지 의미가 섞이면 응답자도 헷갈리고 통계도 망가집니다.
• 구체성 조절: 내가 측정하고 싶은 개념의 범위가 얼마나 넓은지에 따라, 질문의 수준도 아주 구체적으로 할지 약간 포괄적으로 할지 잘 조절해야 합니다.
• 변이(Variation) 확보: 가장 중요합니다. 좋은 문항은 응답이 한쪽으로만 몰리지 않고 사람들 사이의 뚜렷한 '차이(변이)'를 드러낼 수 있어야 합니다. 100명 중 99명이 "예"라고 답할 질문은 측정 도구로서 아무 쓸모가 없습니다.

겉만 번지르르한 문항 솎아내기 (문항 간 관계)

훌륭한 문항들을 골랐다고 끝이 아닙니다. 그 문항들이 실제로 서로 끈끈하게 연결되어 있는지도 확인해야 합니다.

같은 차원(예: 우울감)을 묻는 질문들이라면, 1번 문항에 높게 답한 사람은 2번, 3번 문항에도 대체로 높게 답해야 정상입니다. 그런데 겉보기에는 관련 있어 보여도, 막상 사람들에게 물어보니 다른 응답들과 전혀 상관없이 혼자 튀는 문항이 나올 수 있습니다. 이런 문항은 지수에서 가차 없이 빼버리는 것이 낫습니다. 좋은 측정이란 질문이 많다고 이기는 게임이 아니라, 같은 개념을 얼마나 일관되게 잡아내느냐에 달려 있습니다.

점수화와 텅 빈 데이터(결측치)의 처리

문항을 엮어서 지수를 만들 때는 결국 "이 응답에 몇 점을 줄 것인가?"를 결정해야 합니다. 모든 문항에 평등하게 똑같은 점수(가중치)를 줄지, 아니면 더 핵심적인 문항에 높은 점수를 줄지 연구자가 논리적으로 판단해야 합니다.

또한 실제 설문조사를 돌려보면 응답자가 질문을 빼먹고 안 넘긴 '결측 자료(빈칸)'가 반드시 생깁니다. 누락이 적다면 그 사람의 데이터를 아예 빼버릴 수도 있고, 상황에 따라 전체의 '평균값'이나 가장 많이 나온 '최빈값'으로 빈칸을 채워 넣기도 합니다. 중요한 것은 한 가지 방법만 고집하지 않고, 이렇게도 해보고 저렇게도 해보며 결과가 심하게 왜곡되지 않는지 꼼꼼히 확인하는 집요한 태도입니다.

마무리: 좋은 측정도구는 만들고 끝이 아니다

복잡한 사회 현상을 하나의 질문만으로 담아내기란 불가능에 가깝습니다. 지수와 척도는 이 막연하고 복잡한 현실을 가장 안정적이고 설득력 있게 측정하도록 돕는 훌륭한 도구입니다.

하지만 이론에 근거해 정교하게 측정 도구를 만들었다고 해서 모든 것이 해결되지는 않습니다. 데이터를 직접 다루다 보면 가끔 이론과 데이터가 정반대의 이야기를 하는 당혹스러운 순간을 마주하게 됩니다. 정량 분석에 매진하는 학생들은 가설이 입증되지 않을 때 "왜 통계적 유의미성(별)이 안 뜨는 거지?"라고 묻곤 하지만, 때로는 별이 뜨더라도 도저히 이해할 수 없는 '음(-)의 상관관계'가 나타나기도 합니다.

예를 들어 대학 만족도 조사에서 "교수님의 수업 능력이 좋을수록 대학 전반의 만족도는 떨어진다"라는 식의 상식 밖의 결과가 튀어나오는 경우입니다. 이럴 때 우리는 당황하기보다 정신을 똑바로 차리고 원인을 파헤쳐야 합니다. 내가 설정한 지수 구성 문항에 결정적인 오류가 있었을 수도 있고, 응답자들이 질문의 의미를 완전히 다르게 이해했거나, 혹은 우리가 믿어왔던 기존의 이론 자체가 틀렸을 수도 있기 때문입니다.

결국 사회조사에서 측정 도구란 화려하게 만드는 것 이상으로, 그것이 뽑아낸 결과가 현실의 맥락과 논리적으로 부합하는지 끊임없이 의심하고 검증하는 과정 그 자체입니다. 데이터가 보내는 의외의 신호를 놓치지 않을 때, 우리는 비로소 이론의 틀에 갇히지 않은 진짜 사회의 모습을 발견할 수 있을 것입니다.

 

[다음 글 보기]

[사회조사방법론 #12] 리커트 척도는 왜 이렇게 많이 쓰일까? 대표 척도 한 번에 정리

 

[이전 글 보기]

[사회조사방법론 #10] 개념은 어떻게 숫자가 될까? 개념화·조작화·측정의 기본