13. 구인 타당도란 무엇이며 왜 가장 이해하기 어려운 개념인가

이 글은 영어능력평가론 시리즈의 열세 번째 글이다. 앞선 글에서는 내용 타당도를 훼손하는 대표적인 오류들을 살펴보았다. 이 글에서는 내용 타당도로 설명하기 어려운 평가의 문제를 다루기 위해, 구인 타당도가 무엇인지와 왜 이 개념이 가장 이해하기 어려운 타당도 유형으로 여겨지는지를 설명한다. 다음 글에서는 구인 타당도가 왜 필연적으로 해석과 연결되는지를 다룬다.

 

영어능력평가를 공부하는 많은 학습자는 내용 타당도까지는 비교적 쉽게 이해한다. 시험 내용이 측정 대상과 잘 맞는지를 판단하는 개념은 직관적으로 받아들이기 어렵지 않기 때문이다. 그러나 구인 타당도에 이르면 상황은 달라진다. 구인 타당도는 눈에 보이는 시험 내용이 아니라, 시험이 측정한다고 주장하는 추상적인 능력 개념과 관련되어 있기 때문이다. 이 글에서 필자는 구인 타당도가 무엇을 의미하는지, 그리고 왜 이 개념이 영어능력평가에서 가장 이해하기 어려운 개념으로 여겨지는지를 차근차근 설명하고자 한다.

구인 타당도는 무엇을 묻는 개념인가

구인 타당도는 시험이 측정한다고 주장하는 추상적 능력, 즉 구인이 실제로 시험 수행에 반영되고 있는지를 묻는 개념이다. 여기서 구인이란 직접 관찰할 수 없는 능력이나 특성을 의미한다. 영어능력, 의사소통 능력, 읽기 이해력과 같은 개념은 모두 구인에 해당한다.

시험은 구인을 직접 측정할 수 없기 때문에, 구인을 간접적으로 드러내는 수행을 통해 능력을 추론한다. 구인 타당도는 이 추론이 얼마나 정당한지를 검토하는 개념이다. 시험 점수가 특정 구인을 반영한다고 말할 수 있으려면, 그 주장에는 충분한 근거가 필요하다.

구인 타당도

내용 타당도로 설명할 수 없는 문제들

내용 타당도가 확보되었음에도 불구하고, 시험 결과 해석에 문제가 발생하는 경우가 있다. 시험 문항이 측정 대상 영역을 잘 대표하고 있음에도, 점수가 기대한 능력을 반영하지 않는 것처럼 보이는 상황이 이에 해당한다.

이러한 문제는 시험이 측정하려는 능력 개념 자체가 불분명하거나, 시험 수행이 다른 능력의 영향을 크게 받을 때 발생한다. 이 지점에서 내용 타당도는 설명력을 잃고, 구인 타당도 논의가 필요해진다. 구인 타당도는 시험 수행의 이면에 작동하는 능력 구조를 설명하려는 시도다.

구인은 왜 직접 보이지 않는가

구인이 이해하기 어려운 이유는 구인이 본질적으로 추상적 개념이기 때문이다. 누구도 영어능력을 직접 볼 수는 없다. 우리가 관찰할 수 있는 것은 문제를 읽고, 듣고, 말하고, 쓰는 수행뿐이다.

평가에서는 이 수행을 근거로 능력을 추론한다. 그러나 동일한 수행 결과가 항상 동일한 능력을 의미하지는 않는다. 시험 전략, 배경 지식, 시험 불안과 같은 요인은 수행에 영향을 미칠 수 있다. 구인 타당도는 이러한 영향 속에서 우리가 어떤 능력을 실제로 측정하고 있는지를 묻는다.

구인 타당도와 이론의 역할

구인 타당도는 이론과 분리될 수 없다. 시험이 어떤 능력을 측정한다고 주장하는 순간, 그 능력에 대한 이론적 정의가 필요해진다. 이 정의는 시험 문항과 수행 해석의 기준이 된다.

예를 들어 읽기 능력을 측정한다고 할 때, 읽기 능력이 무엇으로 구성되는지에 대한 이론적 관점이 다를 수 있다. 어떤 관점은 어휘와 문법 지식을 강조하고, 다른 관점은 추론과 비판적 사고를 강조한다. 이 이론적 선택은 시험 설계와 결과 해석 전반에 영향을 미친다.

구인 타당도는 단일 증거로 확보되지 않는다

구인 타당도는 하나의 지표나 분석으로 확보되지 않는다. 시험 수행이 특정 구인을 반영한다는 주장은 다양한 증거의 축적을 통해 뒷받침되어야 한다.

문항 간 관계, 수행 양상, 점수 패턴, 외부 기준과의 관계는 모두 구인 타당도 논의의 일부다. 이 증거들은 시험 점수가 어떤 능력을 반영하고 있는지를 간접적으로 보여준다. 구인 타당도는 이러한 증거들이 일관된 방향을 가리킬 때 강화된다.

 

구인 타당도와 오해의 위험

구인 타당도는 가장 자주 오해되는 타당도 개념이기도 하다. 많은 경우 구인 타당도는 시험이 어렵거나 정교해 보인다는 인상으로 대체된다. 그러나 시험이 복잡하다고 해서 구인 타당도가 높은 것은 아니다.

오히려 시험 수행이 의도하지 않은 능력에 의해 좌우될수록 구인 타당도는 낮아진다. 예를 들어 배경 지식이 과도하게 요구되는 문항은 언어 능력보다 사전 지식을 측정할 가능성이 높다. 이러한 상황은 구인 오염으로 이어진다.

구인 타당도

구인 오염과 구인 축소

구인 타당도를 논의할 때 자주 등장하는 두 가지 개념이 구인 오염과 구인 축소다. 구인 오염은 시험 수행이 측정 대상 외의 요인에 의해 영향을 받는 상황을 의미한다. 구인 축소는 측정하려는 능력의 일부만을 시험이 반영하는 상황을 의미한다.

이 두 현상은 모두 구인 타당도를 약화시킨다. 시험이 실제로 측정하는 능력과 시험이 측정한다고 주장하는 능력 사이의 간극이 커질수록, 점수 해석은 불안정해진다.

구인 타당도는 해석의 문제다

구인 타당도는 시험 그 자체의 문제가 아니라, 시험 결과 해석의 문제이기도 하다. 동일한 시험이라도 어떤 구인을 전제로 해석하느냐에 따라 의미는 달라진다.

이 때문에 구인 타당도는 해석 중심 타당도 관점과 밀접하게 연결된다. 시험 점수가 특정 능력을 반영한다고 주장하려면, 그 해석을 뒷받침하는 논리가 필요하다. 구인 타당도는 이 논리를 검토하는 핵심 개념이다.

평가 전문가에게 구인 타당도가 중요한 이유

구인 타당도는 평가 전문가의 사고 수준을 가르는 기준이 된다. 내용 타당도는 비교적 기술적인 절차로 확보할 수 있지만, 구인 타당도는 이론적 사고와 해석 능력을 요구한다.

평가 전문가는 시험 수행의 이면에 작동하는 능력 구조를 설명할 수 있어야 한다. 이 설명이 가능할 때, 시험 결과에 대한 책임 있는 해석이 가능해진다. 구인 타당도는 평가를 기술이 아닌 학문적 판단의 영역으로 끌어올린다.

학습자에게 구인 타당도가 가지는 의미

구인 타당도는 학습자에게도 중요한 의미를 가진다. 학습자가 시험 점수를 자신의 전반적인 능력으로 받아들이는 순간, 구인 타당도 문제는 개인의 학습 태도와 정체성 형성에 영향을 미친다.

시험이 실제로 무엇을 측정하고 있는지를 이해하는 것은 학습자가 점수에 과도한 의미를 부여하지 않도록 돕는다. 이 이해는 보다 건강한 학습 인식을 가능하게 한다.

 

이 글에서 필자는 구인 타당도가 무엇이며 왜 가장 이해하기 어려운 타당도 개념으로 여겨지는지를 살펴보았다. 구인 타당도는 시험이 측정한다고 주장하는 추상적 능력과 실제 수행 간의 관계를 설명하는 개념이다. 이 개념은 이론, 증거, 해석이 결합될 때 비로소 의미를 가진다. 다음 글에서는 구인 타당도가 왜 필연적으로 해석 중심 타당도 관점으로 이어지는지를 보다 구체적으로 살펴볼 것이다.

 

이 글에서는 구인 타당도의 기본 개념과 그 난이도의 이유를 살펴보았다. 다음 글에서는 구인 타당도가 왜 시험 결과 해석과 불가분의 관계를 가지는지를 중심으로 논의를 이어간다.