14. 구인 타당도는 왜 해석 중심 타당도로 이어질 수밖에 없는가

이 글은 영어능력평가론 시리즈의 열네 번째 글이다. 앞선 글에서는 구인 타당도가 무엇이며 왜 가장 이해하기 어려운 타당도 개념으로 여겨지는지를 살펴보았다. 이 글에서는 구인 타당도가 왜 필연적으로 시험 결과 해석 문제로 이어지는지, 그리고 이 흐름이 현대 타당도 논의의 핵심이 된 이유를 설명한다. 다음 글에서는 해석 중심 타당도 관점이 평가의 책임 개념을 어떻게 변화시켰는지를 다룬다.

 

구인 타당도를 이해하려다 보면 많은 학습자가 비슷한 질문에 도달한다. 시험이 실제로 측정하는 능력을 완벽하게 규명할 수 없다면, 타당도는 어디에서 확보되는가라는 질문이다. 이 질문은 구인 타당도의 한계를 드러내는 동시에, 현대 타당도 논의의 출발점이 된다. 이 글에서 필자는 구인 타당도가 왜 시험 자체에 머무르지 않고, 시험 결과 해석의 정당성으로 논의를 확장하게 되었는지를 단계적으로 설명하고자 한다.

구인은 추론을 전제로 한다

구인 타당도의 핵심에는 추론이 있다. 시험은 구인을 직접 측정하지 못하고, 수행을 통해 능력을 추론한다. 이 추론은 필연적으로 불확실성을 내포한다. 동일한 수행이 항상 동일한 능력을 의미하지 않기 때문이다.

이 불확실성 때문에 구인 타당도는 단일한 증거로 확정될 수 없다. 시험 점수는 능력에 대한 하나의 가설일 뿐이며, 이 가설은 해석을 통해 의미를 갖는다. 이 지점에서 타당도 논의는 시험 문항에서 점수 해석으로 이동한다.

해석 중심 구인 타당도

시험이 아니라 해석이 문제의 중심이 된다

전통적 관점에서는 시험이 타당한지 여부가 핵심 질문이었다. 그러나 구인 타당도를 깊이 들여다볼수록 질문은 달라진다. 문제는 시험이 아니라, 시험 결과를 어떻게 해석하느냐다.

같은 시험 점수라도 어떤 구인을 전제로 해석하느냐에 따라 의미는 달라진다. 시험 점수가 전반적인 영어 능력을 반영한다고 해석될 수도 있고, 특정 유형의 수행 능력을 반영한다고 해석될 수도 있다. 이 해석 선택이 타당도 논의의 중심이 된다.

구인 타당도는 해석의 범위를 묻는다

구인 타당도는 시험 결과가 어디까지 해석될 수 있는지를 묻는 개념이다. 시험 점수가 특정 구인을 반영한다고 주장하려면, 그 주장에 대한 근거가 필요하다. 이 근거는 시험 내용, 수행 양상, 점수 구조, 외부 기준과의 관계 등 다양한 형태로 제시된다.

이 과정에서 타당도는 시험 자체의 성질이 아니라, 해석의 정당성을 설명하는 논리로 재구성된다. 시험은 하나의 자료일 뿐이며, 타당도는 그 자료를 어떻게 읽을 것인가에 대한 문제다.

구인 오염과 해석의 책임

구인 오염은 해석 중심 타당도 논의를 촉발한 중요한 요인이다. 시험 수행이 측정 대상 외의 요인에 의해 영향을 받을 때, 시험 점수는 의도한 구인을 순수하게 반영하지 못한다.

이때 중요한 질문은 시험이 완벽했는지가 아니라, 이러한 한계를 알고도 점수를 어떻게 해석하고 사용하는가다. 해석 중심 타당도는 시험의 불완전성을 전제로 하고, 그 불완전성 속에서 책임 있는 해석을 요구한다.

타당도는 점수가 아니라 주장에 붙는다

현대 타당도 관점에서 타당도는 점수에 붙는 속성이 아니다. 타당도는 점수를 근거로 한 주장에 붙는다. 시험 점수 자체는 중립적인 정보이며, 그 점수로 무엇을 말하려는지가 타당도 판단의 대상이 된다.

예를 들어 시험 점수를 통해 학습자의 의사소통 능력을 판단하려는 주장이 있다면, 그 주장은 어떤 근거로 뒷받침되는지 검토되어야 한다. 이 검토 과정이 바로 해석 중심 타당도의 핵심이다.

해석 중심 타당도와 증거의 축적

해석 중심 타당도는 단일 분석이나 지표로 확보되지 않는다. 이 관점에서는 다양한 증거가 하나의 논리를 구성해야 한다. 각 증거는 점수 해석을 지지하거나 약화시키는 역할을 한다.

시험 내용, 수행 과정, 통계적 구조, 외부 기준과의 관계, 사회적 영향은 모두 해석 타당도를 구성하는 증거가 된다. 이 증거들이 일관된 방향을 가리킬 때, 해석은 정당성을 얻는다.

해석 중심 구인 타당도

시험 결과 사용이 타당도 논의에 포함된다

해석 중심 타당도 관점에서는 시험 결과 사용이 타당도 논의의 일부가 된다. 시험 점수가 어떤 결정에 사용되는지는 해석의 연장선이기 때문이다.

시험 결과가 설계 의도를 벗어난 결정에 사용될 경우, 그 해석은 타당하지 않을 수 있다. 이 관점에서 타당도는 시험 결과 사용의 한계를 설정하는 역할을 한다. 타당도는 시험의 가능성을 설명하는 동시에, 그 사용 범위를 제한한다.

평가 전문가의 역할 변화

구인 타당도가 해석 중심 타당도로 확장되면서 평가 전문가의 역할도 변화했다. 평가 전문가는 더 이상 시험을 만드는 기술자에 머무르지 않는다. 평가 전문가는 시험 결과 해석과 사용에 대해 설명하고 경고하는 역할을 맡게 된다.

이 역할은 시험 점수가 사회적 결정에 사용되는 현실에서 특히 중요하다. 평가 전문가는 점수가 말할 수 있는 것과 말할 수 없는 것을 구분해 설명해야 한다.

학습자에게 해석 중심 타당도가 의미하는 것

해석 중심 타당도는 학습자에게도 중요한 의미를 가진다. 학습자가 시험 점수를 자신의 전반적인 능력이나 가치로 동일시할 때, 해석의 문제는 개인의 정체성과 직결된다.

시험 점수가 특정 맥락에서 산출된 정보임을 이해하는 것은 학습자가 점수에 과도한 의미를 부여하지 않도록 돕는다. 해석 중심 타당도는 평가를 보다 인간적인 시각에서 바라보게 만든다.

왜 이 관점은 되돌릴 수 없는가

해석 중심 타당도 관점은 일시적인 유행이 아니다. 이 관점은 시험의 불완전성과 사회적 사용 현실을 동시에 인식한 결과다. 시험이 사회적 도구로 사용되는 한, 해석과 책임의 문제는 피할 수 없다.

구인 타당도는 시험이 무엇을 측정하는지에 대한 질문을 던졌고, 해석 중심 타당도는 그 측정 결과를 어떻게 사용해야 하는지에 대한 질문으로 논의를 확장했다. 이 흐름은 되돌릴 수 없는 변화다.

 

이 글에서 필자는 구인 타당도가 왜 필연적으로 해석 중심 타당도로 이어질 수밖에 없는지를 살펴보았다. 구인은 직접 관찰될 수 없으며, 시험 점수는 추론의 결과다. 이 추론은 해석을 통해 의미를 갖는다. 따라서 타당도는 시험이 아니라, 시험 결과를 근거로 한 해석과 사용의 정당성을 설명하는 개념으로 확장되었다. 다음 글에서는 이러한 해석 중심 타당도 관점이 평가의 책임 개념을 어떻게 변화시켰는지를 구체적으로 다룰 것이다.

 

 

이 글에서는 구인 타당도가 해석 중심 타당도로 확장되는 논리적 흐름을 살펴보았다. 다음 글에서는 해석 중심 타당도 관점이 평가 설계자와 사용자에게 어떤 책임을 요구하는지를 중심으로 논의를 이어간다.