7. 왜 타당도는 영어능력평가에서 가장 중요한 기준인가

이 글은 영어능력평가론 시리즈의 일곱 번째 글이다. 앞선 글에서는 평가가 학습을 지원하기 위해 갖춰야 할 설계 원칙을 살펴보았다. 이 글에서는 그 원칙이 시험 품질의 핵심 기준인 타당도와 어떻게 연결되는지를 중심으로 설명한다. 다음 글에서는 타당도를 바라보는 관점이 어떻게 변화해 왔는지를 다룬다.

 

영어능력평가를 논의할 때 가장 자주 등장하는 개념 중 하나가 타당도다. 많은 사람은 타당도를 시험이 정확한지를 판단하는 기술적 기준 정도로 이해한다. 그러나 평가 전문가의 관점에서 타당도는 단순한 정확성의 문제가 아니다. 타당도는 시험이 무엇을 측정하고 있는지, 그 결과가 어떤 판단에 사용될 수 있는지를 종합적으로 설명하는 개념이다. 이 글에서 필자는 왜 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는지, 그리고 타당도가 학습을 지원하는 평가 설계와 어떤 관계를 맺는지를 단계적으로 설명하고자 한다.

타당도는 시험의 목적을 묻는 질문이다

타당도에 대한 가장 단순한 설명은 시험이 측정하려는 것을 제대로 측정하는 정도다. 그러나 이 설명만으로는 타당도의 중요성을 충분히 이해하기 어렵다. 타당도는 시험 결과가 어떤 해석과 사용을 정당화할 수 있는지를 묻는 개념이다.

즉 타당도는 시험 문제의 적절성만을 따지지 않는다. 타당도는 시험 점수를 근거로 내리는 판단이 합리적인지를 함께 묻는다. 시험 결과가 학습자의 능력을 판단하는 데 사용된다면, 그 판단은 어떤 근거 위에 서 있는지 검토되어야 한다. 이 점에서 타당도는 시험의 목적과 직접적으로 연결된다.

타당도는 영어능력평가에서 가장 중요한 기준

학습을 지원하는 평가와 타당도의 관계

앞선 글에서 강조했듯이 학습을 지원하는 평가는 학습 목표와 평가 목표가 일치할 때 가능하다. 이 일치는 타당도의 핵심 조건이다. 시험이 학습자가 실제로 개발해야 할 능력을 측정하지 못한다면, 그 시험은 학습을 지원할 수 없다.

예를 들어 의사소통 능력을 기르기 위한 교육과정에서 문법 지식만을 측정하는 시험이 사용된다면, 학습자는 시험 대비를 위해 학습 방향을 바꿀 수밖에 없다. 이 경우 시험은 학습을 왜곡하며, 타당도 역시 낮아진다. 학습을 지원하는 평가는 타당한 평가일 때만 가능하다.

타당도는 단일 속성이 아니다

많은 학습자는 타당도를 하나의 고정된 속성으로 생각한다. 시험은 타당하거나 타당하지 않다고 구분된다고 여긴다. 그러나 평가 이론에서 타당도는 단일한 성질이 아니다. 타당도는 다양한 근거를 통해 점진적으로 확보되는 특성이다.

시험 내용이 측정하려는 능력을 잘 대표하는지, 시험 수행이 실제 언어 사용과 관련이 있는지, 점수 해석이 합리적인지와 같은 질문은 모두 타당도 논의의 일부다. 이 질문에 대한 답이 충분히 제시될수록 시험의 타당도는 강화된다.

점수 해석이 타당도의 핵심이다

타당도 논의에서 가장 중요한 요소 중 하나는 점수 해석이다. 시험 점수는 그 자체로 의미를 갖지 않는다. 점수는 특정한 해석을 통해 의미를 얻는다. 따라서 타당도는 점수 해석의 정당성을 검토하는 과정이라고 볼 수 있다.

시험 점수가 학습자의 전반적인 영어 능력을 나타낸다고 해석된다면, 그 해석을 뒷받침할 근거가 필요하다. 이 근거가 부족하다면, 점수 해석은 타당하지 않다. 이처럼 타당도는 시험 결과 사용의 책임성과 직결된다.

타당도와 시험 결과 오용 문제

앞선 글에서 다룬 시험 결과 해석의 혼란은 타당도 문제와 깊이 연결되어 있다. 시험이 본래 의도하지 않은 용도로 사용될 때, 타당도는 쉽게 훼손된다. 시험 점수는 설계된 해석 범위를 벗어나 사용되면서 과도한 의미를 부여받는다.

이러한 오용은 시험 자체의 문제가 아니라, 타당도에 대한 이해 부족에서 비롯된다. 타당한 평가는 시험 결과의 사용 범위를 명확히 제시한다. 타당도는 시험 결과가 어디까지 사용될 수 있는지를 제한하는 역할도 수행한다.

타당도는 영어능력평가에서 가장 중요한 기준

타당도는 윤리적 개념이기도 하다

타당도는 기술적 기준을 넘어 윤리적 의미를 가진다. 시험 결과는 개인의 교육 기회와 사회적 이동에 영향을 미친다. 따라서 타당하지 않은 해석과 사용은 개인에게 부당한 결과를 초래할 수 있다.

이 점에서 타당도는 공정성과 책임의 문제와 연결된다. 시험 설계자와 사용자는 시험 결과가 어떤 영향을 미치는지 고려해야 할 윤리적 책임을 가진다. 타당도는 시험이 사회적 도구로 기능할 때 반드시 확보되어야 할 최소한의 기준이다.

왜 타당도는 다른 기준보다 우선하는가

신뢰도, 실용성, 효율성과 같은 기준도 시험 품질에서 중요하다. 그러나 이 기준들은 타당도가 확보된 이후에 의미를 가진다. 아무리 신뢰도가 높고 효율적인 시험이라도, 측정 대상과 해석이 적절하지 않다면 그 시험은 교육적으로 가치가 없다.

타당도는 다른 모든 품질 기준을 통합하는 개념이다. 시험이 무엇을 측정하고, 그 결과가 어떻게 사용되는지를 설명할 수 있을 때, 다른 기준들은 비로소 평가의 질을 높이는 역할을 한다.

평가 전문가에게 타당도가 중요한 이유

평가 전문가는 시험을 설계하고 분석하는 역할을 넘어, 시험 결과 사용을 안내하는 책임을 가진다. 이 역할의 중심에는 타당도 개념이 있다. 타당도를 이해하지 못하면 평가 전문가는 시험 결과의 의미를 설명할 수 없다.

타당도에 대한 이해는 평가를 기술이 아닌 판단의 영역으로 인식하게 만든다. 이 인식은 영어능력평가를 보다 책임 있고 신중하게 다루도록 만든다.

 

이 글에서 필자는 왜 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는지를 살펴보았다. 타당도는 시험이 무엇을 측정하는지, 시험 결과가 어떤 판단에 사용될 수 있는지를 설명하는 핵심 개념이다. 학습을 지원하는 평가는 타당한 평가일 때만 가능하며, 시험 결과 오용 문제 역시 타당도와 깊이 연결되어 있다. 영어능력평가가 교육과 사회에서 책임 있게 사용되기 위해서는 타당도에 대한 이해가 반드시 필요하다. 다음 글에서는 타당도를 바라보는 관점이 어떻게 변화해 왔는지를 역사적 흐름 속에서 살펴볼 것이다.

 

이 글에서는 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는 이유를 살펴보았다. 다음 글에서는 타당도를 이해하는 관점이 전통적 개념에서 최근의 해석 중심 관점으로 어떻게 변화해 왔는지를 자세히 다룬다.