12. 내용 타당도를 훼손하는 가장 흔한 오류들

이 글은 영어능력평가론 시리즈의 열두 번째 글이다. 앞선 글에서는 내용 타당도를 어떻게 검토하고 판단해야 하는지를 살펴보았다. 이 글에서는 실제 평가 현장에서 내용 타당도를 훼손하는 대표적인 오류들이 무엇인지, 그리고 왜 이러한 오류가 반복되는지를 중심으로 설명한다. 다음 글에서는 내용 타당도를 넘어 구인 타당도로 논의를 확장한다.

 

많은 시험은 형식적으로는 잘 만들어진 것처럼 보인다. 문항 수는 충분하고, 난이도도 적절해 보이며, 외형적으로는 완성도가 높다. 그러나 이러한 시험이 항상 타당한 것은 아니다. 특히 내용 타당도는 시험의 외형만으로 판단하기 어렵기 때문에, 설계 과정에서의 작은 오류가 전체 평가의 신뢰를 무너뜨릴 수 있다. 이 글에서 필자는 실제 평가 현장에서 반복적으로 나타나는 내용 타당도 훼손 사례를 구조적으로 분석하고, 이러한 오류가 왜 발생하는지를 설명하고자 한다.

 

측정 대상 정의가 모호한 상태에서의 문항 제작

내용 타당도를 훼손하는 가장 근본적인 오류는 측정 대상이 명확히 정의되지 않은 상태에서 문항이 제작되는 경우다. 시험 설계자가 측정하려는 능력을 구체적으로 설명하지 못할 때, 문항은 설계자의 직관이나 경험에 의존하게 된다.

이 경우 문항은 일관된 방향성을 잃고, 시험 전체는 여러 능력을 혼합적으로 측정하는 도구가 된다. 측정 대상 정의의 부재는 이후 어떤 검토 절차로도 완전히 보완하기 어렵다. 이 오류는 내용 타당도 훼손의 출발점이 된다.

내용 타당도를 훼손하는 가장 흔한 오류

시험 범위 확대가 곧 타당성이라는 오해

많은 설계자는 시험 범위를 넓히면 내용 타당도가 높아질 것이라고 생각한다. 이 오해는 시험에 가능한 많은 내용을 포함시키는 방향으로 이어진다. 그러나 범위 확대는 대표성 확보와 동일하지 않다.

시험이 핵심 요소보다 주변적인 내용을 더 많이 포함할 경우, 시험은 측정 대상의 본질을 흐리게 된다. 내용 타당도는 포괄성이 아니라 선택과 비중의 문제다. 이 점을 간과한 시험은 겉보기에는 풍부하지만, 실제로는 왜곡된 평가를 제공한다.

중요하지 않은 내용의 과도한 강조

내용 타당도를 훼손하는 또 다른 흔한 오류는 중요하지 않은 요소가 과도하게 강조되는 경우다. 이 오류는 문항 제작자의 선호나 편의에 의해 발생하는 경우가 많다.

예를 들어 제작자가 특정 유형의 문항을 만들기 쉽다는 이유로 해당 유형이 시험에서 과도하게 반복될 수 있다. 이때 시험은 측정 대상의 중요도를 반영하지 못하고, 제작자의 습관을 반영하는 도구로 변질된다. 이러한 편중은 내용 타당도를 심각하게 훼손한다.

교육과정과 시험 내용의 형식적 연결

성취도 시험에서 자주 발생하는 오류는 교육과정과 시험 내용을 형식적으로만 연결하는 경우다. 교과서의 목차를 기준으로 문항을 배분했다고 해서 내용 타당도가 자동으로 확보되는 것은 아니다.

중요한 것은 교육과정의 목표가 시험 문항에서 어떻게 구현되었는지다. 학습 목표가 수행 중심으로 설정되어 있음에도 불구하고, 시험이 단순 지식 재생을 요구한다면 내용 타당도는 낮아질 수밖에 없다. 형식적 일치는 실질적 타당도를 보장하지 않는다.

전문가 검토의 형식화

전문가 검토는 내용 타당도 확보의 핵심 절차다. 그러나 이 절차가 형식적으로 이루어질 경우, 오히려 타당도 훼손을 정당화하는 도구가 될 수 있다.

전문가에게 충분한 검토 기준이 제공되지 않거나, 의견 수렴 과정이 생략될 경우, 검토는 단순 확인 절차로 전락한다. 이때 전문가 판단은 실제 검토가 아니라 승인 도장 역할을 하게 된다. 이러한 형식화는 내용 타당도를 실질적으로 확보하지 못한다.

내용 타당도를 훼손하는 가장 흔한 오류

학습자 반응을 무시한 설계

내용 타당도는 시험 설계자의 의도만으로 확보되지 않는다. 학습자가 문항을 어떻게 해석하고 수행하는지는 내용 적합성을 판단하는 중요한 근거다. 그럼에도 불구하고 많은 시험은 학습자 반응을 거의 고려하지 않는다.

학습자가 문항 의도를 오해하거나, 시험과 무관한 전략으로 문제를 해결한다면 내용 타당도에 문제가 있을 가능성이 높다. 학습자 반응을 무시한 설계는 시험의 실제 작동 방식을 간과하는 오류다.

난이도 조절과 내용 타당도의 혼동

실제 현장에서 자주 나타나는 오류 중 하나는 난이도 조절을 내용 타당도 확보로 오해하는 것이다. 시험이 어렵거나 변별력이 높다는 이유로 타당하다고 판단하는 경우가 이에 해당한다.

그러나 난이도와 내용 적합성은 별개의 문제다. 시험이 측정 대상과 무관한 요소로 어렵게 구성되었다면, 난이도가 높더라도 내용 타당도는 낮다. 이 혼동은 시험의 질을 잘못 판단하게 만드는 대표적인 오류다.

시험 사용 맥락을 고려하지 않은 내용 구성

내용 타당도는 시험이 사용되는 맥락과도 깊이 연결된다. 동일한 시험 내용이라도 사용 목적이 달라지면 타당도 판단은 달라질 수 있다. 그러나 많은 시험은 사용 맥락을 충분히 고려하지 않은 채 설계된다.

이 경우 시험 내용은 특정 목적에는 적합하지만, 다른 목적에는 부적절할 수 있다. 사용 맥락을 고려하지 않은 내용 구성은 시험 결과 오용의 출발점이 된다.

왜 이러한 오류는 반복되는가

이러한 내용 타당도 훼손 오류가 반복되는 이유는 명확하다. 내용 타당도는 수치로 쉽게 증명되지 않기 때문이다. 통계 지표로 즉각적인 결과를 보여주기 어렵기 때문에, 설계 과정에서 우선순위가 밀리기 쉽다.

또한 시험 제작 일정과 행정적 압박은 내용 타당도 검토를 축소시키는 요인으로 작용한다. 그러나 이 과정에서 발생한 오류는 시험 사용 단계에서 더 큰 문제로 돌아온다.

오류 인식이 타당도의 출발점이다

내용 타당도를 완벽하게 확보하는 것은 쉽지 않다. 그러나 반복되는 오류를 인식하고 피하려는 노력은 평가의 질을 크게 향상시킨다. 오류를 인식하는 순간, 시험 설계자는 자신의 가정을 점검하게 된다.

이러한 점검 과정이 바로 내용 타당도를 실질적으로 강화하는 출발점이다. 타당도는 선언이 아니라 성찰의 결과다.

 

이 글에서 필자는 내용 타당도를 훼손하는 가장 흔한 오류들을 구조적으로 살펴보았다. 측정 대상 정의의 부재, 대표성 오해, 형식적 검토, 학습자 반응 무시는 모두 시험의 타당도를 약화시키는 요인이다. 내용 타당도는 시험 설계의 가장 기본적인 기준이며, 동시에 가장 쉽게 간과되는 요소다. 다음 글에서는 내용 타당도를 넘어, 시험이 측정하려는 추상적 능력 개념과 연결되는 구인 타당도를 본격적으로 살펴볼 것이다.

 

 

이 글에서는 내용 타당도를 훼손하는 대표적인 오류들을 살펴보았다. 다음 글에서는 시험이 측정하려는 추상적 능력 개념을 어떻게 설정하고 검증하는지를 다루는 구인 타당도 개념으로 논의를 확장한다.