27. 읽기 평가에서 문항 하나는 왜 능력 해석 전체를 바꿔 놓는가

이 글은 영어능력평가론 시리즈의 스물일곱 번째 글이다. 앞선 글에서는 읽기·쓰기 평가가 말하기 평가와 다른 성격의 한계를 가진다는 점을 살펴보았다. 이 글에서는 읽기 평가를 중심으로, 텍스트 선택과 문항 설계가 학습자의 읽기 능력을 어떻게 다르게 해석하게 만드는지를 구체적으로 분석한다. 다음 글에서는 읽기 전략과 문항 유형의 관계를 본격적으로 다룬다.

읽기 평가에서 문항의 능력 해석

 

영어 읽기 평가는 가장 객관적인 평가 영역처럼 보이지만, 실제로는 설계자의 선택이 가장 강하게 반영되는 평가이기도 하다. 동일한 학습자라도 어떤 텍스트를 읽고 어떤 질문에 답하느냐에 따라 전혀 다른 읽기 능력을 가진 것처럼 보일 수 있다. 이 현상은 읽기 평가의 불안정함 때문이 아니라, 읽기라는 능력이 텍스트와 문항의 상호작용 속에서만 드러나는 특성을 가지기 때문에 발생한다.

 

읽기 평가에서 가장 먼저 이루어지는 결정은 텍스트 선택이다. 텍스트는 단순한 자료가 아니라, 시험이 어떤 읽기 능력을 요구할 것인지를 미리 규정하는 장치다. 설명문, 논설문, 이야기문은 각각 다른 처리 과정을 요구하며, 동일한 길이와 난이도의 텍스트라도 담화 구조에 따라 읽기 부담은 달라진다. 이 때문에 읽기 평가에서 텍스트 선택은 내용 타당도의 핵심 요소가 된다.

 

텍스트의 주제 역시 읽기 능력 해석에 직접적인 영향을 미친다. 특정 분야의 배경 지식을 요구하는 텍스트는 읽기 능력과 배경 지식을 분리하기 어렵게 만든다. 이 경우 문항을 맞힌 결과는 읽기 능력이라기보다 사전 지식의 반영일 가능성이 커진다. 읽기 평가에서 텍스트는 능력을 드러내는 창이면서 동시에 능력을 가리는 필터가 될 수 있다.

 

문항 설계는 텍스트보다 더 직접적으로 능력 해석을 바꾼다. 동일한 텍스트라도 어떤 문항을 제시하느냐에 따라 전혀 다른 능력이 측정된다. 사실 확인 문항은 표면적 정보 처리 능력을 강조하고, 추론 문항은 텍스트 간 관계 파악과 의미 구성 능력을 강조한다. 비판적 사고를 요구하는 문항은 읽기 능력과 사고 능력의 경계를 흐린다. 이 차이는 점수 해석의 방향을 결정한다.

 

읽기 문항 하나는 학습자가 어떤 전략을 사용하도록 유도하는 역할도 한다. 특정 문항 유형에 익숙한 학습자는 실제 텍스트 이해보다 문항 해결 전략에 의존할 수 있다. 이때 읽기 평가는 읽기 능력보다 시험 전략 숙련도를 더 많이 반영하게 된다. 문항 설계는 학습자의 읽기 과정을 관찰하는 도구이기도 하지만, 동시에 읽기 과정을 왜곡할 위험도 가진다.

 

구인 타당도 관점에서 보면, 읽기 평가는 항상 복수의 구인이 개입된 평가다. 읽기 수행에는 어휘 지식, 문법 지식, 추론 능력, 기억 전략, 시험 전략이 동시에 작동한다. 문항 설계가 이 중 어떤 요소를 강조하느냐에 따라 시험이 실제로 측정하는 구인은 달라진다. 읽기 평가는 단일 능력을 순수하게 측정하는 평가가 아니다.

읽기 평가에서 문항의 능력 해석

 

해석 중심 타당도 관점에서 읽기 점수는 특히 신중하게 다뤄져야 한다. 특정 유형의 문항에 기반한 점수를 전반적인 읽기 능력 지표로 해석하는 것은 해석 범위를 넘어설 수 있다. 읽기 점수는 언제나 “어떤 텍스트와 어떤 문항 조건에서 산출되었는가”라는 질문과 함께 해석되어야 한다. 이 맥락이 제거된 점수 해석은 읽기 능력을 과장하거나 축소할 위험을 가진다.

 

공정성 측면에서도 문항 설계는 중요한 역할을 한다. 문항이 특정 전략이나 시험 경험에 지나치게 유리하게 설계될 경우, 읽기 능력과 무관한 요인이 결과에 영향을 미친다. 공정한 읽기 평가는 특정 유형의 문항이 반복적으로 등장하지 않도록 균형을 유지하며, 읽기 능력 외의 요소가 최소화되도록 설계된다.

 

형평성 문제 역시 문항 수준에서 발생한다. 동일한 텍스트라도 문항이 요구하는 사고 수준은 학습자에게 서로 다른 부담으로 작용할 수 있다. 특히 고차 사고를 요구하는 문항은 교육 경험의 차이를 크게 반영한다. 형평성을 고려한 읽기 평가는 문항 난이도의 분포뿐 아니라, 요구되는 인지 과정의 다양성까지 함께 고려한다.

 

읽기 평가의 또 다른 특징은 과정이 보이지 않는다는 점이다. 말하기나 쓰기 평가와 달리, 읽기 평가는 학습자의 사고 과정을 직접 관찰할 수 없다. 평가자는 오직 응답 결과를 통해 읽기 과정을 추론할 뿐이다. 이 때문에 문항 설계는 읽기 과정을 간접적으로 드러내는 유일한 창이 된다. 문항이 부적절할 경우, 평가자는 잘못된 추론을 하게 된다.

 

평가 설계자에게 이 사실은 중요한 책임을 부여한다. 읽기 문항 하나하나는 단순한 질문이 아니라, 능력 해석을 유도하는 장치다. 문항 하나의 선택이 평가 결과 전체의 성격을 바꿀 수 있다는 점을 인식하지 못한 설계는 읽기 평가를 피상적인 시험으로 만든다. 반대로 이 책임을 인식한 설계는 읽기 평가를 정교한 진단 도구로 발전시킨다.

 

학습자 관점에서도 이 차이는 중요하다. 읽기 점수는 학습자의 읽기 능력 전부를 보여주는 것이 아니라, 특정 조건에서의 수행을 보여주는 정보다. 문항 유형에 따라 점수가 달라질 수 있다는 사실을 이해할 때, 학습자는 점수를 절대적인 기준이 아니라 학습 방향을 안내하는 자료로 활용할 수 있다.

 

결국 읽기 평가에서 문항 하나는 단순한 문제 이상이다. 그 문항은 어떤 읽기 능력을 중요하게 볼 것인지에 대한 선언이며, 어떤 해석을 허용할 것인지에 대한 경계선이다. 읽기 평가는 문항을 통해 능력을 측정하는 것이 아니라, 문항을 통해 능력을 정의한다는 점에서 매우 강한 설계적 성격을 가진 평가다.

 

이 글에서는 읽기 평가에서 텍스트와 문항 설계가 능력 해석을 어떻게 바꾸는지를 살펴보았다. 다음 글에서는 읽기 전략과 문항 유형의 관계를 중심으로, 학습자가 실제로 어떤 방식으로 읽기 평가에 대응하는지를 구체적으로 분석한다.