19. 구조적 한계를 인식한 이후 평가 설계는 어떤 방향으로 나아가야 하는가

 이 글은 영어능력평가론 시리즈의 열아홉 번째 글이다. 앞선 글에서는 시험 공정성이 왜 구조적으로 흔들릴 수밖에 없는지를 제도적 관점에서 분석했다. 이 글에서는 그러한 한계를 전제로 할 때, 평가 설계가 어떤 방향으로 진화해야 하는지를 현실적인 관점에서 살펴본다. 다음 글에서는 이러한 설계 방향이 실제 영어능력평가 사례에 어떻게 적용될 수 있는지를 다룬다.

앞선 글에서 살펴본 것처럼 시험의 공정성은 개인의 선의나 윤리 의식만으로 지켜지지 않는다. 시험은 제도, 조직, 사회적 요구 속에서 작동하며, 이 구조는 공정성을 끊임없이 압박한다. 이 사실을 인식하는 순간 평가 논의는 이상적인 원칙 제시에서 현실적인 설계 선택의 문제로 이동한다. 이 글에서 필자는 완전한 공정성이 어렵다는 전제를 받아들인 이후, 평가 설계가 어떤 방향으로 나아가야 하는지를 단계적으로 설명하고자 한다. 이 논의는 공정성을 포기하기 위한 것이 아니라, 공정성을 지속적으로 관리하기 위한 현실적 접근이다.

완전한 통제에서 관리로의 전환
전통적인 평가 설계는 가능한 한 모든 변인을 통제하려는 방향으로 발전해 왔다. 동일한 문항, 동일한 시간, 동일한 절차는 이러한 통제 사고의 산물이다. 그러나 구조적 한계를 인식한 이후 평가 설계는 통제의 환상에서 벗어나 관리의 관점으로 이동해야 한다. 시험은 완벽하게 통제될 수 없다는 사실을 인정하고, 발생 가능한 변이를 어떻게 관리하고 설명할 것인지가 핵심 과제가 된다. 관리 중심 설계는 공정성을 절대적 상태가 아닌 지속적 조정 과정으로 이해한다.

영어능력평가론의 구조적 한계

단일 시험 의존 구조의 완화
구조적 불공정성이 증폭되는 가장 큰 이유 중 하나는 단일 시험 결과에 대한 과도한 의존이다. 하나의 시험 점수가 너무 많은 결정을 떠맡을 때, 시험은 본래의 측정 범위를 넘어서는 역할을 요구받는다. 평가 설계의 중요한 방향 중 하나는 단일 시험 의존 구조를 완화하는 것이다. 여러 정보원을 결합하거나, 시험 결과의 활용 범위를 명확히 제한하는 설계는 공정성 부담을 분산시킨다. 시험은 결정의 유일한 근거가 아니라, 판단을 돕는 하나의 자료로 위치해야 한다.

해석 범위를 설계 단계에서 명시하기
해석 중심 타당도 관점에서 볼 때, 시험 설계자는 시험이 무엇을 말할 수 있고 무엇을 말할 수 없는지를 사전에 명시해야 한다. 구조적 한계를 인식한 설계는 점수 해석의 범위를 의도적으로 제한한다. 시험 결과가 특정 능력의 일부를 반영한다는 점을 분명히 하고, 그 이상으로 일반화되지 않도록 안내하는 것은 공정성 관리의 핵심이다. 이 접근은 시험의 권위를 약화시키는 것이 아니라, 시험 결과 사용의 책임성을 강화한다.

설계 단계에서의 형평성 사전 고려
구조적 한계를 완화하기 위한 또 다른 방향은 형평성을 사후 보완이 아닌 사전 설계 요소로 포함하는 것이다. 시험이 실시된 이후 형평성 문제를 수정하려는 접근은 한계가 크다. 반면 설계 단계에서부터 다양한 응시자의 조건을 고려하면, 불필요한 부담을 줄일 수 있다. 이는 시험 난이도를 낮추는 문제가 아니라, 시험이 측정하려는 능력 외의 요인을 최소화하는 문제다. 형평성은 공정성을 약화시키는 요소가 아니라, 공정성을 현실에서 유지하기 위한 조건이다.

전문가 판단이 개입되는 지점의 명확화
구조적 한계를 인식한 설계는 모든 판단을 규칙으로 자동화하려 하지 않는다. 오히려 어느 지점에서 전문가 판단이 개입되어야 하는지를 명확히 한다. 문항 검토, 해석 가이드 작성, 결과 사용 제한과 같은 영역은 전문가 판단이 필수적인 지점이다. 이 판단을 숨기지 않고 드러내는 것은 평가의 투명성을 높인다. 공정성은 판단을 제거함으로써 확보되는 것이 아니라, 판단의 근거를 공개함으로써 유지된다.

과정 중심 정보의 확대
단일 점수 중심 설계는 구조적 불공정성을 확대시키기 쉽다. 이에 대한 대안으로 평가 설계는 과정 중심 정보를 확대하는 방향으로 나아갈 수 있다. 학습자가 어떤 방식으로 수행했는지, 어떤 유형의 과제에서 강점이나 약점을 보였는지를 함께 제공하면 점수 해석의 폭은 자연스럽게 제한된다. 이 정보는 시험 결과를 보다 입체적으로 이해하게 만들며, 과도한 일반화를 방지한다.

영어능력평가론의 구조적 한계

운영 현실을 설계에 반영하기
현실적인 평가 설계는 이상적인 운영 환경을 전제로 하지 않는다. 시험 장소, 인력, 기술 환경의 차이는 불가피하다는 점을 인정하고, 이를 설계에 반영해야 한다. 예를 들어 운영 변이가 큰 요소를 핵심 평가 요소에서 분리하거나, 운영 안정성이 높은 방식으로 과제를 구성하는 접근이 가능하다. 이는 공정성을 운영 단계에서 해결하려는 부담을 줄여준다.

설명 책임을 설계 요소로 포함하기
구조적 한계를 인식한 평가 설계는 설명 책임을 부가적 요소가 아니라 설계의 일부로 포함한다. 시험 결과에 대한 질문이 제기될 것을 전제로 하고, 그 질문에 어떻게 답할 것인지까지 설계 단계에서 고려한다. 이 접근은 시험이 사회적 논쟁의 대상이 되었을 때 평가 기관이 방어적으로 대응하지 않도록 돕는다. 설명 책임은 공정성을 지키기 위한 사후 대응이 아니라 사전 설계 요소다.

공정성을 이상이 아닌 방향성으로 설정하기
현실적인 평가 설계에서 공정성은 달성해야 할 완성 상태가 아니라 지향해야 할 방향성이다. 모든 시험이 완벽하게 공정할 수는 없지만, 어떤 선택이 공정성을 강화하고 어떤 선택이 약화시키는지는 판단할 수 있다. 설계자는 이 방향성을 기준으로 선택을 반복한다. 이러한 반복적 선택이 누적될 때, 평가는 구조적 한계 속에서도 신뢰를 유지할 수 있다.

평가 문화의 전환 필요성
구조적 한계를 완화하기 위한 설계 방향은 시험 하나의 문제가 아니라 평가 문화 전반의 문제와 연결된다. 점수를 절대적 기준으로 요구하는 사회적 기대가 유지되는 한, 시험은 과도한 부담을 떠안을 수밖에 없다. 평가 설계의 변화는 점수 사용에 대한 사회적 인식 변화와 함께 이루어질 때 가장 효과적이다. 설계는 문화 변화를 촉진하는 하나의 장치가 될 수 있다.

이 글에서 필자는 시험 공정성의 구조적 한계를 인식한 이후 평가 설계가 나아가야 할 현실적인 방향을 살펴보았다. 통제에서 관리로의 전환, 단일 시험 의존 완화, 해석 범위 명시, 형평성의 사전 고려는 모두 공정성을 포기하지 않기 위한 선택이다. 완전한 공정성은 도달 지점이 아니라 관리의 과정이다. 다음 글에서는 이러한 설계 방향이 실제 영어능력평가 사례에서 어떻게 구현될 수 있는지를 구체적으로 살펴볼 것이다.

이 글에서는 구조적 한계를 전제로 한 평가 설계의 현실적 방향을 살펴보았다. 다음 글에서는 이러한 방향이 실제 영어능력평가 사례에 어떻게 적용되는지를 중심으로 논의를 이어간다.