21. 영어 듣기 평가는 무엇을 측정하고 있다고 말할 수 있는가

이 글은 영어능력평가론 시리즈의 스물한 번째 글이다. 앞선 글에서는 타당도와 공정성 원칙이 실제 영어능력평가 전반에 어떻게 적용되는지를 살펴보았다. 이 글에서는 그 원칙들을 영어 듣기 평가라는 단일 영역에 구체적으로 적용하여, 듣기 평가가 무엇을 측정하고 있다고 말할 수 있는지를 집중적으로 다룬다. 다음 글에서는 영어 말하기 평가로 논의를 확장한다.

 

영어능력평가에서 듣기 평가는 가장 먼저 도입된 영역 중 하나이지만, 동시에 가장 오해가 많은 평가 영역이기도 하다. 많은 학습자는 듣기 점수를 영어 실력 전반의 지표로 받아들이고, 교육 현장 역시 듣기 점수를 비교적 직관적인 능력 지표로 활용해 왔다. 그러나 앞선 글들에서 반복적으로 확인했듯이, 어떤 평가든 그것이 무엇을 측정하고 있으며 어디까지 해석될 수 있는지를 분명히 하지 않으면 평가 결과는 쉽게 왜곡된다. 영어 듣기 평가 역시 예외가 아니다.

영어 듣기 평가의 측정

 

영어 듣기 평가를 설계할 때 가장 먼저 이루어져야 하는 판단은 ‘듣기 능력’이 무엇을 의미하는지에 대한 정의다. 듣기 능력은 단순히 소리를 알아듣는 능력이 아니다. 실제 평가 현장에서는 음성 인식, 어휘 이해, 문법 처리, 추론, 담화 이해 등 다양한 하위 요소가 동시에 작동한다. 이 중 어떤 요소를 중심에 둘 것인지에 따라 듣기 평가는 전혀 다른 성격을 갖게 된다. 이 정의가 모호한 상태에서 제작된 듣기 평가는 점수는 제공하지만, 의미 있는 설명은 제공하지 못한다.

 

내용 타당도 관점에서 볼 때 영어 듣기 평가는 입력 자료의 성격에서 가장 큰 영향을 받는다. 음성의 속도, 발음, 억양, 화자의 수, 담화 유형은 모두 시험이 무엇을 측정하는지를 규정한다. 예를 들어 매우 빠른 속도의 음성을 반복적으로 사용하는 평가는 듣기 전략이나 추론 능력보다 처리 속도에 민감한 평가가 될 가능성이 크다. 이 경우 시험은 ‘듣기 능력’을 측정한다고 주장하지만, 실제로는 제한된 하위 능력을 강조하게 된다.

 

구인 타당도 문제는 영어 듣기 평가에서 특히 두드러진다. 듣기 문항을 해결하는 과정에서 학습자는 실제로 무엇을 사용하고 있는가라는 질문은 단순하지 않다. 일부 학습자는 핵심 단어 인식에 의존하고, 일부 학습자는 맥락 추론에 의존하며, 또 다른 학습자는 선택지 비교 전략에 크게 의존한다. 이처럼 동일한 점수가 서로 다른 수행 전략의 결과일 수 있다면, 점수가 반영하는 구인은 단일하지 않다. 영어 듣기 평가에서 구인 타당도는 항상 해석 문제로 이어진다.

 

해석 중심 타당도 관점에서 영어 듣기 점수는 특히 주의가 필요하다. 듣기 점수를 전반적인 의사소통 능력이나 실제 상황 이해 능력으로 해석하려면, 그 해석을 뒷받침할 근거가 충분해야 한다. 그러나 대부분의 듣기 평가는 제한된 맥락, 제한된 과제 유형, 제한된 반응 형식을 사용한다. 이 점을 고려하지 않은 해석은 시험 결과를 과도하게 일반화하는 결과로 이어진다.

영어 듣기 평가의 측정

 

공정성 측면에서 영어 듣기 평가는 구조적으로 취약한 영역이다. 듣기 평가는 시각적 지원이 제한적이며, 순간적으로 제시되는 정보를 처리해야 한다. 이 특성 때문에 시험 환경의 작은 차이도 수행에 큰 영향을 미칠 수 있다. 음향 상태, 장비 품질, 시험실 환경은 듣기 수행에 직접적인 영향을 준다. 실제 평가 현장에서는 이러한 변이를 완전히 제거하기 어렵기 때문에, 공정성은 통제가 아닌 관리의 문제로 다루어진다.

 

형평성 관점에서 영어 듣기 평가는 더욱 복합적인 문제를 안고 있다. 동일한 음성 자료가 모든 응시자에게 동일한 부담을 주지 않기 때문이다. 발음 유형, 억양, 문화적 맥락에 대한 친숙도는 개인에 따라 크게 다르다. 형평성을 고려한 듣기 평가는 특정 발음이나 담화 유형이 불필요하게 중심이 되지 않도록 조정하며, 측정하려는 능력 외의 요인이 결과를 좌우하지 않도록 설계된다.

 

실제 영어 듣기 평가 설계에서는 이러한 원칙들이 완벽하게 구현되기 어렵다. 그러나 중요한 것은 완벽함이 아니라 방향성이다. 시험이 무엇을 측정하고 있으며, 점수가 무엇을 의미한다고 말할 수 있는지를 분명히 제시하려는 노력이 평가의 질을 결정한다. 듣기 평가는 영어능력평가에서 가장 직관적으로 보이는 영역이지만, 동시에 가장 해석에 신중해야 할 영역이다.

 

영어 듣기 평가를 책임 있게 사용하기 위해서는 점수 자체보다 점수의 조건을 함께 바라봐야 한다. 어떤 음성 자료를 사용했는지, 어떤 과제 유형이 중심이었는지, 어떤 전략이 유리했는지를 함께 고려할 때, 듣기 점수는 비로소 교육적 판단에 기여할 수 있다. 이 관점은 듣기 평가를 약화시키는 것이 아니라, 오히려 그 의미를 정확하게 만들어 준다.

 

영어 듣기 평가는 단순히 ‘잘 들었는가’를 묻는 시험이 아니다. 이 평가는 어떤 듣기 능력을, 어떤 조건에서, 어떤 방식으로 관찰했는지를 전제로 해석되어야 한다. 이러한 전제가 분명할수록 듣기 평가는 영어능력평가 안에서 보다 안정적인 역할을 수행할 수 있다.

 

이 글에서는 영어 듣기 평가에 타당도·공정성·형평성 원칙이 어떻게 적용되는지를 살펴보았다. 다음 글에서는 영어 말하기 평가를 중심으로, 수행 평가가 왜 듣기 평가와 다른 설계 논리를 요구하는지를 구체적으로 설명한다.