본문 바로가기

영어능력평가론/신뢰도 Reliability

(3)
영어 말하기 평가의 신뢰도는 실제로 어떻게 높일 수 있는가 — 영어능력평가론 시리즈 ㉔이 글은 영어능력평가론 시리즈의 스물네 번째 글이다. 앞선 글 「영어 말하기 평가에서 채점과 신뢰도는 왜 핵심 문제가 되는가」에서는 말하기 평가에서 채점과 신뢰도가 왜 중요한 문제로 다뤄지는지를 살펴보았다. 이 글에서는 말하기 평가의 신뢰도를 이론적으로 논의하는 데서 나아가, 실제 평가 현장에서 신뢰도를 높이기 위해 사용되는 구체적인 설계 전략과 운영 방식을 중심으로 설명한다. 다음 글에서는 이러한 전략에도 불구하고 남는 한계와 그 의미를 다룬다.영어 말하기 평가의 신뢰도를 높이는 문제는 단순히 통계 수치를 개선하는 문제가 아니다. 말하기 평가는 인간 판단을 전제로 하는 평가이기 때문에 신뢰도 확보는 판단을 제거하는 방향이 아니라 판단을 구조화하고 관리하는 방향으로 접근해야 한..
영어 말하기 평가에서 채점과 신뢰도는 왜 핵심 문제가 되는가 — 영어능력평가론 시리즈 ㉓이 글은 영어능력평가론 시리즈의 스물세 번째 글이다. 앞선 글 「영어 말하기 평가는 왜 듣기 평가와 전혀 다른 논리를 요구하는가」에서는 영어 말하기 평가가 듣기 평가와 전혀 다른 설계 논리를 요구하는 이유를 살펴보았다. 이 글에서는 영어 말하기 평가의 품질을 좌우하는 핵심 요소인 채점과 신뢰도가 왜 중요한 문제로 다뤄지는지, 그리고 이 두 요소가 평가 해석과 어떻게 연결되는지를 중심으로 논의를 전개한다. 다음 글에서는 신뢰도를 높이기 위해 실제 평가 현장에서 사용되는 구체적인 전략을 다룬다.영어 말하기 평가는 언어 평가 영역 중에서 가장 직접적으로 인간의 판단에 의존하는 평가다. 응시자가 생성한 발화는 정답과 오답으로 단순하게 구분되기 어렵고, 그 질적 특성은 연속선상에 존재한..
영어능력평가에서 타당도와 공정성 원칙은 실제로 어떻게 적용되는가 — 영어능력평가론 시리즈 ⑳영어능력평가는 지금 이 순간에도 수많은 교육적 판단의 근거로 사용되고 있다. 학교 내 성취도 평가부터 대규모 능숙도 시험까지, 영어시험은 학습자의 능력을 설명하고 분류하는 핵심 도구로 기능한다. 앞선 글들에서 살펴본 타당도, 공정성, 형평성 논의는 이론적으로는 설득력이 있지만, 실제 평가 현장에서 어떻게 구현되는지에 따라 그 의미가 달라진다. 이 글에서는 지금까지 논의한 핵심 원칙들이 실제 영어능력평가 설계와 운영에서 어떤 방식으로 적용되는지를 구체적으로 살펴본다.측정 대상의 명확화영어능력평가에서 가장 먼저 적용되는 원칙은 측정 대상의 명확화다. 실제 시험 설계 과정에서 평가자는 ‘영어 능력’이라는 포괄적 개념을 그대로 사용할 수 없다. 듣기, 읽기, 말하기, 쓰기 중 무엇을 ..