본문 바로가기

교육평가

(78)
읽기 전략과 문항 유형은 왜 서로 다른 능력을 드러내는가 — 영어능력평가론 시리즈 ㉘이 글은 영어능력평가론 시리즈의 스물여덟 번째 글이다. 앞선 글 「읽기 평가에서 문항 하나는 왜 능력 해석 전체를 바꿔 놓는가」에서는 읽기 평가에서 텍스트와 문항 설계가 능력 해석을 어떻게 바꾸는지를 살펴보았다. 이 글에서는 읽기 전략과 문항 유형의 관계를 중심으로, 학습자가 실제로 어떤 방식으로 읽기 평가에 대응하는지와 그 결과가 왜 서로 다르게 나타나는지를 분석한다. 다음 글에서는 이러한 차이가 읽기 평가의 공정성과 형평성 문제로 어떻게 연결되는지를 다룬다.영어 읽기 평가에서 자주 관찰되는 현상 중 하나는 평소 독해력이 뛰어나다고 평가받던 학습자가 시험에서는 기대만큼의 점수를 얻지 못하고, 반대로 실제 독서 능력은 제한적인데 시험 점수는 높은 학습자가 존재한다는 점이다. 이..
읽기·쓰기 평가는 말하기 평가와 어떤 다른 한계를 가지는가 — 영어능력평가론 시리즈 ㉖이 글은 영어능력평가론 시리즈의 스물여섯 번째 글이다. 앞선 글에서는 「영어 말하기 평가는 왜 완벽해질 수 없으며, 그 한계는 왜 의미가 있는가」를 통해 말하기 평가가 왜 구조적으로 완벽해질 수 없는지와 그 한계를 어떻게 이해해야 하는지를 살펴보았다. 이 글에서는 그 논의를 읽기와 쓰기 평가로 확장하여, 수행 중심 읽기·쓰기 평가가 말하기 평가와 어떤 다른 성격의 한계를 가지는지를 비교·분석한다. 다음 글에서는 읽기 평가를 중심으로 보다 구체적인 설계 논의를 다룬다.영어능력평가에서 읽기와 쓰기 평가는 종종 말하기 평가보다 안정적이고 객관적인 영역으로 인식된다. 특히 읽기 평가는 정답이 존재하는 문항을 통해 측정될 수 있고, 쓰기 평가는 결과물이 눈에 보이는 형태로 남기 때문에 ..
읽기 평가에서 문항 하나는 왜 능력 해석 전체를 바꿔 놓는가 — 영어능력평가론 시리즈 ㉗이 글은 영어능력평가론 시리즈의 스물일곱 번째 글이다. 앞선 글에서는 읽기·쓰기 평가가 말하기 평가와 다른 성격의 한계를 가진다는 점을 살펴보았다. 이 글에서는 읽기 평가를 중심으로 텍스트 선택과 문항 설계가 학습자의 읽기 능력을 어떻게 다르게 해석하게 만드는지를 구체적으로 분석한다. 다음 글에서는 읽기 전략과 문항 유형의 관계를 본격적으로 다룬다.영어 읽기 평가는 가장 객관적인 평가 영역처럼 보이지만 실제로는 설계자의 선택이 가장 강하게 반영되는 평가이기도 하다. 동일한 학습자라도 어떤 텍스트를 읽고 어떤 질문에 답하느냐에 따라 전혀 다른 읽기 능력을 가진 것처럼 보일 수 있다. 이 현상은 읽기 평가의 불안정함 때문이 아니라 읽기라는 능력이 텍스트와 문항의 상호작용 속에서만 ..
영어 말하기 평가의 신뢰도는 실제로 어떻게 높일 수 있는가 — 영어능력평가론 시리즈 ㉔이 글은 영어능력평가론 시리즈의 스물네 번째 글이다. 앞선 글 「영어 말하기 평가에서 채점과 신뢰도는 왜 핵심 문제가 되는가」에서는 말하기 평가에서 채점과 신뢰도가 왜 중요한 문제로 다뤄지는지를 살펴보았다. 이 글에서는 말하기 평가의 신뢰도를 이론적으로 논의하는 데서 나아가, 실제 평가 현장에서 신뢰도를 높이기 위해 사용되는 구체적인 설계 전략과 운영 방식을 중심으로 설명한다. 다음 글에서는 이러한 전략에도 불구하고 남는 한계와 그 의미를 다룬다.영어 말하기 평가의 신뢰도를 높이는 문제는 단순히 통계 수치를 개선하는 문제가 아니다. 말하기 평가는 인간 판단을 전제로 하는 평가이기 때문에 신뢰도 확보는 판단을 제거하는 방향이 아니라 판단을 구조화하고 관리하는 방향으로 접근해야 한..
영어 말하기 평가에서 채점과 신뢰도는 왜 핵심 문제가 되는가 — 영어능력평가론 시리즈 ㉓이 글은 영어능력평가론 시리즈의 스물세 번째 글이다. 앞선 글 「영어 말하기 평가는 왜 듣기 평가와 전혀 다른 논리를 요구하는가」에서는 영어 말하기 평가가 듣기 평가와 전혀 다른 설계 논리를 요구하는 이유를 살펴보았다. 이 글에서는 영어 말하기 평가의 품질을 좌우하는 핵심 요소인 채점과 신뢰도가 왜 중요한 문제로 다뤄지는지, 그리고 이 두 요소가 평가 해석과 어떻게 연결되는지를 중심으로 논의를 전개한다. 다음 글에서는 신뢰도를 높이기 위해 실제 평가 현장에서 사용되는 구체적인 전략을 다룬다.영어 말하기 평가는 언어 평가 영역 중에서 가장 직접적으로 인간의 판단에 의존하는 평가다. 응시자가 생성한 발화는 정답과 오답으로 단순하게 구분되기 어렵고, 그 질적 특성은 연속선상에 존재한..
영어 듣기 평가는 무엇을 측정하고 있다고 말할 수 있는가 — 영어능력평가론 시리즈 ㉑이 글은 영어능력평가론 시리즈의 스물한 번째 글이다. 앞선 글 「영어능력평가에서 타당도와 공정성 원칙은 실제로 어떻게 적용되는가」에서는 타당도와 공정성 원칙이 실제 영어능력평가 전반에 어떻게 적용되는지를 살펴보았다. 이 글에서는 그 원칙들을 영어 듣기 평가라는 단일 영역에 구체적으로 적용하여, 듣기 평가가 무엇을 측정하고 있다고 말할 수 있는지를 집중적으로 다룬다. 다음 글에서는 영어 말하기 평가로 논의를 확장한다.영어능력평가에서 듣기 평가는 가장 먼저 도입된 영역 중 하나이지만 동시에 가장 오해가 많은 평가 영역이기도 하다. 많은 학습자는 듣기 점수를 영어 실력 전반의 지표로 받아들이고 교육 현장 역시 듣기 점수를 비교적 직관적인 능력 지표로 활용해 왔다. 그러나 앞선 글들에..
영어능력평가에서 타당도와 공정성 원칙은 실제로 어떻게 적용되는가 — 영어능력평가론 시리즈 ⑳영어능력평가는 지금 이 순간에도 수많은 교육적 판단의 근거로 사용되고 있다. 학교 내 성취도 평가부터 대규모 능숙도 시험까지, 영어시험은 학습자의 능력을 설명하고 분류하는 핵심 도구로 기능한다. 앞선 글들에서 살펴본 타당도, 공정성, 형평성 논의는 이론적으로는 설득력이 있지만, 실제 평가 현장에서 어떻게 구현되는지에 따라 그 의미가 달라진다. 이 글에서는 지금까지 논의한 핵심 원칙들이 실제 영어능력평가 설계와 운영에서 어떤 방식으로 적용되는지를 구체적으로 살펴본다.측정 대상의 명확화영어능력평가에서 가장 먼저 적용되는 원칙은 측정 대상의 명확화다. 실제 시험 설계 과정에서 평가자는 ‘영어 능력’이라는 포괄적 개념을 그대로 사용할 수 없다. 듣기, 읽기, 말하기, 쓰기 중 무엇을 ..
왜 시험의 공정성은 구조적으로 흔들릴 수밖에 없는가 — 영어능력평가론 시리즈 ⑱이 글은 영어능력평가론 시리즈의 열여덟 번째 글이다. 앞선 글에서는 시험 공정성이 실제 설계와 운영 단계에서 어떻게 확보되는지를 살펴보았다. 이 글에서는 많은 시험이 공정성을 의도함에도 불구하고, 왜 구조적으로 불공정해질 수밖에 없는지를 제도적·환경적 관점에서 분석한다. 다음 글에서는 이러한 구조적 한계를 완화하기 위한 평가 설계의 방향을 다룬다.대부분의 시험은 공정성을 목표로 설계된다. 시험 안내문과 운영 지침에는 공정성과 형평성이 반복적으로 강조된다. 그러나 현실에서는 공정성에 대한 문제 제기가 끊이지 않는다. 이 모순은 개별 시험 관계자의 태도만으로 설명하기 어렵다. 많은 경우 공정성은 개인의 의지와 무관하게 구조적으로 흔들린다. 이 글에서 필자는 시험 공정성이 왜 반복적..