본문 바로가기

전체 글

 (155)
21. 영어 듣기 평가는 무엇을 측정하고 있다고 말할 수 있는가 이 글은 영어능력평가론 시리즈의 스물한 번째 글이다. 앞선 글에서는 타당도와 공정성 원칙이 실제 영어능력평가 전반에 어떻게 적용되는지를 살펴보았다. 이 글에서는 그 원칙들을 영어 듣기 평가라는 단일 영역에 구체적으로 적용하여, 듣기 평가가 무엇을 측정하고 있다고 말할 수 있는지를 집중적으로 다룬다. 다음 글에서는 영어 말하기 평가로 논의를 확장한다. 영어능력평가에서 듣기 평가는 가장 먼저 도입된 영역 중 하나이지만, 동시에 가장 오해가 많은 평가 영역이기도 하다. 많은 학습자는 듣기 점수를 영어 실력 전반의 지표로 받아들이고, 교육 현장 역시 듣기 점수를 비교적 직관적인 능력 지표로 활용해 왔다. 그러나 앞선 글들에서 반복적으로 확인했듯이, 어떤 평가든 그것이 무엇을 측정하고 있으며 어디까지 해석될 수 ..
20. 영어능력평가에 타당도와 공정성 원칙은 실제로 어떻게 적용되는가 영어능력평가는 지금 이 순간에도 수많은 교육적 판단의 근거로 사용되고 있다. 학교 내 성취도 평가부터 대규모 능숙도 시험까지, 영어시험은 학습자의 능력을 설명하고 분류하는 핵심 도구로 기능한다. 앞선 글들에서 살펴본 타당도, 공정성, 형평성 논의는 이론적으로는 설득력이 있지만, 실제 평가 현장에서 어떻게 구현되는지에 따라 그 의미가 달라진다. 이 글에서는 지금까지 논의한 핵심 원칙들이 실제 영어능력평가 설계와 운영에서 어떤 방식으로 적용되는지를 구체적으로 살펴본다. 영어능력평가에서 가장 먼저 적용되는 원칙은 측정 대상의 명확화다. 실제 시험 설계 과정에서 평가자는 ‘영어 능력’이라는 포괄적 개념을 그대로 사용할 수 없다. 듣기, 읽기, 말하기, 쓰기 중 무엇을 측정하려는지, 그 능력을 어떤 수행으로 관..
19. 구조적 한계를 인식한 이후 평가 설계는 어떤 방향으로 나아가야 하는가 이 글은 영어능력평가론 시리즈의 열아홉 번째 글이다. 앞선 글에서는 시험 공정성이 왜 구조적으로 흔들릴 수밖에 없는지를 제도적 관점에서 분석했다. 이 글에서는 그러한 한계를 전제로 할 때, 평가 설계가 어떤 방향으로 진화해야 하는지를 현실적인 관점에서 살펴본다. 다음 글에서는 이러한 설계 방향이 실제 영어능력평가 사례에 어떻게 적용될 수 있는지를 다룬다.앞선 글에서 살펴본 것처럼 시험의 공정성은 개인의 선의나 윤리 의식만으로 지켜지지 않는다. 시험은 제도, 조직, 사회적 요구 속에서 작동하며, 이 구조는 공정성을 끊임없이 압박한다. 이 사실을 인식하는 순간 평가 논의는 이상적인 원칙 제시에서 현실적인 설계 선택의 문제로 이동한다. 이 글에서 필자는 완전한 공정성이 어렵다는 전제를 받아들인 이후, 평가 설..
18. 왜 시험의 공정성은 구조적으로 흔들릴 수밖에 없는가 이 글은 영어능력평가론 시리즈의 열여덟 번째 글이다. 앞선 글에서는 시험 공정성이 실제 설계와 운영 단계에서 어떻게 확보되는지를 살펴보았다. 이 글에서는 많은 시험이 공정성을 의도함에도 불구하고, 왜 구조적으로 불공정해질 수밖에 없는지를 제도적·환경적 관점에서 분석한다. 다음 글에서는 이러한 구조적 한계를 완화하기 위한 평가 설계의 방향을 다룬다. 대부분의 시험은 공정성을 목표로 설계된다. 시험 안내문과 운영 지침에는 공정성과 형평성이 반복적으로 강조된다. 그러나 현실에서는 공정성에 대한 문제 제기가 끊이지 않는다. 이 모순은 개별 시험 관계자의 태도만으로 설명하기 어렵다. 많은 경우 공정성은 개인의 의지와 무관하게 구조적으로 흔들린다. 이 글에서 필자는 시험 공정성이 왜 반복적으로 위협받는지, 그 원인..
17. 시험의 공정성은 실제 설계와 운영에서 어떻게 확보되는가 이 글은 영어능력평가론 시리즈의 열일곱 번째 글이다. 앞선 글에서는 평가에서 공정성과 형평성이 어떻게 다른 개념으로 작동하는지를 살펴보았다. 이 글에서는 이러한 공정성 원칙이 실제 시험 설계와 운영 과정에서 어떤 방식으로 구현되는지, 그리고 현장에서 공정성이 가장 자주 흔들리는 지점은 어디인지를 중심으로 설명한다. 다음 글에서는 시험 공정성을 위협하는 구조적 요인을 보다 비판적으로 분석한다. 시험의 공정성은 선언으로 확보되지 않는다. 시험 안내문에 공정성을 강조한다고 해서 실제 평가가 공정해지는 것은 아니다. 공정성은 시험이 설계되고 운영되는 모든 단계에서 반복적으로 선택되고 관리되어야 하는 조건이다. 특히 시험이 대규모로 운영되거나, 그 결과가 중요한 결정에 사용될수록 공정성은 더욱 취약해진다. 이 글..
16. 평가에서 말하는 공정성과 형평성은 무엇이 다른가 이 글은 영어능력평가론 시리즈의 열여섯 번째 글이다. 앞선 글에서는 해석 중심 타당도 관점이 평가의 책임과 윤리 개념을 어떻게 변화시켰는지를 살펴보았다. 이 글에서는 이러한 윤리적 논의가 왜 공정성과 형평성 문제로 확장되는지, 그리고 두 개념이 평가 맥락에서 어떻게 구분되어야 하는지를 중심으로 설명한다. 다음 글에서는 평가 공정성이 실제 시험 설계와 운영에서 어떻게 구현되는지를 다룬다. 평가에서 공정하다는 말은 자주 사용되지만, 그 의미는 명확하게 구분되지 않는 경우가 많다. 많은 사람은 공정성을 모든 사람에게 동일한 시험을 제공하는 것으로 이해한다. 그러나 평가 이론의 관점에서 보면, 동일함이 항상 공정을 의미하지는 않는다. 특히 시험 결과가 개인의 교육 기회와 사회적 이동에 영향을 미칠 때, 공정성 ..
15. 해석 중심 타당도는 평가의 책임과 윤리를 어떻게 바꾸었는가 이 글은 영어능력평가론 시리즈의 열다섯 번째 글이다. 앞선 글에서는 구인 타당도가 해석 중심 타당도로 확장되는 논리적 흐름을 살펴보았다. 이 글에서는 해석 중심 타당도 관점이 평가 설계자와 사용자에게 어떤 책임을 요구하게 되었는지, 그리고 그 변화가 평가 윤리 개념을 어떻게 재구성했는지를 설명한다. 다음 글에서는 이러한 책임 논의가 공정성과 형평성 문제로 어떻게 이어지는지를 다룬다. 시험 결과가 사회적 의사결정에 사용되는 순간, 평가는 단순한 기술적 행위가 아니라 책임을 수반하는 판단 행위가 된다. 해석 중심 타당도 관점은 바로 이 지점을 분명히 드러낸다. 시험 점수는 중립적인 숫자처럼 보이지만, 그 점수를 근거로 한 해석과 결정은 개인의 삶과 사회 구조에 직접적인 영향을 미친다. 이 글에서 필자는 해석..
14. 구인 타당도는 왜 해석 중심 타당도로 이어질 수밖에 없는가 이 글은 영어능력평가론 시리즈의 열네 번째 글이다. 앞선 글에서는 구인 타당도가 무엇이며 왜 가장 이해하기 어려운 타당도 개념으로 여겨지는지를 살펴보았다. 이 글에서는 구인 타당도가 왜 필연적으로 시험 결과 해석 문제로 이어지는지, 그리고 이 흐름이 현대 타당도 논의의 핵심이 된 이유를 설명한다. 다음 글에서는 해석 중심 타당도 관점이 평가의 책임 개념을 어떻게 변화시켰는지를 다룬다. 구인 타당도를 이해하려다 보면 많은 학습자가 비슷한 질문에 도달한다. 시험이 실제로 측정하는 능력을 완벽하게 규명할 수 없다면, 타당도는 어디에서 확보되는가라는 질문이다. 이 질문은 구인 타당도의 한계를 드러내는 동시에, 현대 타당도 논의의 출발점이 된다. 이 글에서 필자는 구인 타당도가 왜 시험 자체에 머무르지 않고, 시..
13. 구인 타당도란 무엇이며 왜 가장 이해하기 어려운 개념인가 이 글은 영어능력평가론 시리즈의 열세 번째 글이다. 앞선 글에서는 내용 타당도를 훼손하는 대표적인 오류들을 살펴보았다. 이 글에서는 내용 타당도로 설명하기 어려운 평가의 문제를 다루기 위해, 구인 타당도가 무엇인지와 왜 이 개념이 가장 이해하기 어려운 타당도 유형으로 여겨지는지를 설명한다. 다음 글에서는 구인 타당도가 왜 필연적으로 해석과 연결되는지를 다룬다. 영어능력평가를 공부하는 많은 학습자는 내용 타당도까지는 비교적 쉽게 이해한다. 시험 내용이 측정 대상과 잘 맞는지를 판단하는 개념은 직관적으로 받아들이기 어렵지 않기 때문이다. 그러나 구인 타당도에 이르면 상황은 달라진다. 구인 타당도는 눈에 보이는 시험 내용이 아니라, 시험이 측정한다고 주장하는 추상적인 능력 개념과 관련되어 있기 때문이다. 이 ..
12. 내용 타당도를 훼손하는 가장 흔한 오류들 이 글은 영어능력평가론 시리즈의 열두 번째 글이다. 앞선 글에서는 내용 타당도를 어떻게 검토하고 판단해야 하는지를 살펴보았다. 이 글에서는 실제 평가 현장에서 내용 타당도를 훼손하는 대표적인 오류들이 무엇인지, 그리고 왜 이러한 오류가 반복되는지를 중심으로 설명한다. 다음 글에서는 내용 타당도를 넘어 구인 타당도로 논의를 확장한다. 많은 시험은 형식적으로는 잘 만들어진 것처럼 보인다. 문항 수는 충분하고, 난이도도 적절해 보이며, 외형적으로는 완성도가 높다. 그러나 이러한 시험이 항상 타당한 것은 아니다. 특히 내용 타당도는 시험의 외형만으로 판단하기 어렵기 때문에, 설계 과정에서의 작은 오류가 전체 평가의 신뢰를 무너뜨릴 수 있다. 이 글에서 필자는 실제 평가 현장에서 반복적으로 나타나는 내용 타당도 ..

티스토리툴바