본문 바로가기

영어학: 영어능력평가론

 (53)
13. 구인 타당도란 무엇이며 왜 가장 이해하기 어려운 개념인가 이 글은 영어능력평가론 시리즈의 열세 번째 글이다. 앞선 글에서는 내용 타당도를 훼손하는 대표적인 오류들을 살펴보았다. 이 글에서는 내용 타당도로 설명하기 어려운 평가의 문제를 다루기 위해, 구인 타당도가 무엇인지와 왜 이 개념이 가장 이해하기 어려운 타당도 유형으로 여겨지는지를 설명한다. 다음 글에서는 구인 타당도가 왜 필연적으로 해석과 연결되는지를 다룬다. 영어능력평가를 공부하는 많은 학습자는 내용 타당도까지는 비교적 쉽게 이해한다. 시험 내용이 측정 대상과 잘 맞는지를 판단하는 개념은 직관적으로 받아들이기 어렵지 않기 때문이다. 그러나 구인 타당도에 이르면 상황은 달라진다. 구인 타당도는 눈에 보이는 시험 내용이 아니라, 시험이 측정한다고 주장하는 추상적인 능력 개념과 관련되어 있기 때문이다. 이 ..
12. 내용 타당도를 훼손하는 가장 흔한 오류들 이 글은 영어능력평가론 시리즈의 열두 번째 글이다. 앞선 글에서는 내용 타당도를 어떻게 검토하고 판단해야 하는지를 살펴보았다. 이 글에서는 실제 평가 현장에서 내용 타당도를 훼손하는 대표적인 오류들이 무엇인지, 그리고 왜 이러한 오류가 반복되는지를 중심으로 설명한다. 다음 글에서는 내용 타당도를 넘어 구인 타당도로 논의를 확장한다. 많은 시험은 형식적으로는 잘 만들어진 것처럼 보인다. 문항 수는 충분하고, 난이도도 적절해 보이며, 외형적으로는 완성도가 높다. 그러나 이러한 시험이 항상 타당한 것은 아니다. 특히 내용 타당도는 시험의 외형만으로 판단하기 어렵기 때문에, 설계 과정에서의 작은 오류가 전체 평가의 신뢰를 무너뜨릴 수 있다. 이 글에서 필자는 실제 평가 현장에서 반복적으로 나타나는 내용 타당도 ..
11. 내용 타당도는 어떻게 검토하고 판단해야 하는가 이 글은 영어능력평가론 시리즈의 열한 번째 글이다. 앞선 글에서는 내용 타당도가 무엇이며 왜 시험 설계의 출발점으로 여겨지는지를 살펴보았다. 이 글에서는 내용 타당도를 실제로 검토하고 판단할 때 사용되는 기준과 절차를 중심으로 설명한다. 다음 글에서는 내용 타당도 검토 과정에서 자주 발생하는 오류를 다룬다. 내용 타당도의 중요성을 이해했다고 해서 자동으로 타당한 시험이 만들어지는 것은 아니다. 내용 타당도는 선언이 아니라 검토 과정에서 확보되는 특성이다. 시험 설계자는 시험이 측정하려는 능력을 정의하는 것에서 멈추지 않고, 그 정의가 시험 내용에 어떻게 구현되었는지를 체계적으로 점검해야 한다. 이 글에서 필자는 내용 타당도를 실제 평가 현장에서 어떻게 검토하고 판단해야 하는지를 단계별로 설명하고자 한다...
10. 내용 타당도는 무엇이며 왜 시험 설계의 출발점이 되는가 이 글은 영어능력평가론 시리즈의 열 번째 글이다. 앞선 글에서는 타당도 관점의 변화가 시험 설계 전반에 어떤 영향을 미쳤는지를 살펴보았다. 이 글에서는 타당도를 구성하는 첫 번째 핵심 근거인 내용 타당도가 무엇이며, 왜 시험 설계의 출발점으로 여겨지는지를 중심으로 설명한다. 다음 글에서는 내용 타당도가 실제로 어떻게 검토되고 판단되는지를 구체적으로 다룬다. 타당도에 대한 논의가 추상적으로 느껴지는 이유는 많은 경우 그 개념이 실제 시험 설계 과정과 분리되어 설명되기 때문이다. 그러나 평가 실무에서 타당도는 매우 구체적인 질문에서 출발한다. 시험은 무엇을 묻고 있는가, 그리고 그 질문은 측정하려는 능력을 제대로 대표하고 있는가라는 질문이 바로 그것이다. 이 질문에 답하는 과정이 내용 타당도 논의의 핵심이다..
9. 타당도 관점의 변화는 시험 설계를 어떻게 바꾸었는가 이 글은 영어능력평가론 시리즈의 아홉 번째 글이다. 앞선 글에서는 타당도를 바라보는 관점이 어떻게 변화해 왔는지를 살펴보았다. 이 글에서는 이러한 관점의 변화가 실제 영어시험 설계와 평가 실무에 어떤 구체적인 변화를 가져왔는지를 중심으로 설명한다. 다음 글에서는 타당도를 구성하는 주요 근거 유형을 하나씩 살펴본다. 타당도 개념의 변화는 단순한 이론적 논쟁에 그치지 않았다. 타당도를 시험 도구의 속성으로 보던 관점에서, 시험 결과 해석과 사용을 중심으로 이해하는 관점으로 이동하면서 평가 실무 전반이 달라지기 시작했다. 시험 설계자는 더 이상 문제를 잘 만드는 기술자에 머물 수 없게 되었고, 시험 결과가 어떻게 해석되고 어떤 영향을 미치는지까지 고려해야 하는 책임을 지게 되었다. 이 글에서 필자는 타당도 관..
8. 타당도를 바라보는 관점은 어떻게 변화해 왔는가 이 글은 영어능력평가론 시리즈의 여덟 번째 글이다. 앞선 글에서는 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는 이유를 살펴보았다. 이 글에서는 타당도를 이해하는 관점이 전통적인 개념에서 최근의 해석 중심 관점으로 어떻게 변화해 왔는지를 설명한다. 다음 글에서는 이러한 변화가 실제 시험 설계에 어떤 영향을 미쳤는지를 다룬다. 타당도라는 개념은 오랜 기간 영어능력평가의 핵심 기준으로 논의되어 왔다. 그러나 타당도가 항상 지금과 같은 의미로 이해된 것은 아니다. 평가 이론의 발전과 함께 타당도를 바라보는 관점 역시 지속적으로 변화해 왔다. 초기에는 시험이 측정하려는 내용을 정확히 측정하는지가 핵심이었지만, 점차 시험 결과가 어떻게 해석되고 사용되는지가 더 중요하게 다뤄지기 시작했다. 이 글에서 필자..
7. 왜 타당도는 영어능력평가에서 가장 중요한 기준인가 이 글은 영어능력평가론 시리즈의 일곱 번째 글이다. 앞선 글에서는 평가가 학습을 지원하기 위해 갖춰야 할 설계 원칙을 살펴보았다. 이 글에서는 그 원칙이 시험 품질의 핵심 기준인 타당도와 어떻게 연결되는지를 중심으로 설명한다. 다음 글에서는 타당도를 바라보는 관점이 어떻게 변화해 왔는지를 다룬다. 영어능력평가를 논의할 때 가장 자주 등장하는 개념 중 하나가 타당도다. 많은 사람은 타당도를 시험이 정확한지를 판단하는 기술적 기준 정도로 이해한다. 그러나 평가 전문가의 관점에서 타당도는 단순한 정확성의 문제가 아니다. 타당도는 시험이 무엇을 측정하고 있는지, 그 결과가 어떤 판단에 사용될 수 있는지를 종합적으로 설명하는 개념이다. 이 글에서 필자는 왜 타당도가 영어능력평가에서 가장 중요한 기준으로 여겨지는지..
6. 평가가 학습을 지원하기 위해 반드시 갖춰야 할 설계 원칙 이 글은 영어능력평가론 시리즈의 여섯 번째 글이다. 앞선 글에서는 시험 결과 해석의 혼란이 교육 현장을 어떻게 왜곡하는지를 살펴보았다. 이 글에서는 그러한 문제를 줄이기 위해 평가가 어떤 방향으로 설계되어야 하는지, 학습을 지원하는 평가가 갖춰야 할 핵심 원칙을 중심으로 설명한다. 이후 글에서는 이러한 원칙이 실제 시험 품질 기준과 어떻게 연결되는지를 다룬다. 앞선 글들에서 살펴본 것처럼 영어능력평가는 단순한 측정 도구를 넘어 교육 현장 전반에 강력한 영향을 미친다. 시험 결과는 수업 방향을 바꾸고, 학습자의 자기 인식을 형성하며, 학교와 제도의 의사결정에까지 관여한다. 문제는 이러한 영향력이 항상 긍정적으로 작용하지 않는다는 점이다. 시험 결과가 잘못 해석되거나 과도하게 강조될 때, 평가는 학습을 지원..
5. 시험 결과 해석의 혼란이 교육 현장을 왜곡하는 방식 이 글은 영어능력평가론 시리즈의 다섯 번째 글이다. 앞선 글에서는 같은 영어시험이라도 해석 맥락에 따라 결과의 의미가 달라지는 이유를 살펴보았다. 이 글에서는 이러한 해석의 혼란이 실제 교육 현장에서 어떤 왜곡을 만들어내는지를 구체적으로 설명한다. 다음 글에서는 이러한 문제를 줄이기 위해 평가가 어떤 방향으로 설계되어야 하는지를 다룬다. 교육 현장에서 시험 결과는 단순한 참고 자료가 아니다. 교사는 시험 점수를 바탕으로 수업 방식을 조정하고, 학교는 성적을 기준으로 학생을 분류하며, 학습자는 점수를 통해 자신의 능력을 판단한다. 이처럼 시험 결과는 교육 전반에 직접적인 영향을 미친다. 그러나 시험 결과가 잘못 해석되거나 과도하게 확대 해석될 때, 교육 현장은 점차 본래의 목적에서 벗어나게 된다. 이 글에..
4. 같은 영어시험이라도 결과 해석이 달라지는 이유 이 글은 영어능력평가론 시리즈의 네 번째 글이다. 앞선 글에서는 시험 목적에 따라 영어시험 유형이 어떻게 구분되는지를 살펴보았다. 이 글에서는 동일한 영어시험이라도 사용 목적과 해석 맥락에 따라 결과의 의미가 달라지는 이유를 설명한다. 다음 글에서는 이러한 해석 차이가 실제 교육 현장에서 어떤 문제를 만들어내는지를 다룬다. 많은 사람은 영어시험 점수가 객관적인 사실을 그대로 보여준다고 믿는다. 시험 점수는 숫자로 제시되고, 그 숫자는 비교와 판단에 사용된다. 이 과정에서 점수는 마치 변하지 않는 진실처럼 받아들여진다. 그러나 평가 전문가의 관점에서 보면 시험 점수는 해석을 필요로 하는 정보에 가깝다. 같은 시험 점수라도 어떤 목적으로, 어떤 맥락에서 사용되는지에 따라 전혀 다른 의미를 가질 수 있다. 이..

티스토리툴바