본문 바로가기

평가설계

(43)
윤리적 원칙은 영어능력평가 설계 선택에 어떻게 반영되는가 — 영어능력평가론 시리즈 ㊳이 글은 영어능력평가론 시리즈의 서른여덟 번째 글이다. 앞선 글 「영어능력평가는 어떤 윤리적 책임을 전제로 운영되어야 하는가」에서는 영어능력평가가 어떤 윤리적 책임을 전제로 운영되어야 하는지를 살펴보았다.이 글에서는 그 윤리적 원칙이 실제 평가 설계 과정에서 어떻게 구체적인 선택으로 나타나는지를 중심으로, 과제 설정과 기준 설정의 판단 과정을 분석한다. 다음 글에서는 윤리적 설계 선택이 평가의 신뢰와 수용도에 어떤 영향을 미치는지를 다룬다.윤리적 원칙은 평가 설계의 외부에 존재하는 규범이 아니다. 윤리는 평가 설계의 가장 구체적인 순간, 즉 무엇을 출제할지, 무엇을 기준으로 삼을지, 무엇을 요구하지 않을지를 결정하는 지점에서 실제로 작동한다. 영어능력평가에서 윤리적 설계란 이상..
쓰기 평가 설계에서 반드시 판단해야 하는 핵심 요소는 무엇인가 — 영어능력평가론 시리즈 ㉜이 글은 영어능력평가론 시리즈의 서른두 번째 글이다. 앞선 글 「쓰기 평가는 왜 읽기 평가보다 공정성과 형평성 문제가 더 복잡한가」에서는 쓰기 평가에서 공정성과 형평성 문제가 왜 복잡하게 나타나는지를 구조적으로 살펴보았다. 이 글에서는 이러한 복잡성을 전제로, 쓰기 평가를 설계할 때 실제로 판단해야 하는 핵심 요소들이 무엇인지와 그 판단이 평가 결과에 어떤 영향을 미치는지를 중심으로 논의를 전개한다. 다음 글에서는 쓰기 평가의 채점 기준 설계 문제를 보다 구체적으로 다룬다.쓰기 평가 설계는 단순히 과제를 하나 제시하고 점수를 매기는 과정이 아니다. 쓰기 평가는 설계자의 판단이 가장 많이, 그리고 가장 직접적으로 개입되는 평가 영역이다. 어떤 과제를 제시할지, 무엇을 기준으로 평..
내용 타당도를 훼손하는 가장 흔한 오류들 — 영어능력평가론 시리즈 ⑫이 글은 영어능력평가론 시리즈의 열두 번째 글이다. 앞선 글 「내용 타당도는 어떻게 검토하고 판단해야 하는가」에서는 내용 타당도를 실제 평가 과정에서 어떻게 검토하고 판단해야 하는지를 살펴보았다. 이 글에서는 실제 평가 현장에서 내용 타당도를 훼손하는 대표적인 오류들이 무엇인지, 그리고 왜 이러한 오류가 반복되는지를 중심으로 설명한다. 다음 글에서는 내용 타당도를 넘어 구인 타당도(construct validity) 로 논의를 확장한다.많은 시험은 형식적으로는 잘 만들어진 것처럼 보인다. 문항 수는 충분하고, 난이도도 적절해 보이며, 외형적으로는 완성도가 높다. 그러나 이러한 시험이 항상 타당한 것은 아니다. 특히 내용 타당도는 시험의 외형만으로 판단하기 어렵기 때문에, 설계 ..