임상수행능력을 평가하는 객관구조화진료시험(objective structured clinical examination, OSCE) 혹은 임상수행시험(clinical performance examination, CPX)은 실제 진료 현장과 유사한 환경에서 이루어지는 환자 진료 형태, 즉 의사-환자 간 면담과 신체진찰로부터 수집하는 정보, 임상 추론 및 결정, 환자교육 및 관리 등을 표준화하여 시험 형태로 만들어 현재 대부분의 의과대학들은 임상 실습 교육 후 학생들의임상 수행 능력을 평가하고 있다[1,2]. 아울러 진료수행평가에서 학생들의 수행 정도를 타당하고 공정하게 평가하는 것이 중요한 문제인데 표준화 환자를 이용한 진료수행평가는 그 특성상 여러 날에 걸쳐 시험이 시행되는 경우가 많다. 즉, station당 10분 이상의 시간이 소요되고 여러 개의 증례를 사용해야 하므로 학생 수가 많은 대학의 경우 이를 하루에 시행하는 것은 현실적으로 매우 어렵다. 또한 매일 동일한 시험 문항으로 시험을 치른다면 정보 공유 가능성 때문에 평가의 신뢰성에 대한 우려가 존재할 것이다. 동일하지 않은 시험 문항조합과 조건으로부터 모든 피험자의 시험 점수가 산출되어야 하는 경우에 학생들의 원점수는 동등화(equation) 과정을 거친 전환 점수로서 제시되어야 한다. 이처럼 동등화가 필요한 경우에 각 문항 조합에 어느 정도의 문항을 공통적으로 포함시키고 이를 통계적으로 처리하여 동등화 점수를 얻을 수 있는데 이러한 공통문항을 ‘가교문항(anchor item)’이라고 한다. 본 연구에서는 시험 시행일에 따라 CPX의 문항 조합을 달리하여, 총 10개의 문항 중 매일 6개의 문항 조합으로 3일간 시험을 실시하였는데 이 중 3개는 공통문항이었고 다시 조합 간 0~1개의 추가 공통문항을 배정하였다. 이를 통하여 학생들이 어떤 문항이 출제될지에 대한 관심을 떨어뜨리고 정상적인 시험 준비를 하도록 하는 효과는 있었으나, 조합별 문항이 다름에 따라 학생들의 성적을 공정하게 해석하고 반영하기 위하여 검사동등화 과정을 통해 시험 성적에 대한 통인처리를 할 필요성이 생겼다. 검사동등화를 실제 활용하는 대표적인 예는 Test of English for International Communication(TOEIC), American College Testing (ACT) 및 Scholastic Aptitude Test (SAT) 등이며 국내에서는 1985년 검사동등화의 개념이 국내에 소개된 이래로 주로 지필 시험 자료를 대상으로 동등화 방법 비교, 가교문항 관련 연구, 검사 특성, 학업 성취도 변화 등의 선행 연구가 있다[3,4,5,6,7,8,9]. 한편 CPX와 같은 수행평가에서의 동등화 작업은 채점자, 적은 문항 수 등의 요인으로 다중선다형지필시험에 비하여 실행에 어려움이 많은 것으로 알려져 있다[10].

이에, 본 연구에서는 수행평가의 일종인 CPX에서 적용할 수 있는 동등화 방법을 제안하고 동등화 과정의 수행 결과 실제로 문항별 응시자들에게 부여되는 점수의 특성 및 원점수와 동등화점수 간의 차이 등을 분석함을 목적으로 하였다.

검사의 주목적이 피험자들을 선발하는 것일 때 결과를 공정하게 해석하는 것은 무엇보다 중요하다. 이때에는 특정 유형의 검사를 치른 사람이 다른 사람보다 더 유리하거나 불리한 상황이 발생하지 않도록 하는 통계적인 조작이 필요하다. 검사의 문항 내용, 신뢰도, 난이도 수준과 범위까지 엄격하게 동일한 동형검사가 제작될 수 있다면 별도의 통계적 조작이 필요 없겠지만 실질적으로 엄격한 의미의 동형검사 또는 평행검사를 제작한다는 것은 불가능하다. 따라서 기능을 재는 검사가 여러 가지 유형으로 제작되고 실시되었을 때, 각 검사유형의 점수 수준을 공통 척도로 변환시키는 동등화 과정이 필요하다[3]. 학생들의 학력 변화 추이를 조사하고자 할 때에도 검사 동등화가 요구되며, TOEIC 등과 같이 다수의 수험일 중 선택하여 시험을 치르는 경우에도 필요하다. 본 연구 대상에서의 동등화검사 설계로는 비동등집단 가교검사 방법을 선택하였는데 이는 일반적으로 동등화 할 두 검사의 실시 간격이 있고, 두 피험자 집단의 동질성을 가정할 수 없는 경우에 가장 현실적인 설계이기 때문이다. 이 설계에서 가교검사의 역할이 매우 큰데 동등화검사 X와 Y의 문항 모집단과 가교검사의 문항 모집단은 같아야 하며, 집단 간 능력의 차이가 지나치게 크다든지 가교검사 문항 수가 전체 문항 수의 20% 이하로서 내용 대표성을 확보하지 못할 때 동등화 오차가 커진다[7]. Tucker의 선형동등화 방법은 전통적인 비동등집단 가교 검사법이며 두 검사의 표준점수가 같으면 동등점수로 간주하고, 동등관계를 산출하기 위해서 가교검사 결과를 바탕으로 하나의 모집단을 인위적으로 만들어 분석에 활용하는 것으로서 두 검사 점수의 분포가 비슷하다면 피험자 수가 적더라도 정확한 동등화 결과를 얻을 수 있다[3].

본 연구에서는 공통문항을 포함한 날짜별 시험군의 점수를 동등화하기 위하여 가능하면 많은 수의 가교 station을 포함하는 조합인 DAY2의 원점수를 기준으로 DAY1과 DAY3의 동등화점수를 계산하여 최종점수로 하였다. 단순 평균 비교에서는 DAY1군이 DAY2나 DAY3보다 전체 점수, 세 개의 공통문항 점수 등에서 높아서(Tables 1, 2) 집단별 능력이 더나은 것처럼 보이나 동등화한 결과 DAY1의 전체 평균점수는 원점수보다 낮아지면서 DAY2군의 평균점수보다도 낮아졌다(Table 4). 이는 공통문항 외에 다른 문항들의 점수가 추가로 반영될 때 세 군 간의 동등화 효과를 나타낸다고 할 수 있으며, 이 효과는 DAY1 과 DAY3을 기준으로 동등화한 결과에서도 유사하게 나타나 두 경우 모두 DAY1군의 전체 평균점수는 DAY2보다 낮게 계산되었다(Table 5). 한편, 시험일별 전체 평균점수 변동과 개별 학생들의 동등화 작업 후 점수 변화와 어떤 관계인지를 보여주는 Fig. 2로 어느 점수대에서 변환 점수 폭이 큰지를 알 수 있으며 이는 동등화 결과 점수를 실제 성적으로 활용할 지를 결정할 때나 다른 동등화 방법을 이용한 결과와 비교할 때 도움이 될 수 있다[6]. 또한, Fig.2A에서 DAY1의 점수 변환 폭보다 DAY3의 점수 변환 폭이큰 것과 Fig. 2C에서 DAY2보다 DAY3의 점수 폭이 큰 것은 DAY3의 학생 수가 DAY1과 DAY2보다 적기 때문으로 해석되며 이는 Fig. 2B에서 DAY1과 DAY2의 점수 변환 폭이 다른 경우에 비해 크게 나타난 이유일 수 있다.

CPX 시험은 해당 교육 및 평가 전문가가 개별 및 팀-작업을 통해 개발하여 내용 타당도를 높이고 채점 일치도 훈련을 통하여 채점에 주관성을 낮추기 위한 노력을 하고 있으나 수행평가의 특성상 채점자 요인이 동등화를 시행하는 데 문제로 작용될 수 있기 때문에 이에 대해서는 추후 연구가 필요할 것이다. 또한 본 연구에서는 Tucker의 선형동등화 방법을 이용하였지만 다른 동등화 설계의 적용 가능성, 여러 날에 걸친 대규모 시험에서는 어떤 방식의 가교 동등화 작업을 할 수 있는지가 향후 연구 과제일 수 있다.

결론적으로 본 연구에서는 실제 3일에 걸쳐 시행되는 CPX 시험에서 가교문항을 이용하여 동등화 점수를 산정하였으며 가교문항의 수에 따른 동등화 점수의 분표를 구하여 비교하였으며, CPX 시험의 운영 특성상 학생 수와 문항 수에 따라 수일에 걸쳐 시험이 실행되어야 하는 경우에 Tucker의 선형동등화 방법을 적용해 보되 최종 동등화 산정 점수는 동등화 조합들의 점수 분포를 비교하여 결정하는 것이 좋을 것으로 사료된다.