의학과 학생들에서 임상실기 점수와 관련된 의학지식 지필시험 내용

Relationship between the Content of the Medical Knowledge Written Examination and Clinical Skill Score in Medical Students

Article information

Korean J Med Educ. 2011;23(4):305-314
Publication date (electronic) : 2011 December 31
doi : https://doi.org/10.3946/kjme.2011.23.4.305
1Department of Obstetrics and Gynecology, Dongguk University School of Medicine, Gyeongju, Korea
2Department of Medical Education, Dongguk University School of Medicine, Gyeongju, Korea
3Department of Family Medicine, Dongguk University School of Medicine, Gyeongju, Korea
황지영,1,2, 정휘수3
1동국대학교 의학전문대학원 산부인과학교실
2동국대학교 의학전문대학원 의학교육실
3동국대학교 의학전문대학원 가정의학교실
Corresponding Author: Jee-Young Hwang Department of Obstetrics and Gynecology, Dongguk University Hospital, 1090-1 Seokjang-dong, Gyeongju 780-350, Korea Tel: +82.54.770.8245 Fax: +82.54.770.8378 email: hwangmd@dongguk.ac.kr
Received 2011 July 12; Revised 2011 October 8; Accepted 2011 October 10.

Trans Abstract

Purpose:

This study was planned to investigate which medical knowledge examination score-written examination on basic medicine, individual clinical medicine, and comprehensive clinical medicine-was closely related to clinical skill score in medical students.

Methods:

Scores on basic medicine, clinical medicine, graduation assessment, clinical performance examination (CPX), and objective structured clinical examination (OSCE) for 106 students who graduated Dongguk University Medical School from 2010 to 2011 were included, and correlations between them were analyzed using T scores.

Results:

All scores of basic medicine, clinical medicine, graduation assessment, CPX, and OSCE correlated significantly with each other. In connection with clinical skill, graduation assessment score showed a strong correlation (r=0.547, p<0.001) with the CPX. Regarding detailed scores on the CPX, history taking score correlated significantly with medical knowledge examination scores (r=0.435~0.406, p<0.001). By regression analysis, the score on graduation assessment was 1 point higher, and that of the CPX increased by 0.538 (p<0.001).

Conclusion:

Based on our study, comprehensive clinical knowledge is required for medical students to gain the appropriate clinical skills. Therefore, clinical skill practice and lectures that are based on the level of comprehensive clinical knowledge are recommended in the education of clinical skills in medical students.

서론

의사가 환자에게 적절한 진료를 수행하기 위해서는 의학적 지식뿐만 아니라 개별 환자에게 적용하여 판단 및 문제 해결을 할 수 있는 실천적 지식과 의학적 수기 능력이 있어야 한다. 의학과에 입학한 학생들은 기초의학을 시작으로 임상의학을 학습하고 임상실습을 통해 수행 능력을 기르는 과정들을 거치면서 여러 가지 형태의 평가를 받게 된다. 의학교육적 측면에서 볼 때 학생들이 어느 정도의 의학지식을 가지고 있으며, 또한 임상실기 능력이 어느 정도인지를 평가하는 것은 매우 중요하다. 의학지식 수준은 기초의학과 임상의학으로 나뉘어 전통적으로 지필시험을 통해 평가되어왔으며, 임상실기 능력은 객관화되고 구조화된 평가도구로 진료 능력은 임상수행시험(clinical performance examination, CPX) 그리고 진료의 특정 단면을 평가하는 수기 능력은 객관구조화임상시험(objective structured clinical examination, OSCE)이 사용된다.

의학교육에서 다양한 평가들이 사용되는 이유는 각각의 평가 방법들이 측정하는 능력이 다르며, 지식 평가 위주의 지필시험과 수행 평가 위주의 실기시험이 상관성이 낮을 것이라는 전제를 가지고 있다. CPX는 습득한 임상지식을 실제로 환자에게 적절히 적용할 수 있는가와 함께 환자를 대하는 태도를 평가할 수 있다는 것이 이론 지필시험과 다르며, OSCE는 특정 임상 수기에 필요한 이론적 지식과 함께 실제로 얼마나 적절히 시술할 수 있는지를 평가하는 것이다. 그리고 특정 수기 능력이 있어도 환자를 진료하는 상황에서 적용할 수 있는지를 평가한다는 점이 OSCE와 CPX의 차이점이라고 볼 수 있다. Wilkerson & Lee [1]는 의과대학생을 대상으로 같은 장기에 대한 신체진찰 능력을 OSCE와 CPX로 각각 평가하였을 때 CPX에서 점수가 통계적으로 유의하게 낮음을 보여 특정 수기를 할 수 있는 능력과 진료 중 그것을 적용하는 능력은 다를 수 있음을 보고하였다. 그러나, 통합교육적 측면에서 보면 지식 지필시험과 수행 실기시험이 평가 방법은 다르지만 서로 관련성이 없다고 보기는 어렵다. 선행 연구에서 임상적 수기에 관한 지식을 묻는 지필시험과 OSCE 성적 간에 의미 있는 상관관계를 보여 지필시험으로 임상실기 능력을 예측할 수 있다는 보고들이 있다[2,3].

우리나라 의사국가고시 중 의학지식 수준을 평가하는 지필시험은 과거 개별 임상과목별로 구성되어있었으나 현재는 의학각론, 총론, 법규 3개의 과목으로 통합되었는데, 이는 1차 진료 의사가 알아야 할 지식은 과목중심의 단편적 지식이 아닌 문제해결을 위한 통합적 지식이어야 한다는 의미로 해석할 수 있으며[4], 2010년도부터 수행 평가인 실기시험을 도입한 취지는 단순히 알고 있는 것과 할 수 있는 것, 단편적인 것과 종합적인 것을 구분하여 평가하겠다는 의미로 볼 수 있다[5]. 국내에서 실기시험의 형식으로 자리잡은 OSCE와 CPX의 평가 영역은 적절한 수기, 병력 청취, 신체 진찰, 환자 설명 및 교육, 환자-의사관계 능력이다. 이 중 환자-의사관계를 제외한 나머지 4가지는 기본적인 의학지식이 습득되어야 가능하므로 지식 정도를 평가하는 지필시험과 지식을 환자에게 적용하는 능력을 평가하는 실기시험이 서로 적절한 관련성을 가지고 있어야 할 것으로 생각된다. 이런 점에서 국내 의과대학 및 의학전문대학원들이 학생들의 수행 평가를 위해 실기시험 방법의 타당도 및 운영상의 문제들을 연구할 때 학생들의 학업성적과 실기시험의 상관성이 자주 연구 대상이 되었다[6,7].

정상과 비정상을 구분하고 병적인 현상의 기전을 학습하는 기초의학 과목들은 임상의학을 학습하기 위해 필수적이며, 임상의학은 장기별, 대상 질환별 개별 과목들에 대한 지필시험과 통합적인 임상지식에 대한 평가로 구분할 수 있다. 본 연구는 먼저 학생들의 과목별 기초의학, 개별 임상의학 각각의 합산 점수, 그리고 통합적 임상의학지식 수준을 평가하는 임상종합평가 점수들 간의 관련성을 분석한 다음 이러한 지식 평가 내용들과 임상실기 능력 평가인 CPX 및 OSCE와의 상관성을 분석하고, 진료 능력 평가의 세부 항목인 환자에 대한 병력 청취, 신체 진찰, 설명 및 교육, 환자-의사관계 능력에 대한 의학지식 수준과의 관련성을 조사하여 실기 능력에 영향을 주는 의학지식 지필시험이 어떤 것인지 알아보고자 시도되었다.

대상 및 방법

1. 연구 대상

의사국가고시에 처음으로 실기시험이 도입된 2010년 D대학교 의과대학을 졸업한 학생 57명과 실기시험 2회째인 2011년도에 졸업한 학생 49명 총 106명의 학생들을 대상으로 학생들의 의학과 1~4학년 성적 중 의료인문학 관련 과목과 임상실습을 제외한 과목별 기초의학 및 임상의학 성적과 의학과 4학년 때 시행한 통합적 임상종합평가 점수 그리고 CPX/OSCE 점수를 비교하였다.

2. 평가 점수의 내용

1) 기초의학과 임상의학

D의대 의학과 전공필수 교과과정은 학점제로 운영되며, 이 중 기초의학 교과목은 의학과 1학년에 배정되어있고 과목별 이론 및 실습 지필시험으로 성적을 산출한다. 대상 학생들의 기초의학 합산 점수는 통합인체형태학(8학점), 통합인체생리학(5학점), 통합인체분자세포의학(5학점), 예방의학(2학점), 통합유전 및 발생학(2학점), 인체병태생리학(7학점), 의학병원체학(4학점), 통합인체약리학(4학점), 산업의학(1학점), 면역학(1학점) 총 10개 교과목, 39학점의 평점 평균으로 하였다.

임상의학 교과목은 주로 의학과 2~3학년 때 이수하도록 되어있으며 과목별 지필시험으로 평가한다. 비교하기 위한 개별 임상의학 성적의 합산 점수는 통합임상총론(2학점), 임상입문(2학점), 통합감염학(3학점), 통합종양학(1학점), 통합혈액학(2학점), 통합알레르기학(1학점), 통합소화기학(4학점), 통합순환기학(4학점), 통합호흡기학(3학점), 통합신장학(2학 점), 통합내분비대사학(2학점), 통합근골격계학(2학점), 통합 출생과 성장(2학점), 통합신경과학(8학점), 임상정신의학(2학점), 진단검사의학(1학점), 방사선과학(1학점), 가정의학(1학점), 이비인후과학(1.5학점), 안과학(1.5학점), 산부인과학(4학점), 소아과학(2학점), 외과학(2학점), 응급외상학(2학점), 재활의학(0.5학점), 마취통증의학(1학점), 피부과학(1학점), 비뇨기과학(1학점), 성형외과학(1학점), 의료법규(1학점) 총 30개 교과목, 61.5학점의 평점 평균으로 하였다. 의학과 3~4학년에 걸쳐 시행한 임상실습 성적은 임상과별 평가기준이 다르고, 수기 능력과 이론 지식 외에 개인 태도 및 실습 조별 태도 등 평가 영역이 복합적이므로 본 연구대상에서 제외하였다.

2) 통합적 임상종합평가

2010, 2011년 졸업한 학생들의 교과과정은 의학과 2~3학년 동안 개별 임상 교과목들을 학습한 후 3학년 2학기부터 1년간 임상실습을 진행하도록 되어 있었고, 기초의학 과목을 제외한 기초 진료과목 중심으로 통합적 임상의학 지식을 4학년 1학기부터 임상종합평가 형식으로 총 6회에 걸쳐 평가하였다. 1~2차는 교과목들의 구분은 있으나 동시에 평가하는 방식으로 본교 교수들이 출제한 객관식 500~550문항으로 평가하였으며, 3차부터는 개별 임상 교과목 구분 없이 의학총론, 각론, 법규 3과목으로 구성된 객관식 500~550문항으로 학생들의 종합적 임상의학 지식을 평가하였는데, 본교를 포함한 대구․경북지역 5개 의과대학․의학전문대학원에서 공동으로 관리하는 문항으로 3회에 걸쳐 평가하였고 마지막 6차는 본교 교수들이 출제한 문항으로 평가하였다. 본 연구를 위해 총 6회 임상종합평가 지필시험의 평균 점수를 비교 분석에 사용하였다.

3) CPX/OSCE 점수

본교에서 임상실기 능력을 평가하는 실기시험은 OSCE의 형태로 2001년부터 시행되었고 2006년부터는 CPX 형식의 진료수행 문항이 추가되었다. 의사국가고시 실기시험 도입과 함께 2009년부터는 한국보건의료인국가시험원이 제시한 내용 및 형식과 동일한 방법으로 평가하였다. 2009, 2010년 모두 임상실기능력을 평가하는 OSCE/CPX 시험은 의학과 4학년 6, 8, 9월에 시행되었고, 1, 2차 평가는 각각 CPX 6문항(100점/문항), OSCE 6문항(50점/문항) 총 12문항으로 평가하였고, 3차 평가는 OSCE 24문항(50점/문항)만으로 평가하였다. 문항 출제는 한국보건의료인국가시험원이 제시한 형식과 동일하게 공개 항목 중 소그룹별로 무작위 선정하여 출제하였는데, 1차 평가는 대구·경북 임상실기 컨소시움에서 공동으로 관리하는 문항으로 치러졌고, 2,3차 평가는 본교에서 출제한 문항으로 임상실기 능력을 평가하였다. 학생들의 임상지식 수준과의 관계를 비교하기 위해 3회에 걸쳐 평가한 실기시험 성적 중 먼저 실제 임상진료상황과 비슷한 CPX 점수만을 추출하여 총점 평균을 산출하고 진료 수행의 4가지 세부 내용인 병력 청취 능력, 신체 진찰 능력, 환자 설명 및 교육 능력, 환자-의사관계 능력 점수를 구분하여 각각의 평균 점수를 계산하였다. 그리고 3회의 평가 중 OSCE 문항만을 분리하여 개별 문항에서 획득한 점수의 평균으로 비교하였다.

3. 통계 방법

본 연구는 졸업생 106명의 5가지 성적자료(기초의학, 임상의학, 임상종합평가, CPX, OSCE)를 이용하여 임상지식 수준과 임상실기 능력과의 관계를 분석하였는데, 2010년 졸업생과 2011년 졸업생들의 학사일정은 동일하였고 연도별 성적은 학년 평균에는 큰 차이가 없었으나, 성적자료 활용 시 평가 문항의 이질성을 고려하여 전체 대상 학생들의 개별 성적을 연도별 T점수로 변환하여 분석하였다. T점수 변환은 5가지 성적 점수에 대한 평균과 표준편차를 각각 구한 후 이를 바탕으로 개인별 Z점수(평균 0, 분산 1)를 산출한 다음 여기에 10을 곱하고 50을 더하여 범위가 20~80인 T점수를 계산하였다.

5가지 성적자료들 각각의 상호 간 관련 정도 및 CPX의 세부 평가 항목(병력 청취, 신체 진찰, 환자 설명 및 교육, 환자-의사관계)들에 대한 기초의학, 임상의학, 임상종합평가, OSCE 성적들의 관련성을 알아보기 위해 상관분석을 시행하 였다. 또한 CPX 및 OSCE 성적에 대한 기초의학, 임상의학, 임상종합평가 성적들의 관련성을 확인하기 위하여 회귀분석을 시도하였다. 그 외 CPX의 세부 평가 항목별 점수의 차이를 확인하기 위해 일원분산분석 및 사후검정을 시행하였다. 이상의 통계처리는 STATA version 11.0 (STATA Co., College Station, USA)으로 시행하였으며 결과에 대한 통계적 유의수준은 0.05 미만으로 하였다.

결과

1. 기초의학, 임상의학, 임상종합평가 성적과 임상실기 능력 점수와의 관계

학년별, 과목별 지필시험에 의해 평가된 기초의학 및 임상의학 성적의 원 점수 평균은 각각 3.10±0.72, 3.12±0.58 (범위, 0~4.5)이었고, 6회에 걸친 임상종합평가 성적의 원 점수 평균은 64.37±7.00 (범위, 0~100)점이었다. 실기 능력을 평 가한 CPX 문항들에 대한 원 점수 평균은 59.04±5.30 (범위, 0~100)점이었으며, OSCE 문항들에 대한 원 점수 평균은 74.32±5.19 (범위, 0~100)점이었다(Table 1).

The Original Scores and the Correlations by T Score between Medical Knowledge Examinations and Clinical Skill Scores

기초의학, 임상의학, 임상종합평가, CPX, OSCE의 5가지 학생평가 점수를 T점수로 환산하여 상관성을 분석한 결과 각각의 지표들은 상호 간 유의한 상관성을 보였다. 먼저 지필시험으로 평가된 기초의학, 임상의학, 임상종합평가 모두 서로 간 높은 상관성을 보였는데, 그 중 임상의학과 임상종합평가 성적 간의 상관성이 가장 높았다(r=0.803, p<0.001). 임상실기능력 평가인 CPX와 OSCE는 각각 기초의학, 임상의학, 임상종합평가 성적과 관련성을 보였는데, CPX와 기초의학(r=0.425, p<0.001), CPX와 임상의(r=0.438, p<0.001), 그리고 OSCE와 기초의학(r=0.496, p<0.001), OSCE와 임상의학 (r=0.545, p<0.001), OSCE와 임상종합평가(r=0.502, p<0.001) 간은 상대적으로 낮거나 중간 정도의 상관성을 보였다. 반면에 CPX와 임상종합평가 성적(r=0.547, p<0.001) 간이 가장 높은 상관성을 나타내었고, CPX와 OSCE 간이 가장 낮은 상관성(r=0.395, p<0.001)을 보였다(Table 1).

2. 진료수행 능력의 세부 평가 항목과 임상지식 수준과의 관계

실제 진료 상황과 유사한 CPX의 4가지 세부 평가 항목 간 T점수 비교에서 환자-의사관계 75.71±6.67 (범위, 20~80)점, 병력 청취 58.90±6.42 (범위, 20~80)점, 환자 설명 및 교육 54.69±9.35 (범위, 20~80)점, 신체 진찰 45.72±8.85 (범위, 20~80)점 순서로 4가지 항목 간에 각각 유의한 차이를 보였는데, 신체진찰 점수가 가장 낮았다(p<0.001, Table 2).

The Correlations between Medical Knowledge Examinations and Detail Scores of CPX

임상실기 평가에서 중요한 부분을 차지하는 CPX의 세부 항목과 의학지식 수준 간의 상관성을 보면 먼저 환자에 대한 병력 청취 능력은 기초의학 성적(r=0.406, p<0.001), 임상의학 성적(r=0.408, p<0.001), 임상종합평가 성적(r=0.435, p<0.001) 모두와 비교적 높은 상관성을 보였다. 신체진찰 능력은 임상의학 성적(r=0.238, p<0.001), 임상종합평가 성적(r=0.338, p<0.001), OSCE (r=0.231, p<0.001)와는 낮은 상관성이 있었으나, 기초의학 성적과는 유의한 상관성이 없었다. 환자 설명 및 교육 능력은 기초의학 성적(r=0.281, p<0.001), 임상의학 성적(r=0.270, p<0.001), 임상종합평가 성적(r=0.358, p<0.001)과 낮은 상관성을 보였으며 OSCE와는 유의하지 않았다. 환자-의사관계 능력은 기초의학 성적(r=0.215, p<0.001), 임상의학 성적(r=0.195, p<0.001), 임상종합평가 성적(r=0.312, p<0.001) 모두와 유의성은 있지만 낮은 상관성을 보였다(Table 2).

3. 임상실기 능력 점수와 관련된 의학지식 지필시험 내용

과목별 기초 및 임상의학, 통합적 임상종합평가 자료를 이용하여 임상수행능력 평가 성적과 관련된 요인을 확인하기 위해 회귀분석을 시도하였다. 기초의학, 임상의학, 임상종합평가 성적 모두 개별적으로는 CPX와 OSCE 성적과 상관성이 있었으나, 이들 3가지를 변수로 보정한 결과에서 CPX 성적은 3개의 성적자료로 약 29% (adjusted r2=0.290)를 설명할 수 있었으며, 3가지 성적 중 임상종합평가의 회귀계수가 0.538로 임상종합평가 점수가 1점 높을수록 CPX는 유의하게 0.538 증가함을 알 수 있었다(p<0.001). 그 외에 CPX 성적과 기초의학 및 임상의학 성적은 유의하지 않았다. OSCE 성적 또한 3개의 성적자료로 약 30% (adjusted r2=0.298)를 설명할 수 있었지만, 3가지 성적의 회귀계수 모두 유의하지 않았다(Fig. 1).

Fig. 1.

Factors Related with the Scores of Clinical Skill by Regression Analysis

고찰

의학과 학생들의 의학지식 관련 지필시험 점수와 의사국가고시 필기시험 성적과의 관련성을 분석한 국내 선행 연구들에서 학업 성적들이 유의하게 연관성이 있으며, 그 중 특히 4학년 때 시행한 통합적 임상종합평가시험이 의사국가고시 필기시험과 상관성이 높다고 확인되었고[8,9], Simon et al. [10]은 미국 의사국가고시 중 임상문제에 기초의학 지식을 적용하는 능력을 보는 1차시험 점수와 임상실기시험인 OSCE 점수 간의 관련 정도를 조사한 결과 상관성이 0.41 (p<0.001)임을 보고하였다. 본 연구의 대상이 된 기초의학 성적, 임상의학 성적, 임상종합평가, CPX, OSCE 5가지 학생평가 지표 모두 상관성 분석상 높고 낮음의 차이는 있었으나, 상호 간의 관련성을 보였다. 이는 기초의학, 임상의학, 임상실습과 수행 능력 교육의 모든 과정들이 기본적으로 서로 유기적으로 연결되기 때문일 것이다. 그러나 지필시험으로 평가된 기초의학, 임상의학, 임상종합평가 3가지 성적 서로 간은 높은 상관성을 보였으나, 이러한 지필시험 성적들은 CPX 및 OSCE 성적과 상관성은 있으나 상대적으로 낮았는데, 이는 학생들의 의학지식 정도와 지식을 환자에게 적용하는 능력 및 실제 수기 능력의 차이와 함께 환자-의사관계와 같은 실기시험만의 평가 기준이 존재했기 때문으로 생각된다.

학생들의 임상실기 점수와 관련된 의학지식 지필시험 내용을 보면 지필시험 중 임상종합평가 성적이 CPX와 가장 높은 관련성을 보인 것을 주목할 필요가 있다. 임상종합평가 성적이 개별 임상의학 성적에 비해 더 높은 상관성을 보인 것으로부터 종합적 임상지식이 개별 임상과목별, 질환별 지식에 비해 CPX에 좀 더 영향을 주는 것으로 생각할 수 있겠다. 다른 지표에 비해 상대적으로 낮은 CPX와 OSCE 간의 상관성은 OSCE가 진료의 특정 부분 또는 특정 수기에 대한 시술 능력만을 평가하는 것이므로 CPX와는 다른 차이점이 있다고 볼 수 있고, CPX의 4가지 세부 평가 항목 중 신체 진찰 점수가 가장 낮았다는 것으로부터 환자 증상에 따라 필요한 진찰항목을 적절히 선택하는지와 선택한 신체 진찰을 제대로 시행할 수 있는지 등이 지필시험으로는 평가할 수 없는 실기시험의 목적임을 확인할 수 있겠다. CPX의 세부 항목과 학생들의 의학지식 수준 간의 상관성 분석에서 병력 청취 능력은 기초의학, 임상의학, 임상종합평가 성적 모두와 비교적 높은 상관성을 보인 반면 신체 진찰, 환자 설명 및 교육, 환자-의사 관계 능력은 낮은 상관성을 보여 학생들의 의학지식 수준이 진료 수행 중 특히 병력 청취 능력과 상당히 연관됨을 알 수 있었다.

저자들은 본 연구에서 학생들의 임상실기 능력과 가장 의미 있게 관련성이 높은 의학지식 지필시험 내용이 무엇인지 알아보고자 각각의 지필시험 성적들을 변수로 회귀분석을 시도하였는데, 학생들의 OSCE 점수와 관련 있는 지필시험 성적은 없었으나, 임상종합평가 성적의 상승에 따라 CPX 점수가 유의하게 증가하는 것을 확인하였다. 이 결과로부터 효율적인 임상교육을 위해서는 개별 임상과목이나 질환별 접근보다는 환자의 주소에서 시작하여 종합적으로 환자의 문제를 정리하고 해결하는 방향으로 통합적 강의 및 이론 지필시험 그리고 환자진료 실습이 시행되어야 한다고 본다.

국내 의과대학 및 의학전문대학원에서 임상실기 평가가 시작된 초기에는 모의환자를 대상으로 한 병력 문진 및 진찰, 검사 결과의 해석, 모형을 대상으로 한 수기 등이 연결되거나 또는 개별적인 스테이션 단위로 배열된 OSCE 형식으로 시행되다가 최근 의사국가고시 실기시험의 도입과 함께 객관화되고 구조화된 진료문항과 수기문항으로 정립되었다. 2000년도 이후 임상실기 평가의 시작과 더불어 학교 성적과 실기시험 성적 간의 관련성을 분석한 기존 연구들을 살펴보면 시행 연도, 대상 학년과 학생 수, 실기시험의 형식, 비교한 학교 성적의 내용이 차이는 있지만 상관성이 없거나, 중간 정도이거나, 또는 높은 상관성이 있었다는 연구 결과들로 분류할 수 있다(Table 3). 먼저 상관성이 없다고 보고한 4개의 연구 중 3개는 대상 학생 수가 비교적 적으며, 비교한 이론 성적이 학년말 필답시험, 내과계 과목들만의 성적, 임상실습 성적을 포함한 4년간의 학교 성적이거나, CPX 평가 채점표가 본 연구와 차이가 있었다[6,11,12]. 상관성이 없었다는 결론의 다른 1개의 연구는 128명의 4학년 학생들을 대상으로 CPX 성적과 2~3학년 성적을 비교한 연구인데, CPX 총점과 학년 평균 성적 사이에 유의한 상관은 없고, 단지 CPX 사례별 점수와 개별 임상과목 중 일부에서 상관이 있었다고 보고하였다[7].

Review of Previous Studies about the Correlations between Written Examination and Clinical Skill

이론 지필시험과 실기시험 간의 상관성이 있음을 보고한 7편의 논문들 중 5편은 중간 정도, 2편은 높은 상관성을 보고하였다. 임상실습을 시작하기 전의 3학년 학생들과 임상실습을 마친 4학년 학생들을 대상으로 OSCE 형식의 실기시험 성적과 전과목 성적을 비교한 연구에서 4학년은 비교적 높은 관련성(0.53, p<0.001)을, 3학년은 약한 상관성(0.30, p<0.01)을 보였고, 임상실습을 마친 4학년들이 3학년에 비해 신체검사와 문진영역 점수와의 상관성이 높다고 보고하였다[13,14]. 이 결과는 학생들의 의학지식 수준이 CPX 중 특히 병력 청취 능력과 높은 연관성을 보인 본 연구와 일치한다고 볼 수 있지만, 상반된 결과를 보인 연구도 있다. 4학년들을 대상으로 시행한 CPX 성적과 3학년 때의 성적을 비교한 연구에서 병력 청취, 진찰 소견에서는 유의한 상관관계를 보이지 않았고, 진단과 관리에서 유의한 상관관계(0.30, p<0.01)를 보였으며, 전반적 진찰술기(0.28, p<0.05) 간에 유의한 상관관계를 보였다는 연구이다[15]. 실기시험 성적과 전체 학교성적을 비교하는 것보다 학생들의 실기 능력과의 관련성이 높을 것으로 생각되는 지필시험 점수를 비교한 연구들이 있었는데, 3학년들을 대상으로 시행한 OSCE 중 내과학 관련 6개 스테이션의 총점과 학년말에 치른 내과학 기말시험 성적(0.335, p=0.002), 내과학 임상실습 성적(0.326, p=0.002) 및 임상증례시험 성적(0.421, p=0.000) 모두 유의한 상관관계가 있었다는 연구가 있고[16], 3학년들에게 시행한 CPX 총점이 학년말 전체 평점과 뚜렷한 선형 상관관계가 있으면서 실습평가 방법인 내과의 슬라이드시험, 소아과와 산부인과의 OSCE 성적과 유의한 상관관계가 있었다는 보고였다[17]. 그리고, 의사국가고시 필기성적과 OSCE 성적을 비교한 연구가 있는데, 2002년부터 2004년까지 졸업한 학생들의 의사국가고시 필기시험 성적과 4학년 때 시행한 OSCE 성적의 비교에서 상관계수가 0.313~0.605 정도로 분석되었다[18]. 선행 연구들 중 4학년들을 대상으로 시행한 CPX와 OSCE의 합산 성적이 4년간의 교과목 성적(0.579, p<0.01), 임상실습 성적(0.570, p<0.01), 졸업시험 성적(0.465, p<0.01) 순으로 상호 관련성을 보인다고 발표한 연구가 있었는데[19], 모두 유의한 상관성을 보인 것은 본 연구 결과와 일치한다고 볼 수 있다. 이상의 연구들은 국내에 임상실기 평가가 도입되면서 평가 문항과 평가 방식 그리고 평가자의 질적 타당성을 분석하면서 도출된 결과들이며, 대상 학생들은 의사국가고시에 실기시험이 실행되기 전이었음을 고려해볼 필요가 있다. 본 연구는 의사국가고시에 처음으로 실기시험이 도입된 2010년 이후 2년 동안의 졸업생들을 대상으로 한 것으로 학생들의 CPX/OSCE에 임하는 긴장도가 어느 정도 차이가 있었음을 감안해야 할 것이다.

저자들은 학생들의 기초의학 및 임상의학 그리고 종합적인 임상의학지식 수준을 평가하는 임상종합평가 성적과 임상실기시험 간의 상관성을 분석하여 효율적인 임상실기 교육에 필요한 의학지식 내용에 대한 자료를 얻고자 하였다. 과목별 임상의학 점수보다 통합적인 임상종합평가 점수가 상승할수록 CPX 점수가 증가하였다는 본 연구의 결과로부터 개별 임상과목이나 질환별 접근보다 종합적으로 환자의 문제를 파악하고 해결할 수 있는 통합적 임상지식을 바탕으로 CPX/OSCE 교육 및 평가를 적용하는 것이 효율적인 임상실기 교육 방법임을 확인할 수 있었다.

References

1. Wilkerson L, Lee M. Assessing physical examination skills of senior medical students: knowing how versus knowing when. Acad Med 2003;78(10 Suppl):S30–S32.
2. Kramer AW, Jansen JJ, Zuithoff P, Düsman H, Tan LH, Grol RP, van der Vleuten CP. Predictive validity of a written knowledge test of skills for an OSCE in postgraduate training for general practice. Med Educ 2002;36:812–819.
3. Remmen R, Scherpbier A, Denekens J, Derese A, Hermann I, Hoogenboom R, van der Vleuten C, van Royen P, Bossaert L. Correlation of a written test of skills and a performance based test: a study in two traditional medical schools. Med Teach 2001;23:29–32.
4. Kim MS. Adoption of clinical skills examination: the challenge of National Health Personnel Licensing Examination Board. Korean J Med Educ 2009;21:215–216.
5. Park H. Clinical skills assessment in Korean Medical Licensing Examination. Korean J Med Educ 2008;20:309–312.
6. Choi EJ, Sunwoo S. Correlations of clinical assessment tools with written examinations. Korean J Med Educ 2009;21:43–52.
7. Hur Y, Kim S, Park SW. The correlation between CPX and written examination scores in medical students. Korean J Med Educ 2007;19:335–341.
8. Ahn SS, Seo YK, Baek SE, Bae SY, Seol JH, Lee HY, Park EC. The correlation of grade point average of medical school and the score of Korean Medical Licensing Examination. Korean J Med Educ 2004;16:25–32.
9. Kim MS, Uh Y, Lee JI, Chang SJ, Park KC, Park JY, Hong IS, Kang SJ. Correlation between the academic score, the trial examination score, and the Korean Medical Licensing Examination score. Korean J Med Educ 2005;17:73–82.
10. Simon SR, Volkan K, Hamann C, Duffey C, Fletcher SW. The relationship between second-year medical students' OSCE scores and USMLE Step 1 scores. Med Teach 2002;24:535–539.
11. Park GH, Oh JH, Park YH, Lim YH, Lee SN, Park CY, Kim SS, Lim YS, Lee YD, Kim YI. Experience with clinical performance examination using standardized patients at Gachon Medical School. Korean J Med Educ 2005;17:151–162.
12. Park KH, Chung WJ, Hong D, Lee WK, Shin EK. Relationship between the clinical performance examination and associated variables. Korean J Med Educ 2009;21:269–277.
13. Park H, Han J, Park M, Oh J. Comparison of results from objective structured clinical examinations for medical students performed before and after clinical clerkship. Korean J Med Educ 2004;16:63–71.
14. Han JJ, Park H, Eo E, Yoo K, Lee D, Jung WS. An OSCE for summative assessment after clinical clerkship: experience in Ewha Medical School. Korean J Med Educ 2004;16:33–40.
15. Kim JJ, Lee KJ, Choi KY, Lee DW. Analysis of the evaluation for clinical performance examination using standardized patients in one medical school. Korean J Med Educ 2004;16:51–61.
16. Lee SH, Jeon SY, Kim JR, Kim HJ. Experience of objective structured clinical examination in Gyeong-Sang National University College of Medicine. Korean J Med Educ 2005;17:249–256.
17. Park WB, Lee SA, Kim EA, Kim YS, Kim SW, Shin JS, Lee YS. Correlation of CPX scores with the scores of the clinical clerkship assessments and written examinations. Korean J Med Educ 2005;17:297–303.
18. Jung KH, Jung HK, Lee K. The relationship between senior year examinations at a medical school and the Korean Medical Licensing Examination. Korean J Med Educ 2009;21:17–22.
19. Koh SB, Park HJ. The correlation between the scores of written examination, the clinical clerkship examination, the clinical skill assessment, and the graduation examination of the medical students. Korean J Med Educ 2009;21:347–352.

Article information Continued

Fig. 1.

Factors Related with the Scores of Clinical Skill by Regression Analysis

Table 1.

The Original Scores and the Correlations by T Score between Medical Knowledge Examinations and Clinical Skill Scores

Assessments Original score Correlations by T score


Full mark Mean±SD CM GA CPX OSCE
MK BM 4.5 3.10±0.72 0.794a) 0.659a) 0.425a) 0.496a)
CM 4.5 3.12±0.58 - 0.803a) 0.438a) 0.545a)
GA 100 64.37±7.00 - 0.547a) 0.502a)
CS CPX 100 59.04±5.30 - 0.395a)
OSCE 100 74.32±5.19 -

SD: Standard deviation, CM: Clinical medicine, GA: Graduation assessment, CPX: Clinical performance examination, OSCE: Objective structured clinical examination, MK: Medical knowledge, BM: Basic medicine, CS: Clinical skill.

a)

Pearson correlation coefficient, correlation is significant at the 0.05 level (2-tailed).

Table 2.

The Correlations between Medical Knowledge Examinations and Detail Scores of CPX

Detail T score (Mean±SD) p-value Correlations by T score

BM CM GA OSCE
HT 58.90±6.42 <0.001 0.406a) 0.408a) 0.435a) 0.283a)
PE 45.72±8.85 0.170 0.238a) 0.338a) 0.231a)
ED 54.69±9.35 0.281a) 0.270a) 0.358a) 0.155
PPI 75.71±6.67 0.215a) 0.195a) 0.312a) 0.353a)

p-value was calculated by one way ANOVA with post hoc analysis.

CPX: Clinical performance examination, SD: Standard deviation, BM: Basic medicine, CM: Clinical medicine, GA: Graduation assessment, OSCE: Objective structured clinical examination, HT: History taking, PE: Physical examination, ED: Patient education, PPI: Patient-physician interaction.

a)

Pearson correlation coefficient, correlation is significant at the 0.05 level (2-tailed).

Table 3.

Review of Previous Studies about the Correlations between Written Examination and Clinical Skill

Study Medical student Assessment type Correlation result


Year Grade No. Written exam Skill
No correlation
 Park et al., 2005 [11] 2003 3rd 36 3rd year GA OSCE  -0.13 (p>0.01)
 Choi et al., 2009 [6] 2005 4th 39 1st~4th year SRa) CPX  0.11 (p>0.05)
 Hur et al., 2007 [7] 2005 4th 128 2nd~3rd year SR CPX  0.14 (p>0.05)
 Park et al., 2009 [12] 2007 4th 38 1st, 3rd year SRb) CPX BM 0.08, CM 0.03 (p>0.05)
Middle correlation
 Jung et al., 2009 [18] 2002~4 4th 165 KMLE OSCE  0.31~0.61 (p<0.05)
 Park et al., 2004 [13] 2003 3rd 77 1st~3rd year SR OSCE  0.30 (p<0.01)
 Kim et al., 2004 [15] 2003 4th 79 3rd year SR CPX  0.28 (p<0.05)
 Lee et al., 2005 [16] 2004 3rd 85 IMc) OSCE  0.33~0.42 (p<0.01)
 Park et al., 2005 [17] 2005 3rd 230 3rd year SR CPX  0.32 (p<0.01)
High correlation
 Han et al., 2004 [14] 2003 4th 98 1st~4th year SRa) OSCE  0.53 (p<0.05)
 Koh et al., 2009 [19] 2008 4th 51 1st~4th year SRa) CPX/OSCE SR 0.58, GA 0.47 (p<0.01)

GA: Graduation assessment, OSCE: Objective structured clinical examination, SR: School record, CPX: Clinical performance examination, BM: Basic medicine, CM: Clinical medicine, KMLE: Korean medical license examination score, IM: Internal medicine.

a)

Including clerkship scores,

b)

1st year basic medicine scores, 3rd year written examination and clerkship scores of only internal medicine and pediatrics,

c)

Scores of final term examination, clerkship performance and case conference examination in internal medicine.