Abstract
-
Purpose:
The Lee Jong-Wook Seoul Project, which began in 2011, is a training program that aims to educate faculty members of Lao University of Health Sciences in medical knowledge and skills. The project has tremendous significance, attempting to apply the Korean health care developmental model to developing countries. Precise evaluation of the project outcome must be performed to enhance the effectiveness, improve the shortcomings, and adjust the future direction of the program.
-
Methods:
Trainers and exchange professors were asked to fill out questionnaires in the middle and at the end of the program. Eight months after its completion, an evaluation team visited Lao and interviewed each exchange professor individually. Also, 360-degree feedback was obtained from their colleagues. We analyzed the answers to the questionnaires, based on Kirkpatrick’s 4-level model.
-
Results:
The trainers and exchange professors had positive reactions to the program. All participants felt that their knowledge and skills improved (in their respective fields), although the actual improvement was not extensive, according to their trainers' assessments. The 360-degree feedback demonstrated that the participants actively passed on their experience, knowledge, and skills to their colleagues on returning to work.
-
Conclusion:
Although a 4-level evaluation was not conducted and despite the limitations in examining academic achievement, interviewing Lao professors, and acquiring quantitative data at Lao University of Health Sciences, this project has demonstrated its value in the development of individual professors and their colleagues.
-
Key Words: Official development assistance, Lee Jong-Wook Seoul Project, Kirkpatrick’s four-level evaluation model, Lao People's Democratic Republic, University of Health Sciences
서론
공적개발원조(official development assistance, ODA)란 국가 차원에서 자금의 증여 및 차관, 인력과 기술의 원조 등을 통해 개발도상국 또는 국제기관의 경제발전을 도모하는 선진국들의 지원정책으로, 1940년대부터 오늘날까지 지속되는 대표적인 국제협력사업이다. 경제협력개발기구(Organization for Economic Cooperation and Development, OECD)의 개발원조위원회(Development Assistance Committee, DAC)는 DAC의 ODA 수원국 및 다자간 기구에게 지원되는 재원 흐름에 대하여 1) 공공기관 또는 실시기관에 의해 제공되고, 2) 개발도상국의 경제발전과 복지증진을 목적으로 하며, 3) 증여율이 25% 이상인 양허성조건의 자금인 경우 ODA로 정의하고 있다[
1]. 우리나라는 정부수립 이후부터 1990년대 초까지 원조수혜국이었으나, 국제연합개발계획(United Nations Development Program)의 기술협력분야 분류에 따라 1992년에 원조공여국이 됨으로써, 약 반세기만에 원조수혜국에서 원조공여국으로 자리바꿈하게 되었다. 이후 꾸준하게 ODA의 공여 규모를 확대해 왔고, 2009년 11월 25일에는 마침내 세계의 ODA를 선도하는 OECD/DAC의 24번째 회원국으로 가입하게 되었다[
2].
‘이종욱-서울 프로젝트’는 우리나라가 원조를 받던 국가에서 원조를 주는 국가로 바뀐 우리의 위상을 단적으로 보여주는 사업이다. 이 사업에 대한 성격은 ‘이종욱-서울 프로젝트 1차년도 교육프로그램 및 교육훈련 성과평가 보고서[
3]’에 자세히 소개되어 있다. 이종욱-서울 프로젝트는 1954년 9월부터 1961년 6월까지 시행된 미국국제협력처(International Cooperation Agency)의 전후 복구 지원 프로그램인 서울대학교 프로젝트(우리나라에서는 흔히 ‘미네소타 프로젝트’라고 지칭됨)의 정신을 이어받아 시작되었고, 2003년 1월부터 2006년 5월까지 세계보건기구(World Health Organization, WHO) 사무총장을 지낸 이종욱 박사를 기리기 위해 한국국제보건의료재단이 운영하고 있는 이종욱 펠로우십의 일환이기도 하다고 보고서에서 기술하고 있다[
3]. 또한 조금 더 넓은 의미에서 이 프로젝트는 한국의 보건의료 발전 모델을 개발도상국에 적용하는 중요한 시도로 받아들여지고 있을 뿐만 아니라 유사한 원조 프로젝트가 여러 국가들로 확대되고 있다는 점에서 그 중요성을 더한다.
라오스의 현황을 살펴보면, 라오스는 높은 빈곤율, 낮은 인구밀도, 문화적 다양성 등으로 인해 대부분의 인구가 보건의료시스템에 대한 접근에 어려움을 겪고 있다. 또한 유일한 국립의대인 University of Health Sciences (UHS)조차 1) 시설과 교수 수에 비해 과다한 학생 수, 2) 실습실이나 교실 등 교육 시설의 부족, 3) 교육 자료와 장비의 부족, 4) 교수들의 전문역량 미비라는 어려움에 직면하고 있다[
3]. 이러한 배경에서 이종욱-서울 프로젝트는 2010년 11월 1일, 서울대학교 의과대학과 UHS 간에 개발도상국의 의학 및 의료기술 교육을 위한 양해각서를 체결한 후, UHS에 대한 교육 프로그램으로 구체화되었다. 이종욱-서울 프로젝트 운영위원회는 UHS의 젊은 교수들을 초청 연수하는 사업을 다년 간에 걸쳐 시행함으로써, 교육, 연구, 진료의 전반적 영역에 걸쳐 교수들의 역량을 강화하는 것을 프로젝트 목표로 설정하였다.
2010년 12월부터 2011년 12월까지 이루어진 이종욱-서울프로젝트 1차년도 사업의 개요는 다음과 같다. 양해각서 체결후 UHS에서 8명의 교환교수를 선발하였으며(
Table 1), 출국 전 약 5일간의 사전 오리엔테이션을 실시하였다. 선발된 교환교수들은 2010년 12월 말부터 사전에 조사된 전공과 희망분야에 따라 서울대학교 의과대학/서울대학교병원에서 교육을 받았는데, 이들 중 6명은 1년간 교육을 받았고, 2명의 교환교수는 6개월간 교육을 받은 후 귀국하였다. 교환교수에게는 1년간 이들의 교육을 지속적으로 담당할 지도교수가 일대일로 배정되었다. 각 지도교수가 담당한 전공 교육은 8명의 교환교수의 전공이 모두 달랐기 때문에 교환교수별로 서로 다르게 진행되었다. 구체적인 교육 방법과 교육 시간은 교환교수와 지도교수가 협의하여 결정하였으며, 지도교수는 교육 환경과 교육 내용에 따라 강의, 세미나 참석, 실습, 토론, 문헌 검토 등의 다양한 방법을 활용하여 연수생을 지도하였다. 이종욱-서울 프로젝트 1차년도 교육을 마친 후에는 라오스 현지에 교육 효과를 뿌리 내리고 확장하기 위해 귀국하는 길에 연구기자재를 가지고 갔다.
이 프로젝트의 목표는 일차적으로 라오스 UHS 교환교수들의 교육, 연구 및 진료 역량을 강화시키고, 궁극적으로는 교환교수들이 귀국한 후 그 역량을 타 교수들 및 대학에 전이하게 함으로써 UHS의 발전을 도모하는 것에 있다. 따라서 서울대학교 의과대학과 한국국제보건의료재단은 이종욱-서울 프로젝트가 제대로 시행되어 목표한 성과를 달성하도록 다각도로 심혈을 기울이고 있으며, 이 프로젝트의 1차년도 사업에 대한 성과 평가 사업이 약간의 시차를 두고 병행되어 이루어졌다. 서울대학교 의과대학 교수진과 한국국제보건의료재단 관계자로 구성된 이종욱-서울 프로젝트 운영위원회는 2011년 5월 본 프로젝트의 단기 및 중장기 효과를 평가하고 프로그램을 지속적으로 개선하기 위해 평가팀을 구성하였다. 평가팀은 라오스 보건상황 및 UHS에 대한 문헌조사, 현지 방문 관계자 면담 및 설문조사, 교환교수와 지도교수에 대한 면담 및 설문조사 등을 통하여 평가를 위한 기초자료를 수집하였다.그리고 수집한 자료를 바탕으로 해당 교육 프로그램의 효과성을 평가하여 프로그램의 개선 방향을 제시하고, 나아가서 UHS에 미치는 성과를 평가하여 이종욱-서울 프로젝트의 미래 방향에 대해 총괄적인 의사결정을 하기 위한 기초자료로삼고자 하였다.
성과 평가의 질을 높이기 위해서는 무엇보다 객관적이고 구체적인 평가방법론을 적용한 사업성과 평가 모형을 활용하는 것이 중요하다. 공적개발원조 평가의 객관적 기준에는 대표적으로 OECD/DAC의 5대 평가기준과 원조효과성에 관한 파리선언의 5개 준거가 있다[
4,
5]. 그러나 국제적 기준을 모두 충족시키는 평가를 수행하기에는 아직 이종욱-서울 프로젝트 3차년도 과정이 진행 중에 있고, 시기적으로도 2013년 8월 현재 1차년도 연수생이 귀국 후 1년 9개월이 되었다는 점을 감안하면 한계가 있다. 따라서 본 연구에서는‘투입(input)-활동(activity)-산출(output)-성과(outcome)-영향(impact)’의 모형에서 성과(outcome)를 중심으로 평가를 하되, 이를 참가자의 반응(reaction), 학습(learning), 전이(transfer: 학습한결과의 현장 적용), 결과(result: 업무현장에서 일어난 변화)의 4개 레벨로 파악하는 Kirkpatrick 모델을 활용하고자 하였다.
평가에 활용한 Kirkpatrick의 4단계 평가 모형(
Fig. 1)은 1959년 처음 발표된 이후[
6] 공공 영역, 비즈니스 영역 등 여러 분야에서 교육 훈련 프로그램의 성과를 평가하기 위한 도구로서 사용되어 왔기에 그 유용성이 어느 정도 검증되었다고 볼 수 있다. 비록 개개인의 차이나 환경에 의한 영향에 대한 고려가 적은 점, 각 단계가 인과관계에 있다고 보는 점, 그리고 상위 단계로 갈수록 중요하다고 보는 점 등에 대한 비판이 있는 것도 사실이나[
7], 복잡한 훈련 프로그램의 평가를 교육과 학습의 논리에 따라 직관적으로 이해하고 평가할 수 있도록 기여한다는 장점이 있어 여전히 널리 사용되는 평가 모델 중 하나이다. 또한 의학 및 의료 분야 훈련 프로그램의 평가에도 적용이 가능하여, 간호사의 실무교육 프로그램[
8]이나 의료계 교수들에 대한 시뮬레이션 기반 교육(simulationbased healthcare education)의 효과 평가[
9]에 Kirkpatrick의 4단계 모형을 활용한 논문도 보고된 바 있다.
본 연구에서는 이종욱-서울 프로젝트의 1차년도 사업에 대해서 Kirkpatrick의 4단계 평가 모형을 활용하여 1차년도 사업의 성과를 평가하고자 하였다. 4단계 모형의 최상위에 위치한 결과(Result)는 조직 수준에서 장기적이고 광범위한 평가를 요하기 때문에, 아직 사업이 진행 중임을 고려할 때 시기적으로 평가하기 적절하지 않다고 판단하여 1단계부터 3단계까지의 평가에 중점을 두었다.
대상 및 방법
1. UHS의 현황 조사
이종욱-서울 프로젝트 1차년도 사업의 평가팀은 향후 프로젝트가 미칠 영향과, 이에 따른 UHS의 장기적인 변화 추적의 기준선(baseline)을 설정하고자 하였다. 이를 위한 자료 수집 목적으로 2011년 10월 16일부터 21일까지 직접 라오스 현지를 방문하여 UHS의 구성과 조직, 교육 과정 등 전반적인 현황을 조사하였다. 구체적으로는 UHS의 교육 현황을 분석하기 위하여 수업을 참관하였고, 실습실, 도서관, 병원 등의 교육 시설을 확인하였으며, UHS 교수 및 학생들을 대상으로 한 focus group interview와 설문조사를 실시하였다.
2. 교육에 대한 반응과 학습 평가
Kirkpatrick 4단계 평가모형의 1단계(반응)와 2단계(학습)평가를 위하여 1차년도 사업이 진행되는 과정에서 두 번의 평가(중간 평가, 최종 평가)를 시행하였다. 평가를 위한 설문조사는 8명의 지도교수(서울대학교 의과대학 교수진)와 8명의 교환교수(UHS 교수진)에게 요청하였으며, 중간 평가는 2011년 7월 27일부터 8월 8일에 걸쳐 실시되었고 최종 평가는 2011년 11월 24일부터 12월 2일에 걸쳐 실시되었다. 객관식문항은 주로 5단계 척도를 사용한 가운데, 일부 문항에 따라 100점을 최고점으로 한 점수화 방식을 활용하였다.
1단계(반응) 평가에서는 교육 프로그램에 대한 주관적인 반응을 평가하고자 하였다. 교육 프로그램 전반에 대한 평가를 위해서 교육의 진행, 교육의 기여도, 2차년도 재참가 의사 등을 설문하였으며, 교육 프로그램에 대한 만족도를 가늠해 볼 수 있는 한 지표로서 교환교수의 참여태도를 설문하였다. 2단계(학습) 평가는 교환교수의 의학기본지식과 의학전공지식 향상에 대하여 설문하였다. 서론에서 기술한 바와 같이, 교육은 지도교수에 따라 교환교수마다 서로 다르게 이루어졌기 때문에, 2단계 평가에서 지도교수 응답은 자신이 담당한 교환교수의 학습에 대한 평가이며, 교환교수 응답은 학습에 대한 자기 평가의 의미를 갖는다고 볼 수 있다.
3. 교육 후 교환교수의 현장 전이 평가
Kirkpatrick 4단계 평가모형의 3단계(전이) 평가는 교육 종료 후 수행되며, 이번 사업의 평가에서는 1차년도 교환교수가 프로그램을 수료하고 라오스로 돌아간 약 8개월 후인 2012년 8월 6일부터 8일까지 시행하였다. 단, 6개월의 연수 후 귀국한 교환교수에 대한 평가는 2011년 10월 UHS 현황 조사를 위한 방문에서 실시하였다. 3단계(전이) 평가는 교환교수들이 학습했던 내용을 실제 라오스 환경에서 어느 정도 활용하고 있는 지, 그리고 주변에 전이는 어떻게 이루어지고 있는지를 평가하는 것을 목적으로 하였다. 이를 위해 1차년도 교환교수를 대상으로 현업 적응 및 전이에 대한 인터뷰를 시행하였으며, 그들의 동료를 대상으로 360도 다면평가를 실시하였다.
결과
1. 교육 프로그램 성과 평가
1) 1단계 평가: 반응(reaction)
지도교수와 교환교수들의 교육 프로그램에 대한 반응을 알아보기 위하여 네 가지 항목에 대해 총 11개의 문항을 설문였다(
Table 2). 교환교수에 대한 교육은 이들의 전공에 따라 지도교수, 교육 시간, 교육 내용, 교육 방법 등이 모두 달랐기 때문에, 반응에 대한 평가 결과는 1차년도에 이뤄진 교육 전반에 대한 교수들의 평균적인 인식이라고 할 수 있다. 응답 결과를 보면 거의 모든 문항에서 교환교수가 지도교수보다 긍정적으로 응답하였다. 즉, 교환교수는 대부분의 문항에서 평균 4점 이상으로 응답한 반면, 지도교수는 중간 평가에서는 10개 문항 중 8개, 최종 평가에서는 10개 문항 중 5개에서 평균 3점대의 응답 결과를 보였다.
지도교수가 설정한 교육 목표와 교환교수가 설정한 학습목표는 대체로 일치하였으며, 큰 틀에서 이종욱-서울 프로젝트의 목표에 맞추어 교육, 연구, 진료를 포괄하고자 하였다.기초의학 분야에서는 그 중 교육과 연구 영역에 중점을 두었는데, 예를 들면 미생물학의 경우 지도교수와 교환교수 모두‘서울의대 미생물학 관련 커리큘럼을 경험 및 습득하는 것’과 ‘실험기구 사용을 익히고 연구 방법 및 원리를 습득하는 것’을 주요 목표로 설정하였다. 한편 임상의학 분야의 교육은 주로 다양한 증례를 경험함으로써 진단과 연구 역량을 향상시키는 것에 조금 더 초점을 두고 진행되었다. 예컨대 내분비학의 교육 목표 및 학습 목표를 보면, 지도교수와 교환교수는 공통적으로‘내분비질환(당뇨, 갑상선질환, 골다공증 등)의 진단 및 치료법 습득’과 ‘임상 연구 방법 습득’을 목표로 설정하였다.
따라서 지도교수와 교환교수는 전공분야에 따른 구체적 내용에서는 차이가 있으나, 전반적으로 유사한 목표를 두고 교육프로그램에 임하였다고 볼 수 있다. 교육 목표 도달 정도에 대한 교수들의 응답을 보면, 상대적으로 중간 평가 시점에 비해서 최종 평가 시점에서 도달 정도를 높게 평가한 것은 두 교수그룹에서 공통적이었으나, 그 점수에 있어서 교환교수가 더 높게 평가하였다. 이와 같은 경향은 교육 프로그램으로 인한 지식수준 향상에 대한 설문문항에서도 비슷하게 나타났다(
Table 3).
프로그램의 기여도를 물었을 때 지식․술기, 교수법 영역에 있어서의 향상은 긍정적으로 평가하였으나, 연구능력이나 진료능력 향상에 대해서는 두 교수그룹 모두 저조한 평가를 내렸다. 재참가 의사는 지도교수보다는 교환교수 그룹에서 더 높게 나타났다.
교환교수의 참여 태도에 대해서는 교환교수들은 스스로의 태도에 대해 모든 문항에서 4점 이상으로 높게 평가한 반면, 지도교수는 교환교수의 태도를 일부 문항에서 3점대로 평가하는 차이를 보였다.
2) 2단계 평가: 학습(learning)
2단계에 해당하는 학습에 대한 평가는 대개 교육 프로그램 이수 전 후의 Pre-test와 Post-test 사이의 향상을 비교하나, 이종욱-서울 프로젝트는 각 교환교수의 전공분야가 다양하고 각기 다른 지도교수에 의한 교육 과정을 거쳤기 때문에 공통된 시험문항을 사용하는 방식의 학습 평가를 활용하기에는 한계가 있었다. 대신 교환교수와 지도교수를 대상으로 교환 교수의 지식향상에 대한 설문조사를 수행함으로써, 학습 정도를 평가하는 것에 있어 교환교수의 자기 평가와 지도교수가 관찰한 향상도를 종합적으로 고려하는 방법을 선택하였다. 교환교수의 학습에 대한 평가는 크게 의학기본지식과 의학전공지식으로 나누어 각각 네 가지 문항으로 설문하였다. 학습에 대한 설문 결과에서도 반응에 대한 설문 결과에서 얻어진 것과 유사한 양상이 나타났는데, 교육 프로그램 시작 시점에서의 지식 수준뿐만 아니라, 교육 프로그램 진행에 따른 지식습득, 지식의 점수화 문항 모두에서 교환교수들이 더 긍정적인 응답을 하였다(
Table 3).
3) 3단계 평가: 행동(behavior)
세 번째 단계인 행동에 대한 평가는 2011년 10월의 현지방문,그리고 2012년 8월의 현지 방문평가에서 이루어진 1년차 교환교수 및 그들의 동료를 대상으로 한 면담 자료를 기반으로 하였다. 면담을 통하여 얻은 평가를 교육 관련 행동 변화와 진료 관련 행동 변화로 나누어 세부 분류하였다(
Tables 4,
5). 두 차례의 교환교수 및 동료 면담 결과를 종합해 본 결과 전반적으로 교환교수들이 동료 교수들 사이에서 긍정적인 평가를 받고 있으며, 또한 좋은 영향을 미치고 있다는 것을 확인할 수 있었다.
Kirkpatrick의 4단계 모형을 활용한 교육 프로그램의 성과평가 외에도, 향후 이어질 이종욱-서울 프로젝트 차기 년도의 성과를 향상시키기 위해서는 이종욱-서울 프로젝트 1차년도 사업 운영상의 미비점을 찾고, 이를 개선하기 위한 평가가 필요할 것이다. 1차년도 사업 운영에 대한 평가는 프로그램의 진행 과정에 따라 총 네 단계로 구분하였다(
Table 6).
우선 교환교수 선발 과정에서 1차년도 교환교수의 선발은 라오스 보건부 및 UHS 추천을 통해 이루어졌다. 이 과정에서 양해각서 체결 후 프로젝트 시작까지의 기간이 짧아 라오스 현지의 요구에 따른 교환교수 전공 분야에 대한 우선순위가 충분히 고려되지 않은 채 선발이 된 것이 가장 중요한 문제로 지적되었다. 제한된 시간으로 인한 문제는 사전교육에도 영향을 주었는데, 2010년 11월 30일부터 12월 4일까지 단기간 진행된 탓에 충분한 오리엔테이션과 안내가 이루어지지 못하였다는 지적을 받았다.
일반적으로 ODA 사업에서는 수원국의 요구를 파악하는 것이 중요하며, 교육 프로그램에서도 교환교수의 요구에 맞는 교육 목표 및 학습 목표 설정은 대단히 중요하기 때문에, 각 교환교수와 지도교수들은 교육 시작 전 협의를 통한 목표설정이 권장되었다. 대부분의 교수들이 이 권고를 따랐음에도 불구하고, 교육 목표 및 학습 목표는 라오스 현지의 상황을 충분히 고려하지 못한 채 설정된 측면이 있었다. 마지막으로 프로젝트의 양적 확대와 질적 개선의 필요성이 제기되었는데, 8명의 교환교수의 숫자는 양적 측면에서 충분하지 않으며, 차후에는 학위 과정 개설을 통해 프로그램의 다양성을 확보해야 한다는 의견이 주를 이뤘다.
고찰
서론에서 기술한 바와 같이 이종욱-서울 프로젝트는 1950년대에 시행된 미국국제협력처의 전후 복구 지원 프로그램인 서울대학교 프로젝트의 정신을 이어받고자 하였으며, WHO사무총장을 지낸 이종욱 박사를 기리기 위해 한국국제보건의료재단이 운영하고 있는 이종욱 펠로우십의 일환이기도 하다.이러한 프로젝트의 도입 취지를 살리고 프로젝트가 추구하는 목표를 달성하기 위해서는 향후 중장기 사업으로 진행되어야 할 것이다. 또한 이 사업을 통해 장기적으로 대한민국의 위상을 제고할 수 있도록 2011년도에 1차년도 사업을 실시한 결과를 앞으로의 사업 진행에 초석이 되도록 활용해야 하며 이를 위해서는 1차년도 사업에 대한 평가와 그에 따른 시사점을 제대로 도출할 필요가 있다.
우선 앞에서 서술한 결과를 정리하여 볼 때, 1단계에서 각 분야에 대한 프로그램의 기여도와 교육 참여 태도를 평가한 바에 따르면 참여한 교수들의 주관적 만족감은 높은 수준인것으로 판단된다. 2단계에서 평가한 의학기본지식과 의학전공지식은 모두 향상된 것으로 나타났으며, 이 같은 향상은 자기 평가뿐만 아니라 지도교수에 의한 평가에서도 확인할 수 있었다. 이 밖에도 기초의학 실험 기술 또는 초음파 기기 활용과 같은 임상 술기가 향상되었다는 것이 2단계 평가의 주관식 응답에서 언급되었다. 3단계에서 평가한 교육, 연구, 진료에 관한 행동 변화 지표에서도 교환교수들은 라오스의 제한적인 환경에도 불구하고 많은 노력을 하고 있고 적지 않게 변화된 모습을 보여주고 있음이 나타났다.
1단계에 대한 평가는 수행이 용이한 그 특성상 다른 연구들에서도 높은 비율로 이루어지며, 비록 Kirkpatrick 모형을 활용하지 않더라도 의학 교육과 관련한 많은 평가에서 Kirkpatrick 1단계에 상당하는 주관적 반응을 확인한다[
10]. 연구마다 평가문항은 참여도, 만족도, 유용성, 어려움 등으로 다양하며, 주로 분석에 편리한 점수 척도를 활용하는 경우가 많다[
8,
9,
11,
12]. 이번 연구에서는 기여도와 참여도에 대한 답변을 '매우 그렇다, 그렇다, 보통, 그렇지 않다, 매우 그렇지 않다'의 5단계로 하여 설문하였고, 이러한 형식은 이종욱-서울 프로젝트의 차기 연차에서도 주관적 반응의 평가에 활용될 수 있을 것으로 생각된다. 하지만 다른 연구와 같이 점수화된 척도를 도입하거나, 기존의평가 문항을 조금 더 다양화 하는 것을 고려해 볼 필요가 있다.
이번 연구의 2단계 평가는 지도교수와 교환교수의 주관 적평가에 의하여 이루어졌다는 특징이 있다. 이에 대하여 시험을 통한 객관적 학습 평가보다 정확하지 못할 수 있다는 한계를 지적할 수 있지만 주관적 학습 평가 역시 실제 성과와 높은 상관관계를 가질 수 있음이 보고된 바 있다[
13,
14]. 주관적 학습 평가의 또 다른 유용성은 자기효능감과의 관련성에서 나타나는데, 높은 자기효능감이 매개가 되어 실제 수행으로의 전이가능성을 높여줄 수 있기 때문이다[
15,
16].
2단계 평가 결과에서 두드러지는 특징은 상대적으로 교환교수들이 성과를 고평가하는 양상이다. 교환교수들의 이와 같은 고평가는 1단계 평가에서 확인된 주관적 만족감의 영향을 받은 결과이거나, 또는 기존에 기본적으로 갖춘 지식이나 기술의 수준이 지나치게 낮아서 약간의 발전이 크게 느껴진 것일 수 있다. 그러나 이런 점을 감안하더라도 지도교수의 의견을 종합적으로 고려할 때, 지식 및 술기의 향상이 있었다는 점에서는 두 교수그룹 간 이견이 없는 것으로 보인다. 1단계(반응)와 2단계(학습)의 긍정적 평가는 3단계(전이)에도 이어졌는데, 동료 교수들은 인터뷰에서 교환교수들이 연수 후 교육과 진료 측면에서 행동 변화를 보였다고 평가하였으며, 전이를 위한 노력에 대해서도 긍정적인 평가를 하였다.
이번 연구에서 수행한 3단계 평가의 특징은 1단계, 2단계와 달리 질적 연구 방법을 활용하였다는 점이다. Kirkpatrick의 4단계 모델 활용 시 흔히 나타나는 문제 중 하나는 상위 단계로 갈수록 평가의 비용과 난이도가 상승하여 상위 단계 평가가 급격히 적어지는 경향이며[
17], 이 같은 특징은 의학 교육과 관련한 평가에서도 유사하게 나타난다[
10]. 또한 UHS에 대한 양적 데이터 수집의 한계는 양적 연구에 대한 주요한 제약요인으로 작용하였다. 따라서 이번 연구에서는 이러한 한계를 극복하고자 직접 현지를 방문하여 교환교수와 동료교수를 대상으로 인터뷰와 360도 다면평가를 수행하였고, 그 결과를 세부 지표에 따라 분류, 분석하는 방법으로 3단계 평가 결과를 도출할 수 있었다.
Kirkpatrick 4단계 평가모형에서 1~3단계가 개인 수준의 평가에 초점을 맞추고 있는 반면, 4단계는 조직 수준의 평가를 요한다. 따라서 이종욱-서울 프로젝트에 대한 4단계 평가를 수행하기 위해서는 UHS의 발전과 변화과정을 추적하여 살펴볼 필요가 있다. 이러한 목적을 달성하기 위하여, 이번 1차년도 사업에서는 라오스 현지 방문을 통한 UHS 현황 조사를 수행하여 앞으로 이종욱-서울 프로젝트가 다년간 지속되었을 때 변화의 기준선으로 활용할 수 있는 자료를 수집하고자 하였다. 2013년 현재 이종욱-서울 프로젝트 3차년도 사업이 진행 중인 시점에서 1차년도 사업이 UHS에 미친 효과를 독립적으로 판단하기에는 어려움이 있으며, 또한 조직 수준의 변화를 관찰하기에도 시기적으로 이르다. 따라서 이번 연구 결과를 프로젝트의 초기 성과라 하였을 때, 4단계에 해당하는 중장기 성과에 대한 평가는 향후 이종욱-서울 프로젝트의 전체적인 평가와 더불어 일정 연도 이상의 사업이 진행된 후에 포괄적으로 수행하고자 한다.
사업 성과 평가의 시기적인 한계와 별도로 장기적인 평가에 필요한 성과지표 설정은 반드시 필요하다. 이러한 노력은 제1차년도 사업 중에도 이루어졌으며, 2011년 5월 이종욱-서울 프로젝트 2차년도 교환교수 선발을 위하여 라오스를 방문했을 때 40여 명의 UHS 교수들을 대상으로 컨센서스 워크숍을 시행하였다. 라오스 교수들은 ‘이종욱-서울 프로젝트의 결과로 향후 5년 내 UHS에 어떤 변화가 일어나기를 바라는가?’하는 질문에 1순위로 교수 역량 강화, 2순위로 교육 과정 개발, 3순위로 실험실습실 확충, 4순위로 학습자료센터 구축이라고 답하였다. 즉, UHS 교수들은 의과대학 교수의 3대 활동영역인 교육, 연구, 진료 중 상대적으로 연구와 진료에 비해 교육 역량 강화에 대한 우선순위를 높게 받아들이고 있는 것으로 드러났다. 이 워크숍의 결과는 프로젝트의 성과지표 설정 및 제2, 3차년도 프로그램 개선에도 반영이 되어야 할 것으로 보인다.
결과 분석에 이어 이번 평가의 한계를 짚어보면 다음과 같다. 1차년도 사업 평가에 대한 메타 평가는 3가지 관점에서의 한계를 지적할 수 있는데, 학업성취 평가의 한계, UHS 내 양적 데이터 수집의 한계, 그리고 다면평가 데이터 수집의 한계가 그것이다.
학업성취 평가는 지도교수가 교환교수를 대상으로 구술 평가를 시행하는 방식으로 진행되었다. 이러한 평가는 주관적판단에 근거를 두고 있어 학업성취에 대한 평가는 제한성을 가질 수밖에 없었다. 교수 1인에 의한 평가라는 한계가 있으며, 사전 시험을 보기도 어려운 상황에서 이루어졌다는 제한점을 가지고 있었다.
다음으로 UHS에 대한 양적 데이터를 수집함에 있어 한계가 있었다. UHS 내에는 현재 의료통계적 기법을 적용할 수있는 데이터의 생산, 유지, 관리 시스템이 매우 미흡한 실정이었다. 또한 하드웨어적인 시스템의 문제도 있지만 서울대학교 의과대학과 UHS 간의 의사소통 문제뿐만이 아니라 UHS 내 의사소통도 상당히 문제가 있는 것으로 판단되었다. 장기적 측면에서는 연차별로 일관성 있는 데이터를 생산, 유지, 관리할 수 있는 시스템을 UHS 내에 마련할 필요가 있다.
마지막으로 다면 평가 데이터 수집의 한계이다. 평가자의 신분이 노출되는 인터뷰 중심의 다면 평가는 라오스의 문화적 특성상 자료 수집의 한계로 작용할 수 있다. 따라서 향후 다면 평가 시 라오스 문화를 제대로 반영하는 정성적 평가 방법뿐만 아니라 정량적 평가 방법을 도입해야 할 것으로 보인다. 또한 다면 평가의 신뢰성을 더욱 높이기 위해서는 다면 평가자의 수를 늘리고 객관적이고 신뢰할 수 있도록 평가문항의 보완이 필요하다.
메타 평가를 기초로 2차년도 이후의 사업 성과를 극대화하기 위한 개선 방안 및 시사점을 도출해 보았으며, 크게 교육프로그램 개선, 교육 성과 개선, 평가 연구 개선의 세 가지 측면으로 구분하였다.
첫째, 교육 프로그램을 개선하기 위한 방안 및 시사점은 다음과 같다. 교환교수를 선발하는 방법 및 고려 사항으로는 연수 목표가 구체적으로 설정된 후 교환교수를 선발해야 하고,한국어 및 영어 능력이 일정 수준 이상이어야 하며, 정실선발(nepotism)에 대해 합리적으로 대처해야 한다. 연수가 시작되기 전에 지도교수와 교환교수는 연수 목표와 교육 내용에 대해 구체적으로 협의하여야 하며, 선발된 교환교수들에 대해서는 사전교육(전공 및 언어)을 실시해야 한다. 교육 프로그램에 대해서는 지속적으로 평가, 관리, 개선이 필요하며, 이를 위해 모니터링이 상시적으로 이루어질 수 있도록 교육 코디네이터를 임명할 필요가 있다.
둘째, 교육 성과를 개선하기 위한 방안 및 시사점으로는, 한국과 라오스 간의 기본적인 교육 역량의 차이가 존재하므로 연수 교육의 수준과 내용을 계획할 때 그 차이를 고려할 필요가 있다. 성공적인 연수를 위해 필요한 역량이 어느 정도인지, 그리고 사전준비는 어떻게 해야 하는지 등에 대한 것을 명확히 해 줄 필요가 있다. 성취동기가 낮은 교환교수들에게 동기를 부여하기 위한 하나의 방안으로서 학위 수여의 기회를 제공하는 방안도 고려할 필요가 있으며, 교환교수들이 귀국 후 역량 전이 및 추후 교육이 잘 이루어질 수 있도록 프로그램 또는 시스템이 갖추어져야 할 것이다.
끝으로 이종욱-서울 프로젝트에 대한 평가 연구를 개선하기 위한 방안 및 시사점을 살펴보면, 1차년도 교육 성과 평가에 대한 영향력 분석이 전반적인 경향만을 다루는 한계를 보였다. 이를 극복하기 위해 교육 목표 및 교육 내용별로 구분하여 적절한 평가 방법이 도입되어야 한다. 교육 프로그램의 효과를 극대화하기 위해서는 이종욱-서울 프로젝트를 전문적으로 평가할 수 있는 양적 지표 및 질적 지표를 개발할 필요가있다. 프로그램의 효과를 평가하기 위해서는 UHS 교수들이 원하는 비전에 변화가 있는지 추적하는 작업이 필요하며, 교환교수들 자신이 만든 성과지표 개발 등의 후속 작업이 이루어져야 한다. 또한, 연수 교육의 지속적인 효과를 만들어내기 위해서는 매년 연수를 받은 교환교수들의 학회 구성 등을 통한 활동, 지도교수들과의 정기적인 화상회의 및 사후 교육이 이루어져야 할 것이다.
Fig. 1.Brief Description of the Four Levels of Kirkpatrick’s Evaluation Model
Table 1.Profile of Exchange Professors
Table 1.
|
Exchange professor |
Specialty |
Age |
Gender |
Affiliation |
Previous experiences of participation in international training programs |
|
A |
Pathology |
33 |
M |
Faculty of Medicine/UHS |
Yes |
|
B |
Physiology |
34 |
F |
Faculty of Basic Sciences/UHS |
Yes |
|
C |
Anatomy |
27 |
F |
Faculty of Basic Sciences/UHS |
Yes |
|
Da)
|
Prenatal Care |
50 |
F |
Mahosot Hospital |
No |
|
E |
Pharmacology |
39 |
F |
Faculty of Basic Sciences/UHS |
No |
|
F |
Microbiology and Immunology |
35 |
M |
Faculty of Basic Sciences/UHS |
Yes |
|
G |
Hematology |
26 |
F |
Faculty of Medicine/UHS |
Yes |
|
Ha)
|
Endocrinology |
51 |
F |
Mahosot Hospital |
Yes |
Table 2.Reaction to Training Program
Table 2.
|
Items |
Trainers (n=7) |
Exchange professors (n=7) |
p-valuea)
|
|
|
|
Interim evaluation |
Final evaluation |
Interim evaluation |
Final evaluation |
|
Progression during the program |
|
|
|
|
|
|
Whether the program progressed toward educational goals |
3.25±1.16 |
3.57±1.27 |
4.43±0.53 |
4.43±0.53 |
0.698 |
|
Degree of current achievement compared to educational goalsb)
|
33.25±22.81 |
56.43±30.92 |
63.13±19.07 |
77.71±16.07 |
0.132 |
|
Contribution from the program |
|
|
|
|
|
|
Degree of the program’s contribution to improvement of knowledge and skills in specialty areas |
4.00±0.93 |
4.14±0.69 |
4.43±0.79 |
4.71±0.49 |
0.099 |
|
Degree of the program’s contribution to improvement of teaching abilities |
3.88±0.64 |
4.29±0.95 |
4.29±0.76 |
4.57±0.53 |
0.502 |
|
Degree of the program’s contribution to improvement of research abilities |
2.63±1.30 |
3.00±1.41 |
3.86±0.90 |
3.86±1.07 |
0.225 |
|
Degree of the program’s contribution to improvement of practice abilities (only for clinical medicine majors) |
3.50±1.69 |
3.00±1.41 |
4.00±0.89 |
3.86±0.90 |
0.212 |
|
Attitudes of exchange professors |
|
|
|
|
|
|
Class-preparedness of exchange professors |
3.88±0.83 |
4.00±1.15 |
4.29±0.49 |
4.29±0.49 |
0.558 |
|
Punctuality of exchange professors |
3.88±0.99 |
4.14±0.90 |
4.14±0.69 |
4.00±0.82 |
0.761 |
|
Compliance of exchange professors to the adviser’s instructions |
4.25±0.71 |
3.86±1.46 |
4.50±0.55 |
4.71±0.49 |
0.167 |
|
Active participation of exchange professors |
3.63±1.30 |
3.71±1.50 |
4.43±0.53 |
4.43±0.53 |
0.257 |
|
Intention to reparticipate |
|
|
|
|
|
|
Intention to reparticipate in the 2nd-year program |
3.75±1.16 |
4.14±1.07 |
4.29±0.49 |
4.86±0.38 |
0.121 |
Table 3.Evaluation of Knowledge at Pre-training and Post-training
Table 3.
|
Items |
Trainers (n=7) |
Exchange professors (n=7) |
p-valuea)
|
|
|
|
Interim evaluation |
Final evaluation |
Interim evaluation |
Final evaluation |
|
Basic knowledge in medicine |
|
|
|
|
|
|
Basic knowledge possession at the beginning of training program |
2.50±0.93 |
2.57±0.79 |
3.83±0.75 |
4.14±0.38 |
<0.001 |
|
Basic knowledge acquirement through training program |
3.38±0.92 |
3.86±1.07 |
4.33±0.82 |
4.57±0.53 |
0.139 |
|
Score the level of basic knowledge of exchange professorsa)
|
|
|
|
|
|
|
At the beginning of training |
25.63±15.91 |
24.29±10.97 |
34.29±16.18 |
47.86±14.68 |
0.005 |
|
At the time of evaluation |
36.56±21.50 |
49.29±26.52 |
69.29±15.39 |
80.57±12.80 |
0.015 |
|
Knowledge in specialty area |
|
|
|
|
|
|
Specialty knowledge possession at the beginning of training program |
2.13±1.25 |
2.43±0.98 |
3.00±0.58 |
3.57±0.53 |
0.019 |
|
Specialty knowledge acquirement through training program |
3.88±0.64 |
3.86±0.90 |
4.29±0.76 |
4.57±0.53 |
0.096 |
|
Score of the level of specialty knowledge of exchange professorsb)
|
|
|
|
|
|
|
At the beginning of training |
26.88±18.89 |
40.94±22.99 |
35.63±15.45 |
42.86±12.54 |
0.024 |
|
At the time of evaluation |
24.29±14.27 |
51.43±23.93 |
70.63±16.13 |
80.57±14.63 |
0.018 |
Table 4.Changes in Behavior Related to Teaching
Table 4.
|
Items |
Behavior changes |
|
Lecture preparation |
Putting great effort into lecture preparation (syllabus, materials) |
|
Trying to apply what he/she learnt from the program |
|
Adapting new teaching methodologies |
Having a diverse range of ideas about lectures |
|
Lacking teaching experience but showing potential for improvement |
|
Maintaining interaction with students during classes |
|
Trying to apply teaching methodologies he/she learned from the program |
|
Planning to conduct a small-group discussion |
|
Having applied case study method at 3rd-year lecture |
|
Having applied team-based learning |
|
Improving specialty training curriculum |
Making use of detailed specialty knowledge and materials for graduate students |
|
Advising colleagues about teaching skills |
Table 5.Changes in Behavior Related to Medical Practice
Table 5.
|
Items |
Behavior changes |
|
Transfer of basic and specialty knowledge |
Helping colleagues with diagnosing patients |
|
Sharing newly acquired specialty knowledge and booklets |
|
Transferof medical skills |
Demonstrating practicing skills to colleagues |
|
Sharing experience at Seoul National University Hospital |
|
Utilizing anatomy material (CD) instead of actual cadaver dissection, which is impossible due cultural characteristics |
|
Teamwork |
Collaborating better with colleagues |
|
Expressing his/her expression with confidence |
|
Improved inter-departmental collaboration |
|
Work process innovation |
Being more active in general |
|
Enhanced information searching/applying abilities |
|
Enhanced self-directed work management |
|
Improved management skill |
|
Recognizing the reality of University of Health Sciences after training at Seoul National University Hospital |
Table 6.Evaluation of Training Program Management
Table 6.
|
Steps |
Evaluation |
|
Selection of exchange professors |
The selection was based on the recommendation by Laos Ministry of Health and University of Health Sciences. Instead, faculties in the specialty which needed immediate support had to be prioritized. |
|
Pre-training program |
Due to short and superficial orientation for training program, exchange professors were not well prepared for language and medical knowledge. |
|
Educational goal setting |
Individual educational goals and contents were not fine-tuned enough. |
|
Educational goals must have been focused on the transfer of knowledge and skills as well as achieving them to enhance health and medicine of Laos. |
|
Training program and adviser |
The specialty education program should consider the current status of medical system in Laos. Also, it needs to be focused on transferability after training is completed. |
|
A larger scale of the program is needed. |
|
Development of diploma or degree course for exchange professors is needed. |
REFERENCES
- 1. Definition of ODA [Internet]. OECD Development Assistance Committee; c2013 [2013 Nov 7]. Available from: http://www.oecd.org/dac/stats/officialdevelopmenta ssistancedefinitionandcoverage.htm
- 2. Ko KM, Kim SI, Hong JH. Official Development Assistance (ODA) and national interest: implications for Korea's sustainable ODA development. Korea World Polit. 2010;26:95-128.
- 3. Shin JS, Lee SH, Kim EJ, Hwang JY. Lee Jong-Wook Seoul Project: the 1st year training program and educational performance evaluation report. Seoul, Korea: Korea Foundation for International Healthcare; 2011.
- 4. Development Assistance Committee. DAC principles for evaluation of development assistance. Paris, France: Organisation for Economic Co-operation and Development; 1991.
- 5. Development Assistance Committee. Paris Declaration on aide effectiveness: ownership, harmonisation, alignment, results, and mutual accountability. Paris, France: Organisation for Economic Co-operation and Development; 2005.
- 6. Kirkpatrick DL. Techniques for evaluating training programs. J Am Soc Train Dir. 1959;13:21-26.
- 7. Bates R. A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence. Eval Program Plann. 2004;27:341-347.
- 8. Ahn KH, Yoon HS, Kim IJ, Kim ES. Evaluation on effectiveness of inservice training program: by Kirkpatrick's evaluation model. Clin Nurs Res. 2003;9:17-28.
- 9. Chung HS, Issenberg SB, Phrampus P, Miller G, Je SM, Lim TH, Kim YM. International collaborative faculty development program on simulation-based healthcare education: a report on its successes and challenges. Korean J Med Educ. 2012;24:319-327.
- 10. Yardley S, Dornan T. Kirkpatrick's levels and education ‘evidence’. Med Educ. 2012;46:97-106.
- 11. Oh IK. Evaluating learning effectiveness of web-based training in terms of the Kirkpatrick's 4-level model. J Corp Educ. 2000;2:71-92.
- 12. Kim SY, Lee YM, Choi YS, Hong SM. Evaluation research on the outcomes of consortium training programs for small and middle-sized corporations by using CIPP model and Kirkpatrick's model. J Vocat Educ Res. 2011;30:51-74.
- 13. Peterson PL, Swing SR, Braverman MT, Buss RR. Students' aptitudes and their reports of cognitive processes during direct instruction. J Educ Psychol. 1982;74:535-547.
- 14. Peterson PL, Swing SR, Stark KD, Waas GA. Students' cognitions and time on task during mathematics instruction. Am Educ Res J. 1984;21:487-515.
- 15. Hong GH, Kim IS. Development of reaction-evaluation model in individual level of analysis in training: based Kirkpatrick's model. J Organ Manage. 2008;32:1-27.
- 16. Goldstein IL, Ford JK. Training in organizations: needs assessment, development, and evaluation. 4th ed. Belmont, USA: Wadsworth Thomson Learning; 2002.
- 17. Rossett A. Leveling the levels. Train Dev. 2007;61:49-53.
