컴퓨터와 통신 기술의 발달로 교육 영역에서 시험을 치르는 방식도 변화하고 있다. 과거의 지필검사는 현재도 많이 쓰이고 있기는 하나, 여러 장점을 가진 컴퓨터를 기반으로 하는 시험방식이 지필검사를 대신하여 여러 교육 분야의 평가에 활용되고 있다[1].

컴퓨터를 기반으로 한 시험에는 여러 방식이 있으며 가장 대표적인 방식은 광학식 마크 판독장치(optical mark reader, OMR)카드를 이용한 컴퓨터 활용분석(computer-using analysis)이다. 이 방식은 중‧고등학교 시험, 대학수학능력시험 및 국내에서 치르는 대부분의 국가시험에서 채택되고 있다. 이보다 좀더 진보한 방식으로 종이가 아닌 개별 컴퓨터에서 제공한 문항을 보고 답안을 작성하여 제출하는 컴퓨터바탕검사(computer-based testing, CBT)가 있으며, 이와 유사한 방식으로 온라인 서버에 접속하여 문항을 보고 답하는 인터넷바탕검사(internet-based testing, IBT)가 있다. 이 CBT나 IBT는 지필검사나 OMR카드 방식에 비해 여러 가지 장점을 가진다. 첫째, 인쇄 및 채점에 필요한 시간과 경비를 절감할 수 있고, 둘째, 멀티미디어 등의 다양한 방식을 이용한 문항 제시가 가능하여 지필검사에서 시행할 수 없거나 불충분했던 평가를 효율적으로 할 수 있다. 셋째, 신속한 피드백이 가능하여 학습능력에 대한 진단 또는 교정이 쉽고, 넷째, 검사의 시기나 장소의 유동성이 있으며, 문항과 피험자의 관리가 지속적으로 가능하다. 이러한 장점으로 인해 많은 여러 시험에서 CBT 방식을 도입하여 학습능력을 평가하고 있다.

최근 스마트기기의 보급이 급격화 되면서 이를 이용한 평가방식이 주목 받고 있는데, 이것이 유비쿼터스바탕검사(ubiquitous-based testing, UBT)이다. 이 방식은 기존 컴퓨터나 노트북대신 스마트폰, 스마트패드 등 정보기술기반 장비를 활용하여 시험 진행, 채점, 성적관리 등이 이루어지는 새로운 시험방식이다. 이러한 스마트기기를 이용한 UBT는 시험 운영기관 측면에서 여러 가지 장점을 가진다. 인쇄비용, 관리비용의 감소뿐만 아니라 초기의 인프라 구축 시에도 기존 CBT에 비해 효과적인 공간 활용 등의 월등한 이점이 있다. 이동성이 뛰어나 언제 어디서나 시험을 볼 수 있으며, 채점 및 결과 통보도 쉽게 가능하다. 교수자 측면에서도 다양한 형식의 문제 출제와 결과 분석 및 피드백을 편리하게 할 수 있다는 점에서 CBT보다는 편리한 장점이 있다. 그러나 UBT가 장점만을 가진 것은 아니다. CBT와 유사하게 초기의 투자비용이 상당 부분 발생하며, 기존 시험방식을 완전히 대체할 수 있는 방법이라고 하기에는 아직까지 동등성과 타당성의 근거가 부족한 것이 현실이다. 기존 지필검사 방식에 적응되어 있는 수험자 입장에서는 새로운 도구가 익숙하지 않을 수도 있다. 그럼에도 불구하고 UBT는 기존 지필고사 방식의 약점을 보완할 수 있는 새로운 도구임에 틀림이 없다. 국내에서는 제2회 국제통역번역 시험에서 스마트폰을 이용하여 평가한 예가 있으며[2], 2011년 11월에는 제1회 임상병리사 모의시험을 UBT 방식으로 시행한 바 있다[3].

저자들이 속한 경희대학교 의학전문대학원에서는 2012년 4월 26일 국내 의학교육기관 중 최초로 UBT를 도입하였고, 같은 해 5월 1일에 4학년 학생을 대상으로 스마트패드를 이용하여 200문항의 임상의학종합평가를 180분간 시행하였다. 따라서 저자들은 이 UBT 시행 전후에 피험자를 대상으로 편리성, 객관성, 만족도, 기존 시험방식과의 차이 등을 묻는 설문조사를 시행하여 UBT가 의학교육 평가도구로서 어느 정도 유용한지 알아보고자 하였다.

과학 기술의 발전은 사회적, 인간중심적으로 발전하고 있으며, 이러한 발전은 우리 생활뿐만 아니라 교육 영역에도 영향을 미치고 있다[4]. 과거 지필검사를 대신하는 컴퓨터를 이용한 시험방식은 20세기 중반 OMR 방식을 첫 시작으로 개인용 컴퓨터의 보급이 원활해지고 인터넷이 발달하면서 CBT와 같은 방식이 소개되었다. 이는 지필검사에 소요되는 많은 준비 시간과 비용, 노력, 그리고 채점 시에 발생할 수 있는 오류를 줄일 수 있다는 장점 등으로 인하여 다양한 평가 분야에서 활용되고 있으며, 국내 여러 평가뿐만 아니라 미국과 캐나다의 의사국가시험 역시 CBT로 시행하고 있다[5,6]. 컴퓨터 기술의 발전은 스마트기기(스마트폰, 스마트패드 등)를 탄생시켰고, 이 기기는 일상생활뿐만 아니라 교육 영역에서도 많은 일을 편리하게 할 수 있게 하였다. 이러한 스마트기기가 상용화되면서 컴퓨터를 이용한 평가방식에서 진일보한 대표적인 것이 유비쿼터스바탕검사라고 할 수 있다. ‘유비쿼터스’의 단어 자체는 ‘어디에나 존재하는’, ‘아주 흔한’ 등의 뜻을 가지며, 일반적인 의미는 ‘어디에나 존재하는 과학기술을 항상 사용할 수 있다’는 의미를 내포하고 있다[7]. Weiser [8]는 ‘ubiquitous computing’의 용어를 처음으로 제시하면서, 이것은 기계 안으로 인간이 들어오는 개념이 아닌, 기계가 인간의 환경을 적합하게 하는 것으로 정의하고 있다.

이 연구는 국내 의학교육 분야에서 처음으로 스마트기기를 이용한 UBT에 관한 연구이다. 스마트기기 보급률 등으로 인해 UBT에 관한 국내외 연구는 많지 않다. 따라서 이번 연구에서는 학생들의 스마트기기 보유 또는 능숙도 여부와 UBT 간의 관계, 편리성, 객관성, 지식 평가 도구로서의 유용성 등을 알아보고자 하였다. 이번 UBT를 치른 의학전문대학원 학생의 스마트폰 보유율은 96.2%로 조사되었다. 국내 조사 결과에 따르면 20대의 스마트폰 보유율은 99.2%로 조사되었는데 이는 이번 연구와 유사한 수준이었으며[9], 미국 성인의 같은 연령대의 58%에 비하여 월등히 높은 수치를 보였다[10]. 또한 스마트패드 보유율은 같은 국내 조사 결과인 4.8%보다 높은 21.2%를 보였다[9]. 의학전문대학원 학생들의 높은 스마트기기의 보유율은 사전 설문에서 조사한 스마트기기 사용의 능숙도에 대한 높은 긍정적인 답변과 상당한 연관성을 가진 것으로 생각되며, UBT 방식의 시험을 치르는 데 있어 상당한 장점으로 작용할 것으로 보인다. 향후 스마트기기의 보급이 더욱 증가한다면 UBT 시행에 있어서 장비 이용에 따른 어려움은 크게 없을 것이다. 스마트기기 능숙도의 긍정 답변에 비해 사전 설문의 UBT에 대한 편리성은 부정적인 의견이 더 많았다. 이러한 이유는 일상적인 생활에서의 스마트기기에는 익숙하지만 시험을 치르는 방식으로서의 스마트기기의 사용은 학생들에게 생소하게 느껴졌을 것이고, 시험 결과에도 영향을 미칠 수 있다는 부담으로 작용했을 것이다. 그러나 사후 설문조사 결과에서 기존 평가방식보다 편리하다고 답한 학생이 많았고, 전반적인 구성과 완성도도 만족하는 것으로 조사되었다. 또한 기존 성적과 UBT 성적이 유의한 상관성을 보여 UBT가 기존 시험방식을 대체할 수 있는 좋은 도구라는 것을 반증한다. 앞으로 여러 번의 경험을 통하여 UBT에 익숙해진다면, 교수자나 학생들이 좀더 편리하고 친숙하게 UBT를 준비, 시행하고 시험을 치를 수 있을 것이며, 하나의 시험 방식으로 정착할 수 있을 것이다.

UBT의 유용성을 묻는 설문에서는 임상 술기 평가와 학습 목표 달성에 대한 항목에서 사전, 사후 모두 긍정적으로 조사되었다. 이는 UBT 방식의 평가가 기존 지필검사에 비해 동영상 등 다양한 매체를 이용한 평가를 할 수 있기 때문에 이러한 답변이 나왔을 것이라 추측된다. 특히 UBT의 지식 평가, 임상 술기 평가, 학습 목표 달성에 대한 사후 설문조사가 모두 긍정적으로 조사되었고, 특히 지식 평가 측면이나 객관성은 사전 설문에 비해 유의하게 긍정적으로 조사되었다. 그러나 임상 술기 평가에 대한 측면은 임상종합평가가 UBT를 기반으로 만들어진 평가가 아니고 기존 지필검사를 기반으로 제작되었기 때문에 정확한 의도 파악이 어려웠을 것이다. 향후 멀티미디어 등을 이용한 다양한 문제 형식의 평가를 진행한다면 임상 술기나 학습 목표 달성의 측면에서 정확한 분석이 가능할 것이다. 시험 전 UBT 평가의 객관성을 묻는 질문에서는 긍정적 답변과 부정적 답변의 차이가 없어 기존의 시험방식의 객관성에 대한 큰 차이가 없을 것으로 조사되었으나, 사후 설문에서 긍정적인 답변이 유의하게 증가하여 피험자 입장에서는 UBT가 더 객관적일 것이라고 하였다. UBT에 대한 만족도도 사후 설문에서 높게 조사되어 UBT의 유용성을 뒷받침하였다. 그러나 이러한 편리성과 완성도에도 불구하고 기존 시험을 선호한다는 의견이 많은 것으로 나타났는데, 이에 대한 추가 설문이 없어 선호하지 않는 이유에 대한 명확한 분석을 시행할 수는 없었다. 아마 새로운 시험방식보다는 기존 방식을 고수하려는 학생들의 의지가 반영된 것으로 보인다. 추후 UBT를 다시 시행한다면 이에 대한 보충 연구가 필요할 것이다.

설문조사에 영향을 준 요인 분석 중 태블릿컴퓨터 보유 여부에 따른 분석과 UBT 성적에 따른 분석에서 모두 유의한 항목이 없었다. 태블릿컴퓨터 보유 여부, UBT 성적 모두 설문 조사에는 영향을 주지 않아, UBT가 의학교육 평가도구로 유용하게 쓰일 수 있겠다. 비록 1회의 평가였지만 앞서 언급했듯이 기존 시험 석차와 UBT 성적 간의 연관성은 유의한 것으로 조사되어 기존의 평가도구로서의 역할을 충분히 대신할 수 있을 것이다. 조사 내용을 종합해볼 때, UBT는 편리성, 만족도, 지식의 객관적 평가 측면에서 장점을 가지는 것이 분명하다.

이번 연구의 한계점은 몇 가지가 있다. 첫째, 일회성의 UBT 평가로만 이루어진 설문조사로서 기존의 교육 평가를 대체할 수 있는 충분한 자료가 되기에는 그 근거가 조금 미약하다고 할 수 있다. 둘째, 일개 의학전문대학원의 일개 학년의 평가이므로 UBT에 대한 일반화된 연구라고 하기 힘들다. 추후 여러 학교와 다양한 학년이 참여하는 UBT 평가가 시행된다면 좋은 결과를 얻을 수 있지 않을까 생각한다. 셋째, 위에도 언급했듯이 UBT에 적합한 평가 문제가 아닌 기존의 임상종합평가를 스마트기기를 이용하여 시행한 것이므로 UBT의 여러 장점을 평가하지 못한 측면이 있다. 이 또한 새로운 문제 개발, 다양한 멀티미디어의 활용을 통한 새로운 문제로 평가한다면 좀더 객관성 있는 결과가 나올 수 있을 것이다.

이러한 한계점에도 불구하고, 본 연구는 의학교육에서 첫 번째 이루어진 UBT 평가를 대상으로 시행한 연구이다. 기존 평가방식에 비해 편리성, 만족도, 평가도구로서의 유용성의 장점을 가지고 있어 UBT가 기존 의학교육 평가체계 개선을 위한 효과적 수단으로 활용될 수 있음을 시사한다. 한계점을 보완하여 일회성이 아닌 다양한 피험자, 다양한 평가 문제가 뒷받침된 UBT를 이용한 후속 연구가 필요하겠다.