[메디게이트뉴스 임솔 기자] 미국 보건의료정보관리시스템협회(HIMSS)가 서울대병원과 서울아산병원 등 아시아 의료기관의 실제 데이터를 바탕으로 의료 인공지능(AI)의 성과를 측정할 공통 평가체계 개발을 추진한다. AI 도입이 환자의 치료 결과와 경험, 의료진의 삶의 질, 병원 재정에 미친 영향을 종합적으로 평가해 향후 투자 판단에 활용한다는 것이다.  

HIMSS 김지혜 한국지사장은 지난 3일 메디게이트뉴스가 주최한 ‘제3회 미래 헬스케어 트렌드 컨퍼런스’에서 ‘도입을 넘어 성과로…데이터 기반 의료AI 성과측정의 글로벌 흐름’ 강연을 통해 이같이 밝혔다.

김 지사장은 “HIMSS는 무엇을 했는지가 아니라 우리는 어떤 결과를 냈는지를 중요하게 생각한다”라며 “AI를 적극적으로 도입하는 것과 실제 성과를 확인하는 것은 별개의 문제로, 각 병원이 현재 어느 단계에 있는지 살펴봐야 한다”고 말했다.

기술 도입에 앞선 한국…성과를 좌우하는 조직·인력도 점검

김 지사장은 한국이 기술과 IT 인프라 도입에서 앞서 있다고 평가했다. 미국과 유럽은 거버넌스와 규제 기반이 탄탄하지만, 실제 AI 도입 속도는 한국을 비롯한 일부 아시아·태평양 국가보다 빠르지 않다는 의견도 밝혔다. 

그러나 기술을 먼저 도입했다고 성과까지 보장되는 것은 아니다. 도입한 지 수년이 지난 솔루션도 어떤 결과를 냈는지 설명하기 어려울 수 있다. AI를 검토할 때 데이터와 인프라뿐 아니라 조직 내 활용 확대 가능성, 위험 관리, 인력 등을 함께 고려해야 하는 이유다.

김 지사장은 "특히 AI 도입 이후 기대한 효과가 나오지 않을 때 기술 자체만 검토해서는 이유를 파악할 수 없다"라며 “시스템 도입에 비용을 들였는데 '왜 효과가 이거밖에 안 나와'라는 질문을 받는다면, 조직 운영과 거버넌스를 적절하게 구축했는지 자문할 필요가 있다”고 말했다.

AI 투자의 범위가 달라지고 있다는 점도 강조됐다. 과거에는 개별 부서나 IT 업무에 맞는 솔루션을 도입하는 데 초점을 맞췄다면, 이제는 조직 전체로 AI 활용이 확대되고 있기 때문이다. 

김 지사장은 “병원 경영진과 조직이 가져야할 질문은 '어떤 퍼포먼스를 내고 있는가, 어떤 결과가 있는가'”라며 “개별 솔루션에 대한 주관적 평가를 넘어 병원 차원에서 AI를 제대로 활용하는지, 앞으로 어느 분야에 투자해야 하는지 판단할 근거가 필요하다”고 말했다.

두 가지 중요한 질문 "AI를 활용할 준비가 됐나, 투자로 무엇을 얻었나"

김 지사장은 AI를 평가할 때 조직의 역량과 도입 이후의 성과를 구분해야 한다고 제언했다. 첫 번째 질문은 ‘AI를 활용할 수 있는 준비가 됐는가’다. 사람과 업무 절차, 조직, 데이터, 인프라 등 활용에 필요한 기반이 갖춰져 있는지 점검하는 과정이다.

두 번째 질문은 ‘AI 투자로 어떤 성과를 냈는가’다. 병원은 임상적 효과와 환자에게 제공하는 의료의 질을 살펴봐야 하지만, 병원에서 일하는 인력과 재정적 측면도 함께 고려해야 한다. 

김 지사장은 두 질문에 답하기 위한 출발점으로는 ‘측정’을 제시했다. 그는 “환자가 병원에 오면 상태를 진단하고 이해한 뒤 치료 방향을 정하듯, 의료기관도 현재 상태를 알아야 다음에 무엇을 할지 결정할 수 있다”고 말했다.

그러면서 “이미 AI를 많이 도입한 기관에도 측정이 필요하다. 기존에 도입한 것과 앞으로 추진할 것을 검토하고, 향후 로드맵과 투자 방향을 정해야 하기 때문”이라며 “기술적으로 선진화된 기관이라도 보완할 부분이 있을 수 있는 만큼, 현재 수준을 정확하게 파악해야 한다”고 밝혔다.

HIMSS는 그동안 전자의무기록(EMR), IT 인프라, 데이터, 의료영상, 진료정보 교류 등 의료기관의 디지털 전환 기반을 평가해왔다. 여기에 AI 활용을 위한 로드맵을 마련하는 방향으로 역할 확대에 나선다.
  서울대·서울아산 등 AI 성과평가 프레임워크 본격 추진...삼성서울도 검증에 참여  

HIMSS와 아시아 6개 의료기관은 지난 8월 24일 HIMSS APAC 개최 기간 중 싱가포르에서 프리세레머니(pre-ceremony) MOU를 체결하고 ‘AI 성과평가 프레임워크(AI Outcomes Framework)’ 본격 추진을 선언했다. HIMSS가 자체적으로 기준을 정해 의료기관에 적용하는 것이 아니라, 참여 기관이 공동 개발자로서 평가체계를 함께 만드는 구조다.

한국에서는 서울대학교병원과 서울아산병원이 참여한다. 싱가포르에서는 싱가포르 국립대학교병원(National University Hospital, NUH)과 싱가포르 보건서비스(SingHealth)가 참여하고, 대만에서는 국립대만대학병원(National Taiwan University Hospital, NTUH)과 타이중 보훈병원(Taichung Veterans General Hospital)이 함께 한다. 이들 기관은 공동으로 AI 도입과 성과에 관한 경험을 공유하고, 평가체계 개발·검증과 관련 데이터 수집에 나선다. 개발한 평가체계가 실제로 작동하는지 점검하는 후속 검증 단계에선 삼성서울병원도 코호트에 참여할 계획이다.

평가체계에는 기술 인프라와 조직 거버넌스, 윤리적 요소가 포함된다. AI 전략과 도입·운영 전반의 관리, 조직의 준비 상태도 점검한다. 김 지사장은 "AI의 성과를 판단할 주요 영역으로 환자의 치료 결과와 경험, 비용, 의료진의 웰빙과 삶의 질, 인구집단의 건강 등이 있다. 기술을 도입한 뒤 환자와 병원, 현장에서 일하는 의료진에게 어떤 변화가 생겼는지 종합적으로 점검하고자 한다"고 했다.

이어 "특히 좋은 기술을 도입했더라도 의료진의 삶의 질이 떨어진다면 바람직한 방향이라고 보기 어렵다"라며 "진료 현장에서 기술을 사용하는 의료진에게 미치는 영향도 AI 성과의 일부로 평가해야 한다"고 했다.

윤리적 요소는 조직의 거버넌스와 연결해 살펴볼 계획이다. 김 지사장은 "윤리를 외부에서 정한 규칙을 따르는 문제로만 보지 않는다. 윤리를 이끌 수 있는 건 결국 조직과 사람”이라며 "조직이 어떻게 구성돼 있고, 의사결정과 운영 과정에서 무엇을 고려해야 하는지를 함께 검토하겠다"고 밝혔다. 
 
HIMSS와 이들 기관은 2027년 4월 글로벌 컨퍼런스에서 AI 성과평가 프레임워크를 공식 출범시키고, 이후 성과 측정과 로드맵 마련, 기관 간 비교를 거쳐 2028년 국제학술지에 발표할 계획이다. 

김 지사장은 "평가체계는 한 번 적용하고 끝내는 것이 아니라, 기관별 강점과 보완할 부분을 확인하면서 지속적으로 활용하고자 한다. 이를 통해 측정된 결과가 향후 조직 운영과 투자 판단에 활용될 수 있게 하겠다”고 강조했다.