[Vol.65 19년 제10호] 알기 쉬운 보건의료근거연구 - 한국보건의료연구원 의료기술평가 연구의 영향력 평가

 

알기 쉬운 보건의료근거연구

한국보건의료연구원 의료기술평가 연구의 영향력 평가

 

 

❚ 연구배경

의료기술평가(Health Technology Assessment, HTA)의 주목적은 국가, 지역 또는 보건의료제도와 관련된 의사결정 시 정보를 제공하는 것으로, 의료기술평가를 통해 파생된 정보가 의사결정자들에게 ‘어떤 방식으로 어떠한 영향을 미쳤는지‘를 파악(예: 의사결정, 행동변화 및 정보 인식 등)하는 것이 중요하다.

 

한국보건의료연구원(National Evidence-based Healthcare Collaborating Agency, NECA)에서는 설립 이후 의료기술평가 연구 성과를 크게 학술적 성과, 정책적 성과, 국제화 성과, 사회적 성과, 인프라 성과로 구분하고, 주로 내부 보고를 통해 수치를 계량화하여 관리해 왔다. 그러나 낮은 정책반영률과 더불어 외부 평가위원 및 정보 수혜자 등을 참여시킨 객관적 평가가 이루어지지 않고 있다는 점, 특히 정책적 성과의 경우 담당부서의 모니터링 외 정책결정자들의 의견이 반영되지 않아 내부 자체평가 결과에 대한 신뢰도 문제가 한계로 지적되어 왔다.

 

따라서 보다 체계적인 평가‧관리 시스템을 마련할 필요성이 지속적으로 제기되어온 바, 본 연구에서는 국내외 사례 분석 및 선행연구 고찰 등을 통해 의료기술평가 연구의 영향력 평가 기준을 마련하고, 이를 활용하여 NECA에서 기 수행된 의료기술평가 연구의 성과분석 및 영향력 평가를 수행하였다.

 

❚ 연구방법

본 연구에서는 ‘의료기술평가(HTA) 연구’를 한국보건의료연구원에서 수행하는 연구 전체를 포괄하는 광의의 개념으로 해석하고, 특정 보건의료기술의 안전성·유효성·경제성 평가를 위한 ‘개별 의료기술평가(Individual Health Technologies Assessment)’와 보건의료기술 관련 정책/제도를 연구한 ‘정책 연구’, HTA 연구방법론 개발 및 고도화를 위한 ‘방법론 연구’, HTA 제도 및 저변 확대를 위한 ‘기타 연구’로 분류했다. 또한, NECA의 연구결과물이 2차 결과물(정책, 임상 가이드라인, 뉴스, 정보집 등) 생산에 근거로 인용되거나, 의사결정자의 인식 변화 및 결정 과정에 직‧간접적으로 사용된 경우를 ‘연구 성과’로 정의했으며, 연구 성과가 사회의 다양한 변화에 기여한 정도를 ‘영향력’이라고 정의하고, 연구 성과를 정량적‧정성적 방법으로 조사하여 영향력 수준을 추정하였다.

 

영향력은 크게 1)학술적 영향력, 2)정책/임상적 영향력, 3)사회/경제적 영향력의 세 가지 영역으로 구분하였으며, 영향력 분석 범위 및 지표는 오스트리아 HTA 기관인 LBI-HTA (Ludwig Boltzmann Institute for HTA)의 영향력 평가 모형을 참고하였다. 그 밖에도 HTA의 학술적 가치와 대국민 정보로서의 실용성을 확인하기 위하여 학술적 영향력과 사회적 영향력을 별도로 분리하여 정책/임상적 영향력과 같은 수준으로 분석하였다.

 

표 1. 한국보건의료연구원 의료기술평가 연구의 영향력 분석 지표

분류	분석 지표
학술적 영향력	학술적 성과	‧ 피인용 지수 ‧ 논문/발표 실적
정책/임상적 영향력	정책활용성과	‧ 정책 수립 지원 건수 ‧ 법령 제‧개정 지원 건수 ‧ 급여 결정 지원 건수 ‧ 정책의사결정자 견해
	임상활용성과	‧ 임상 가이드라인 지원 건수 ‧ 임상의사결정자 견해
사회/경제적 영향력	사회적 성과	‧ 언론보도 현황 ‧ 홈페이지 이용자 경험 ‧ 고객 인식도 및 만족도
	경제적 성과	‧ 의료재정 효율화 지원 사례

 

❚ 연구결과

1. 학술적 영향력

 

2009년부터 2017년까지 NECA에서 수행된 연구 및 평가사업 총 792건에 대한 국내외 논문 발표 현황 자료를 바탕으로 논문명, 논문이 게재된 학술지명, 피인용 횟수를 조사한 결과 총 156건의 논문이 발표되었고, 1,670회 인용된 것으로 나타났다.

 

표 2. 논문 게재 현황 및 인용 건수

학술지 특성	논문 게재 건수	논문 인용건수
SCI	13건(8.3%)	106회
SCIE	78건(50%)	1,252회
SSCI	1건(0.6%)	8회
KCI	60건(38.5%)	304회
기타	4건(2.6%)	-
총합	156건	1,670회

 

• SCI(Science Citation Index): 과학기술 인용색인. 미국 클래리베이트 애널리틱스(Clarivate Analytics)가 과학기술 분야 학술잡지에 게재된 논문을 바탕으로 구축한 데이터베이스. SCI의 등록 여부는 세계적으로 그 권위를 인정받고 있는 학술지 평가기준이 됨.
• SCIE(Social Science Citation Expanded): SCI 확장판
• SSCI(Social Science Citation Index): 사회과학 인용색인. 미국의 톰슨사이언티픽(Thomson Scientific)에서 제공하는 사회과학 분야의 학술논문 인용지수
• KCI(Korea Citation Index): 한국학술지인용색인. 국내 학술지 정보, 논문 정보(원문) 및 참고문헌을 데이터베이스화 하여 논문 간 인용관계를 분석하는 시스템

 

2. 정책/임상적 영향력

 

(1) 정책 및 임상 활용성과 분석

2009~2016년 사이 기관에서 수행한 주요 의료기술평가 연구 총 209건을 분석한 결과, 약 56%(117건)가 정책 및 임상 분야에서 활용되고 있었다. 정책 활용성과 내에서 일반 보건의료정책 수립의 근거로 참고‧활용된 경우가 81건으로 가장 많은 비중을 차지했고, 급여결정을 지원한 사례가 23건으로 뒤를 이었다. 반면, 임상가이드라인에 활용된 연구는 6건에 그쳤다. 방법론 연구 및 기타 제도연구 등을 배제할 때, 실질적으로 의사결정에 영향을 미칠 수 있는 연구는 161건이었으며, 성과가 있는 연구는 이중 109건(67.7%)로 나타났다.

 

표 3. 정책/임상 활용성과 현황(2009~2016)

성과 분류			개별 의료기술평가	정책 연구	방법론 연구	기타 연구	총합계
정책 활용성과	정책 수립 근거 지원		33	42	2	4	81
	법령 제·개정 지원		2	3	1	1	7
	급여결정 지원		22	1	0	0	23
		· 등재/확대	18	1	0	0	19
		· 축소/철회	4	0	0	0	4
임상 활용성과	임상가이드라인 지원		6	0	0	0	6
소계			63(60%)	46(82.1%)	3(9.7%)	5(29.4%)	117(56%)
해당 없음			42	10	28	12	92
총합계			105	56	31	17	209

 

(2) 정책 및 임상 의사결정자 심층면접

정책과 임상 두 분야로 나누어 집단심층토의 및 개별 심층 인터뷰를 진행하며 각 분야별로 요구하는 정보가 다르고, 제공된 정보가 수용되기 위해서도 각기 다른 외부 요인이 작용한다는 것을 알게 되었다. 두 분야 모두 NECA에서 수행한 연구 결과의 과학적 근거에 대한 신뢰도가 높다고 인정하면서도, 수용성이 그리 높지 않거나 아직 현장에서 HTA 연구에 대한 인식이 높지 않다고 답했고, 그 이유로는 근거가 확실하다고 해도 정책 입안을 담당하는 정부 조직 내 의사결정 구조상의 특성, 관련 정책 담당자의 잦은 부서 이동으로 인한 일관성 있는 정책 추진상의 어려움, 정치적인 요소 등 구조적이고 제도적으로 많은 외부 요인들이 작용함을 꼽았다. 또한 임상분야의 경우 과학적 근거 기반의 HTA 연구결과가 새로운 내용이 아니거나 기존에 본인의 견해와 다를 경우 굳이 활용하지 않는 등의 결과가 초래된 것을 확인할 수 있었다.

 

표 4. HTA 영향력 제고를 위한 정책/임상 분야의 연구단계별 요구사항

연구단계 활용분야	연구기획	연구수행	연구결과 확산
공통	․ 연구의 전 과정(기획-수행-확산) 참여 ․ 근거기반 의사결정 문화 형성·확산
정책 활용	․ 정책 우선순위 제시 ․ 각 분야별 전담팀 구성하여 전문성 및 연속성 강화	․ 체계적 문헌고찰 ․ 경제성평가 연구	․ 언론보도를 통한 지속적인 노출 ․ 유관기관 간 공문 발송 활용
임상 활용	․ 정책적 변화에 맞춰 시의성 있는 연구주제 선정	․ RWD 분석 ․ 데이터 축적 및 관리	․ 각 분야별 학회를 활용한 연구결과 확산 ․ 복지부 심평원 등 정책입안 담당 기관과 협력

 

3. 사회/경제적 영향력

 

(1) 언론보도를 통해 살펴본 사회적 영향력 분석

‘보건의료연구원’, ‘NECA’, ‘네카’, ‘보의연’, ‘한국보건의료연구원’을 키워드로 활용하여 2009년 3월부터 2018년 9월까지의 포털(네이버, 다음) 뉴스를 수집하여 분석한 결과, 수집된 기사 중 가장 많이 언급된 키워드 1, 2, 3위는 연명치료, 근시교정술, 로봇수술인 것으로 나타났다. NECA 의료기술평가 연구의 영향력 확대 효과는 보도자료 및 토론회 등의 활동이 가장 높은 것으로 나타났으며, 실제로 대부분의 연구에서 보도자료 배포와 토론회 진행 시기에 높은 기사 게재율을 보였다. 영향력 확대에 중요한 두 번째 요소는 사회적, 정치적 이슈로 연구와 관련된 이슈가 발생했을 시 NECA 기사량도 상승하면서 영향력 또한 높아졌다.

 

그림 1. 다빈도 연구 키워드 순위(단위: 건수)

 

(2) 고객 인식도 및 만족도 조사

NECA 고객 대상 온라인 설문조사 결과, 가장 많은 응답자가 인지하고 있는 NECA 연구결과물은 ‘보도자료 및 언론기사’였고, 그 다음이 ‘카드뉴스, 웹툰 등 가공된 이미지 또는 영상’, ‘연구보고서’ 순이었다. NECA 연구결과물을 접한 경로는 ‘인터넷(각종 포털검색, 문헌검색전문 DB 등)’이 70.4%, 그 다음이 ‘대중매체(TV, 신문, 라디오 등)’ 45.8%, ‘기관 블로그, 페이스북, 유튜브 등 SNS’ 40.0%, 기관 홈페이지 30.4% 순으로 나타나 대중매체를 제외하고는 대부분 온라인을 통한 경로였다.

 

응답자들은 대체적으로 NECA 연구결과물에 만족하고 있었으며, 이 중 ‘카드뉴스, 웹툰 등 가공된 이미지 또는 영상’ 콘텐츠에 대한 만족 비율이 가장 높았다. 연구결과물별 만족 이유를 물었을 때 가장 높은 응답 비율을 차지한 이유는 ‘업무(지식)에 도움을 줌’, ‘간결하고 명확한 내용’, ‘시의적절한 콘텐츠’로 비교적 다양한 이유가 거론된데 반해, 불만족 이유 중 가장 높은 비율을 차지했던 것은 ‘이해하기 어려운 내용과 용어 사용’으로 나타났다.

 

그림 2. NECA 연구결과물에 대한 전반적인 만족도 조사 결과(단위: 명)

 

(3) 홈페이지 이용자 경험 분석

NECA 연구결과 활용 현황과 정보 수요자에게 효과적인 정보제공 방법을 알아보기 위하여 기관 공식 홈페이지(http://www.neca.re.kr)의 웹로그 분석을 시행하였다. 전반적인 홈페이지 이용 현황은 2018년 2월 재오픈 이후 3월에 가장 방문자수가 많았으며, 주로 PC Web과 desktop을 이용하여 월, 수, 금요일 일과시간 중 평균 3분 가량 홈페이지에 방문하였다. 네이버, 다음, 구글 등 포털사이트에서 ‘한국보건의료연구원’, ‘NECA’ 등 명칭 검색을 통해 홈페이지로 유입되는 경우가 주를 이루었고, 연구보고서 등의 페이지 이용이 가장 많았다.

 

그림 3. 홈페이지 사용자 현황(단위: 명)

 

(4) 국민 의료비용 절감 사례 분석

2009~2017년까지 NECA에서 수행한 성과분석 및 경제성평가, 재정영향분석 등 개별 연구과제를 대상으로 HTA 연구를 활용한 대표적 건강보험재정 및 국민 의료비용 절감 사례를 파악한 결과는 <표 5>와 같다.

 

표 5. 국민 의료비용 절감 사례 분석 결과

연구 과제	국민 의료비용 절감 사례
허혈성 심질환 진단을 위한 관상동맥 CT의 유효성 및 경제성 분석(2011)	․ 관상동맥 CT가 심근스펙트에 비해 비용-효과적인 대안이라는 2012년 NECA의 연구결과 발표 이후 동 해 10월부터 관상동맥 CT에 대한 급여적용 기준 확대 ․ 관상동맥 CT의 진료금액이 심근스펙트에 비해 현저히 증가한 것으로 나타났으며, 환자의 의료비용 부담 크게 감소
의료기술 재평가 수행을 위한 시범평가 : 캡슐내시경 검사(2014)	․ 캡슐내시경이 원인불명 위장관출혈, 소장크론병, 소장 폴립을 진단하는데 있어 타 진단법보다 유용하다는 2014년 NECA 연구결과가 발표된 2014년 이후 동해 9월 1일 캡슐내시경이 선별급여로 전환 ․ 2014년 이후 캡슐내시경의 환자수, 총사용량, 진료금액 모두 급격한 증가 추세를 보였으며, 환자의 의료비용 부담은 2015년 기준 23억 원(11만원 × 2,117명)이나 감소한 것으로 나타남

 

❚ 결론 및 제언

근거기반 의사결정 문화를 확산하고 정착시키는데 정치적, 사회적, 문화적으로 여러 가지 다양한 장애요소가 존재하지만 사회가 발전해나감에 따라 사람들의 의식 수준도 달라지므로 교육을 통해 인식의 변화를 이끌어 낼 수 있다. 그동안 NECA에서는 HTA 연구 수행을 통해 얻어진 결과물 자체에 대한 확산활동에 주로 중점을 둬왔으나 앞으로는 획일적인 접근방식을 넘어서 연구 기획단계에서부터 연구의 전 과정에 걸쳐 정보를 접할 주요 대상자들의 시각과 니즈에서 정보 제공과 의사결정 지원이 이루어질 수 있도록 하는 노력이 필요하겠다.

 

지금까지 HTA가 지극히 전문가의 영역으로 여겨졌다면, 앞으로의 10년의 계획을 설계하고 교육을 통해 일반대중이 관심을 가질 수 있는 주제를 기반으로 보다 쉽게 HTA의 개념을 이해시킴으로써, 이것이 우리의 생활에 직접적으로 영향을 미치는 정책 도입의 근거가 되는 연구들임을 알리는 것은 물론이거니와 HTA 연구의 사회적 영향력을 높이기 위한 방안을 함께 모색해 나가야 할 것이다.

 

※ 연구보고서 원문은 ‘NECA 웹사이트(www.neca.re.kr) > 연구정보 > 연구보고서’에서 확인할 수 있다.

 

연구책임자

박주연(한국보건의료연구원)

참여연구원

이민지, 김미성, 김세정, 김태훈, 박은교, 서성우, 윤미령, 이수현, 이은정, 조경선, 최하영(한국보건의료연구원)