[Vol.5 9월호] 알기 쉬운 EBM :: 비무작위 연구의 비뚤림 위험평가

   글. 박은정(한국보건의료연구원 의료기술분석실)

근거기반의 의사결정을 위하여 체계적 문헌고찰을 진행함에 있어서 검색된 문헌들의 질을 평가하거나 체계적으로 근거를 반영하고 확보하는 과정에서 문헌의 비뚤림 위험에 대해 평가하고 그 결과를 해석하는 방법은 중요하다. 

특히, 우리나라의 경우 근거창출에 필요한 대부분의 근거가 비무작위 연구이므로 이러한 연구결과들을 기반으로 체계적 문헌고찰을 진행하여 의사결정을 내려야 할 경우 보편 타당한 근거분석 및 평가방법론을 이해하는 것이 필요하다. 

따라서, 비무작위 연구의 질 평가에 사용될 수 있는 국제적 평가도구들을 확인하고, 국내 연구진에 의해 개발된 RoBANS(Risk of Bias Assessment tool for Non-randomised Study) 비뚤림 평가도구를 소개하고자 한다. 

 

| 비뚤림 위험평가란 무엇인가?

비뚤림은 체계적인 오류로 결과나 추정에 있어 참값으로부터 벗어남을 의미하며, 비뚤림은 중재 효과를 과소추정하거나 과다추정하는 요소가 될 수 있으므로 각 문헌에서 비뚤림 위험평가를 진행하는 것이 중요하다. 흔히 ‘문헌의 질 평가’로 표현되기도 하지만, 이는 연구수준을 평가하는 것으로 비뚤림이 발생할 위험 정도를 평가하는 것은 ‘비뚤림 위험평가’로 표현하는 것이 적절하다. 

비뚤림 위험평가를 진행하기 전에는 선정된 각 문헌들에 대해 분류작업을 선행하게 되는데 개별연구들을 기준에 따라 연구 설계별로 우선 분류하게 된다. 한국보건의료연구원에서는 적합도 검증을 거친 Study Design Algorithm for Medical literature of Intervention (DAMI) version 2.0을 문헌분류 도구로 사용하게 되며, 선정된 문헌 중에 비무작위 연구로 해당되는 문헌들에 대해 비뚤림 위험평가를 진행하게 되고 연구자는 적절한 평가 도구를 선택하게 된다.

 

| 비무작위 연구의 비뚤림 위험평가 도구에는 어떠한 것들이 있는가?

비무작위 연구의 비뚤림 위험을 평가하는 도구는 매우 다양하며, Deeks(2003)의 연구에서는 182개의 도구를 검토하여 체계적 문헌고찰을 이용하기에 적합한 것으로 6개의 도구를 선정한 바가 있으나, 도구의 편의성, 타당도 검증, 평가 결과의 활용 등의 이유로 많이 사용되지는 않고 있다. 

 

근거수준별로 문헌의 질 평가에 활용될 수 있는 국제적인 도구들을 검토하고 국내 현실에 적합한 도구들을 모색해 본 결과, 무작위배정 비교임상시험 연구에 대한 근거의 질을 평가하기 위한 타당한 도구로는 SIGN (Scottish Intercollegiate Guideline Network) 및 코크란 그룹의 질 평가방법(Risk of bias; RoB 도구) 등이 권장된다. 반면, 비무작위 연구근거의 질을 평가도구로는 Downs and Black, Newcastle-Ottawa, SIGN (Scottish Intercollegiate Guideline Network), MINORS (Methodological Index for Non-randomized Studies), RoBANS (Risk of Bias assessment tool for Non-randomized Studies) 등이 제시되고 있다(표 1). 

 

표 1. 비무작위 연구의 비뚤림 위험평가의 주요 도구별 특징

[출처] [알기 쉬운 EBM] 비무작위 연구의 비뚤림 위험평가|작성자 neca0325

<참고: 건강보험심사평가원(2013), 임상연구 문헌 분류도구 및 비무작위 연구의 비뚤림위험 평가 도구 개정>

 

 

비무작위 연구의 비뚤림 위험을 평가하는 도구는 매우 다양하지만, 각 도구별 장단점들이 있으며, 문헌의 연구설계에 따른 범용성 여부, 도구의 편의성, Validation 여부, Grade 평가방법 가능 등의 이유로 평가 시 적용에 제한이 있을 수 있다(표 2).

근거중심의 합리적 의사결정을 지원하기 위해 진행되는 체계적 문헌고찰 과정에서 비무작위 임상연구문헌의 비뚤림 위험성을 평가하기 위해 연구자가 보다 손쉽게 활용 가능하도록 개발된 RoBANS version 2.0 평가도구는 다음과 같다.

 

| RoBANS (Risk of Bias assessment tool for Non-randomized Studies)

비무작위 연구의 비뚤림 위험을 평가하는 도구이며, 중재 관련 연구를 평가하는데 목적이 있으며, 코호트 연구, 환자대조군 연구, 전후연구, 단면연구에 적용 가능하며, 비비교연구에는 적용될 수 없다. 비교전후연구, 간섭 시계열연구, 비교 간섭 시계열 연구 등의 중재관련 연구가 아닌 경우 제한적인 범위에서 평가할 수는 있으나 평가나 해석에 주의가 필요하며, 전문가의 상의가 요구된다. 

최근 개정된 RoBANS 평가도구의 영역은 대상자군 비교가능성, 대상군 선정, 교란변수, 노출 측정, 평가자의 눈가림, 결과 평가, 불완전한 결과자료, 선택적 결과보고로 구성된 8개 항목이며, 비뚤림 위험 평가는 각 항목별로 낮음, 높음, 불확실로 평가하게 된다.  

 

표 2. 비무작위 연구의 비뚤림 위험평가의 주요 도구별 비교 

 

<참고: 건강보험심사평가원(2013), 임상연구 문헌 분류도구 및 비무작위 연구의 비뚤림위험 평가도구 개정> 

 

 

비무작위연구의 비뚤림의 종류는 여러 가지로 있으나, 관찰연구에서는 일반적으로 선택비뚤림 (selection bias), 정보비뚤림 (information bias), 교란변수 비뚤림 (confounding bias)으로 분류한다. 

RoBANS는 중재연구의 비뚤림을 평가하는 도구로서 무작위배정 비교임상시험의 비뚤림의 종류인 선택비뚤림 (selection bias), 수행비뚤림 (performance bias), 결과확인 비뚤림 (detection bias), 탈락 비뚤림 (attrition bias), 보고비뚤림 (reporting bias)에 대해 평가하며, 평가영역은 선택비뚤림 (대상군 비교가능성, 대상군 선정, 교란변수), 수행비뚤림 (노출 측정), 결과 확인비뚤림 (결과 평가자의 눈가림, 결과평가), 탈락비뚤림 (불완전한 자료), 보고비뚤림 (선택적 결과보고)로서 다음<표 3>과 같다.

 

표 3. 개정된 RoBANS 도구의 비뚤림 영역과 각 영역별 설명

<참고: 건강보험심사평가원(2013), 임상연구 문헌 분류도구 및 비무작위 연구의 비뚤림위험 평가도구 개정> 

 

RoBANS의 결과 해석은 다음의 4가지 방식으로 평가하게 된다.

◆ 한 연구에서 결과 간의 비뚤림 위험 요약

◆ 한 연구에서 한나의 결과의 비뚤림 위험을 요약

◆ 연구 간에 하나의 결과에 대해 비뚤림 위험을 요약

◆ 모든 연구와 모든 결과에서 비뚤림 위험을 요약 

RoBANS는 코크란의 RoB 도구와 마찬가지로 각 영역별에 대한 전반적인 평가결과를 파악할 수 있으며, RevMan에 입력하면 그림 형태로도 결과를 확인할 수 있다<그림 1>. 

 

※ RevMan은 website에서 무료 다운로드가 가능함

(http://ims.cochrane.org/revman/download)  

 

 

그림 1. RevMan의 편집기능을 활용한 RoBANS 영역별 그래프 그리기

 

실제 분석에서 비뚤림 위험을 어떻게 반영할 것인가에 대한 전략은 모든 연구를 전체적으로 분석하고 비뚤림 위험에 대해 서술적으로 고찰하거나, 비뚤림 위험이 낮거나 불확실한 연구만 제한하여 분석하는 방법 등 다양한 분석으로 제시가 가능하다. 

또한, 평가를 수행하는 과정에 불완전한 보고로 인하여 의사결정이 보류된 경우는 원저자를 접촉하여 개방형 질문으로 연구설계 및 수행방법에 대한 정보를 확보하는 것을 권장한다. 

 

 

 [참고문헌]

 1. 임선미 등. 근거수준별 문헌의 질 평가 도구, J Korean Med Assoc 2011 April; 54(4): 419-429

 2. 한국보건의료연구원(2011), NECA 체계적 문헌고찰 매뉴얼

 3. 한국보건의료연구원(2011), 진단법평가 체계적 문헌고찰 지침

 4. 건강보험심사평가원(2013), 임상연구 문헌 분류도구 및 비무작위 연구의 비뚤림위험 평가도구 

 5. Soo Young Kim et al. Testing a tool for assessing the risk of bias for nonrandomized studiesshowed moderate reliability and promising validity, Journal of Clinical Epidemiology 66 (2013) 408-414