[Vol.2 6월호] 알기 쉬운 EBM :: 비뚤림 위험 평가

   글. 박동아(한국보건의료연구원 의료기술분석실)

왜 '비뚤림 위험(risk of bias) 평가'를 수행하는가?

체계적 문헌고찰에서 포함된 문헌들의 질(quality)은 고찰의 결과가 비뚤림이 최소화된 최선의 답변을 도출하도록 하게하는데 중요한 역할을 담당한다. 

비뚤림(bias)은 체계적인 오류(systematic error)로 결과나 추정에 있어 참값(truth)으로부터 벗어나는 것을 의미한다. 이는 추정치를 과대 혹은 과소 추정하게 하기 때문에 중요하며 체계적 문헌고찰 과정에서 필수적으로 수행해야하고 이 결과가 통합결과에 미치는 영향을 가늠하는 과정을 거친다.

 

| 문헌의 질평가 vs 비뚤림 위험 평가

비뚤림 위험 평가는 최근들어 사용되는 용어이며 통상적으로 문헌의 질평가로 명명되었다. 문헌의 질평가라는 용어는 연구의 수준을 평가하는 것으로 주로 방법론적인 질(methodological quality)을 의미하면서 내적 타당도의 정도를 의미한다. 

그러나 최근 코크란 핸드북에서는 문헌의 (방법론적) 질과 비뚤림 위험을 구별하여야 함을 강조하면서 가장 대표적인 무작위 임상시험 연구에 대한 비뚤림 위험 평가 도구를 개발하여 현재까지 널리 사용되고 있다.

 

코크란 그룹에서 비뚤림 위험과 ‘질’을 구별하여 사용해야 하는 이유를 아래와 같이 언급하였다.

1) 체계적 문헌고찰에서의 중요한 고려사항은 ‘결과들이 어느 정도 믿을만한가’ 이다. 

2) 최대한 표준적으로 시행된 연구라고 하여도 여전히 비뚤림 위험은 있다.

3) 의학연구의 질에 대한 지표라고 할 수 있는 항목들 중 비뚤림 위험에 직접적으로 영향을 미치지 못하는 항목들이 있다.

  *예: 윤리적 검토를 받았는가?, 표본수를 통계적으로 산출하였는가? 등

4) 비뚤림 위험에 대해 강조함으로써 보고의 질과 연구의 질 사이의 모호한 차이를 명확히 한다. (그러나 연구의 비뚤림 위험 평가를 보고에 기초하여 시행하므로 문제를 분명히 해결하지는 못한다)

 

| 문헌의 질평가 및 비뚤림 위험 평가도구

현재까지 체계적 문헌고찰에서 사용하는 질평가 및 비뚤림 위험 평가도구는 다양하다.

많은 도구들이 간략한 점수를 주기 위하여 질평가 구성 항목에 대해 점수를 매기고 이를 합산하여 측정하는 척도(scale) 방식을 택한다. 또는 특정 평가질문에 답하는 형식으로 평가를 수행하는 체크리스트(checklist) 방식을 이용하기도 한다. 위에서 언급한 코크란 그룹에서 제시한 비뚤림 위험 평가도구는 몇 가지 영역을 정의하여 영역별로 평가하는 방식이다.

 

임상연구 중 무작위 비교 임상시험(randomized controlled trials)을 평가한다고 할 때 대표적인 도구들을 소개하면 아래와 같다.

 

1) 척도방식의 도구

척도방식의 도구는 사용하기 간편하다는 장점이 있지만 평가하기에 지나치게 간단하여 경험적인 평가 등이 반영되지 않는다는 문제점이 지적되면서 현재는 일반적으로 추천되지 않아 예전에 비해 사용이 많이 줄었다. 대표적인 도구에는 Jadad‘s scale이 있다.

 

  

Jadad AR, et al. Assessing the quality of reports on randomized clinical trials: Is blinding necessary? Controlled Clin Trials 1996;17:1-12

 

 

2) 체크리스트 방식의 도구

체크리스트 방식의 대표적인 도구에는 SIGN(Scottish Intercollegiate Guideline Network)에서 제시하는 도구가 있다. SIGN(www.sign.ac.uk)에서 제시하는 도구는 연구설계에 따라 도구를 제시하고 있으며(체계적 문헌고찰, 무작위 임상시험, 코호트 연구, 환자-대조군 연구, 진단법 연구 등) 연구수행의 방법론적인 질을 평가한 후 ‘++’, ‘+’ 또는 ‘-’로 판단하여 잠재적인 비뚤림 유입의 가능성을 연구설계와 수행의 질을 결합하여 표현하는 형태를 취한다.

 

++	거의 모든 또는 모든 기준이 충족됨  연구나 검토의 미충족된 부분으로 인해 연구의 결론이 바뀌지 않을 것으로 확신될 경우
+	몇 가지 기준이 충족됨  부적절하거나 미충족된 부분으로 인해 연구의 결론이 바뀌지 않을 것으로 생각되는 경우
-	거의 모든 또는 모든 기준이 충족되지 않음  이 연구의 결론은 바뀔 것으로 생각되는 경우

  

 

3) Cochrane의 비뚤림 위험 평가도구

코크란 그룹에서 2008년 제시한 비뚤림 위험 평가도구는 체크리스트 방식과 영역별 평가방식의 결합된 형태이다. 우선 연구에서 비뚤림의 초래하는 영역을 설정하여 각 비뚤림 위험에 기초한 평가영역을 정의한다. 

평가영역별 평가문항에 대해 각 문헌에 대해 문헌의 본문에 합당한 내용이 언급되어 있는 경우 ‘낮음(low risk of bias)’ , 명백히 합당하지 않은 내용이 언급되어 있는 경우 ‘높음(high risk of bias)’, 보고되지 않거나 명백한 증거를 발견할 수 없는 경우 ‘불확실(unclear risk of bias)’로 판단한다. 

이에 대한 구체적인 기술과 가이드라인은 코크란 핸드북에 자세히 기술되어 있으며 아래에는 무작위 비교 임상시험 연구에 해당하는 비뚤림 위험 종류, 평가 영역과 의미를 간단히 기술하였다.

비뚤림 종류	설 명	평가 영역
선택 비뚤림	기저 상태의 비교 집단 특성의 체계적인 차이(systematic differences)	· 무작위배정순서 생성방법  · 배정순서 은폐
실행 비뚤림	제공되는 치료가 계통적 차이를 초래하거나, 대상 중재 이외의 다른 요인에 의해 체계적으로 차이가 나는 것	· 참여자, 연구자에 대한 눈가림법  · 타당도를 위협하는 다른 잠재적 비뚤림
탈락 비뚤림	연구대상의 탈락이 두(혹은 이상) 군 사이에 체계적으로 차이가 나는 것	· 불완전한 결과의 양, 종류 및 처리
결과확인 비뚤림	(중재)결과를 확인하는 방법에서의 군간 체계적 차이	· 결과 평가자의 눈가림법  · 타당도를 위협하는 다른 잠재적 비뚤림
보고 비뚤림	보고된 결과와 보고되지 않은 결과간의 체계적 차이	· 선택적 결과 보고

  

코크란 비뚤림 위험 평가도구는 코크란 그룹에서 무료로 제공하고 있는 Revman을 이용하여 아래와 같이 두 가지의 그래프로 결과를 표현한다(예제: 가상 예시).

 

 

Risk of Bias Graph	Risk of Bias Summary

  

 

| Risk of bias 도구 해석방법

비뚤림 위험 도구의 평가결과는 네 가지 방법으로 해석될 수 있다.

 

1) 한 연구에서 결과간의 비뚤림 위험 요약

무작위배정 순서생성이나 배정순서 은폐와 같은 영역은 한 연구 안에서 여러 결과에 영향을 주지만, 눈가림이나 불완전한 결과보고는 결과에 따라 다른 비뚤림 위험을 갖게 된다. 따라서 연구내 모든 결과에 대해 하나의 비뚤림 위험으로 나타내는 것은 일반적으로 추천되지 않는다.

 

2) 한 연구에서 하나의 결과(outcome)에 대한 비뚤림 위험 요약

한 연구에서 결과변수에 따라 비뚤림 위험이 다를 수 있기 때문에 일반적으로 이 방법으로 요약하는 것이 추천된다. 비뚤림 위험 요약을 위해서는 결과변수에 따라 모든 항목을 포함해야 한다.

 

3) 연구 간에 하나의 결과에 대해 비뚤림 위험 요약

메타분석이나 GRADE 평가에서 주로 이용되는 방식이다. 결과변수 한 가지씩에 중점을 두고 포함된 연구들에서의 비뚤림 위험을 요약한다.

 

4) 모든 연구와 모든 결과에서 비뚤림 위험 요약

이 요약 방식은 일반적으로 추천되지 않는다. 첫째, 어떤 결과가 의사결정에 중요한지 결정해야하지만 부작용과 같은 중요할 수 있는 결과에 대한 자료는 평가에 포함된 일부 연구들에서 보고되지 않았을 수 있다. 그러므로 비뚤림 위험은 모든 결과에서 동일하지 않다. 둘째, 어떤 결과가 의사결정에 중요한지에 대한 판단은 가치와 기저 위험도와 같은 다른 인자들로 인해 임상상황에 따라 다를 수 있다, 따라서 체계적 문헌고찰에서는 일반적으로 권고하지 않는 방식이다.