투고일：2017. 9. 12         심사일：2017. 10. 20         게재확정일：2017. 11. 14

치의학 연구에서 RevMan을 이용한
이분형 결과변수를 분석하기 위한
메타분석의 단계적 안내

1)전남대학교 자연과학대학 통계학과
2)전남대학교 치의학전문대학원 치과교정학교실, 3)치의학 연구소
박 수 현1), 임 회 정2, 3)

ABSTRACT
A step-by-step guide to Meta-analysis with dichotomous outcomes
using RevMan in dental research

Department of Statistics, Chonnam National University1)
Department of Orthodontics, Chonnam National University School of Dentistry2) Dental Science Research Institute, Chonnam National University3)
Su-Hyeon Park1), Hoi-Jeong Lim2, 3)

Meta-analysis is a statistical method that combines the results of individual studies on the same topic. This method is becoming popular, due to providing the combined result that individual studies cannot provide and giving a more precise result. Despite meta-analysis having such significance, there were few Korean guides for the use of the Review Manager (RevMan) software. This study will provide a step-by-step guide, using orthodontic mini-screw as a dental example, to help researcher carry out meta-analysis more easily and accurately.   

Key words : Meta-analysis; RevMan; dental research

Corresponding Author
Hoi-Jeong Lim, PhD
Department of Orthodontics, Chonnam National University School of Dentistry
Dental Science Research Institute
33 Yongbong-ro, Buk-gu, Gwangju 61186, South Korea
Tel : +82-62-530-5830, Fax : +82-62-530-5659, E-mail : hjlim@jnu.ac.kr

This Research was Supported by the B asic Science Research Program of the National Research Foundation of Korea(NRF), Funded by the Ministry of Education(2011-0012875).

Ⅰ. 서론
메타분석이란 어느 특정한 연구 주제로 실시된 여러 선행 연구 결과들을 하나의 공통된 효과크기로 객관적으로 요약하기 위한 통계적인 방법을 말한다. 메타분석의 장점은 통계적 검정력이 증가한다는 것과 개별 연구보다 더 체계적이고 정확한 결론을 내릴 수 있고, 서로 상충하는 연구결과의 원인이 무엇인지 파악할 수 있다는 것이다. 단점으로는 분석에 포함된 연구들의 질적 수준 차이에서 오는 문제점이 있을 수 있고, 표집 대상으로 출판된 연구만을 선택하기 때문에 대표성이 문제될 수 있다는 것이다1).
임의 연구2)에서 이미 치의학 연구 논문들을 예로 들어 대부분의 체계적 고찰과 메타분석에 대한 일반적인 소개와 절차를 다루었고 출판된 메타분석 논문에서 보인 결과들을 통계학적인 측면에서 해석하고 있다. 뿐만 아니라 여러 다른 논문1, 3)에서도 메타분석에 대한 전반적인 내용을 다루고 있기 때문에 이 연구에서는 메타분석의 전반적인 소개보다는 치의학 분야의 메타분석 논문에서 사용된 예를 이용하여 공개 소프트웨어인 Review Manager (RevMan) 5를 사용하여 이분형 결과변수의 경우 메타분석이 실제적으로 어떻게 분석되었는지 알아보고자 하였다. 이 연구의 목적은 이 소프트웨어를 사용하여 비통계인들도 쉽게 따라할 수 있도록 메타분석 수행 시 반드시 필요한 PRISMA diagram과 포함된 연구들의 특징에 관한 테이블, Risk of bias summary, Forest plot, Funnel plot 등을 만드는 절차를 단계별로 보여주고자 하는 데 있다.

 
Ⅱ. Information on the Dataset used here
메타분석을 위한 RevMan 소프트웨어를 어떻게 단계적으로 사용하는지 알아보기 위해 치의학 분야에서 출판된 메타분석 논문(Hong et al.(2016)4))의 데이터를 사용하였다. 최근 미니스크류 연구들5-24)이 활발히 이루어지고 있고, 그러한 개별연구들을 결합하는 메타분석 연구들이 출판되고 있다. 그중 하나인 홍 등의 연구4)에서는 미니스크류의 식립 위치(상악 vs. 하악)가 미니스크류 식립 성공에 영향을 미치는지에 관한 여러 연구 결과들5-7)을 결합한 메타분석 방법이 사용되었다. 이러한 개별연구 결과들8-24)을 가지고 하나의 공통된 효과크기를 계산하고 forest plot과 funnel plot을 그리는 방법을 보여 주고, PRISMA diagram, Characteristics of included studies table, Risk of bias summary를 그리고 만드는 것을 보여 주고자 하였다. 홍 등의 연구4)에서 얻어진 여러 결과들이 RevMan을 이용하여 어떻게 단계별로 수행되었는지 알아보고자 하였다.

Ⅲ. RevMan을 이용한 메타분석 단계적 수행 방법
RevMan을 이용한 메타분석 단계적 수행 방법으로 첫째, RevMan 5를 설치하고, 둘째, 체계적으로 고찰된 논문들에 대해 어떤 메타분석을 수행할지에 관한 제목을 설정하고, 셋째, 어떻게 논문들이 선정되었는지에 관한 PRISMA diagram을 만들고, 넷째, 메타분석을 수행할 논문들을 RevMan에 추가하고, 다섯째, 개별연구들의 일반적인 특징들을 나열한 테이블과 논문들의 질을 평가하는 Risk of bias summary를 그려보고, 여섯째, 메타분석을 통해 종합적인 효과크기를 보여주는 Forest plot과 출판편의를 나타내는 Funnel plot을 그린다(Fig. 1).

Fig. 1. A step-by-step guide to Meta analysis

Step 1. RevMan 5 설치

Cochrane Community에 있는 RevMan 525) 소프트웨어를 설치하기 위해 아래의 주소를 클릭하면 Fig. 2의 화면이 보이고, 자신의 컴퓨터 시스템에 적합한 파일을 다운로드 한다. 설치가 완료되면 바탕화면에 다음 아이콘 이 생성된다. 이 아이콘을 더블 클릭하면 Figure 3의2-1에 있는 윈도우 창이 열린다.
http://community.cochrane.org/tools/review-production-tools/revman-5/revman-5-download

(Fig. 2)

Fig. 2. How to install RevMan 5 for step 1

Step 2. Title of review 작성하기

체계적으로 고찰(systematic review)된 개별연구들의 결과들을 메타분석하기 위해 미니스크류 식립 안정성을 위한 상악과 하악 비교(Maxilla vs. mandible for miniscrew stability)라는 제목을 만들기 위해 다음과 같은 과정을 거쳐 Content 창 위에 제목을 생성한다(Fig. 3).

2-1. Welcome to Review manager 5.3이라는 창에서 ①에 해당하는 Close 버튼을 누르고, ②에 해당하는 New 아이콘을 클릭한다.
2-2. New Review Wizard 창이 열리면 Next 버튼을 누른다.
2-3. 앞으로 만들고 싶은 Review 종류를 선택하는 창이 열리면 기본적으로 설정되어있는 Intervention review를 선택하고, Next 버튼을 누른다.
2-4. 상악과 하악에 대한 미니스크류 식립 성공률을 비교하는 연구로 Figure 3의 2-4와 같이 제목을 적고, Next 버튼을 누른다.
2-5. 어떤 Stage로 시작할 것인가에 대해 묻는 창이 열리면 Full review를 선택하고, Finish 버튼을 누른다.
2-6. 그러면 2-6과 같이 좌측엔 Outline 창, 가운데에는 Content 창, 우측엔 Guidance 창으로 3개로 분할된 윈도우가 열린다.

Step 3. PRISMA diagram

PRISMA diagram이란, 체계적으로 고찰된 논문들이 어떻게 수집되었는지에 대한 정보의 흐름을 여러 단계로 묘사한 것이다. 여기에는 식별된 논문들의 수, 포함된 혹은 제외된 논문들의 수, 제외된 이유 등이 포함되어 있다(Fig. 4).

3-1. Outline 창의 Figures에서 마우스를 오른쪽 클릭하여 Add Figure를 누른다.
3-2. 그러면 New Figure Wizard 창이 열리고, Figure Type에서 Study flow diagram (PRISMA template)을 선택하고 Next 버튼을 누르면, 캡션을 입력하는 윈도우가 열리고, 적합한 캡션을 입력한 후, Finish 버튼을 누른다.
3-3. Content 창에 새로운 PRISMA template이 생성되었고, 박스안의 내용을 수정하기 위해 박스를 더블 클릭하면 Edit flowchart box가 열리고, 내용을 수정한 후 OK 버튼을 누른다.
3-4. 수정이 완료되면 3-4와 같은 PRISMA diagram이 생성된다.

Step 4. Adding studies and references

메타분석을 수행할 논문들을 추가하는 방법으로는 두 가지가 있다. 첫째는 각 논문들을 Fig. 5-1과 같이 저자, 논문 제목, 저널 명, 발행 연도, 볼륨, 페이지 등을 직접 입력하는 방법이 있고, 둘째는 Fig. 5-2와 같이 Pubmed에서 논문들을 찾아 txt 파일로 저장하여 RevMan으로 불러들여 사용하는 방법이 있다(Fig. 5-1, 5-2).

4-1-1. Outline 창에서 Studies and references > References to studies 순서로 더블 클릭한 후, References to studies 아래에 있는 Included studies를 한번 클릭하면, Content 창에 Included studies가 보인다. 그 아래에 있는 Add Study 버튼을 누른다.
4-1-2. New Study Wizard 창이 열리면 이 주제에 해당되는 연구인 Antoszewska 200915)를 입력 후, Next 버튼을 누른다. Data Source의 종류를 선택하는 창이 나오면 Published and unpublished data를 선택한 후 Next 버튼을 누른다. 그 다음 창이 열리면 년도 2009를 확인한 후, Next 버튼을 누르고, Add Identifier 창이 열리면 Next 버튼을 누른다. 더 추가할 연구가 있을 경우에 Add another study in the same section을 선택 후, Continue를 누르고, 더 이상 추가할 연구가 없으면 Nothing을 선택 후, Finish를 누른다. 4-1-2의 방법으로 나머지 연구들도 추가할 수 있다.
4-1-3. Content 창에서 Antoszewska 200915) 아래에 있는 [Empty]를 더블 클릭 하면, 연구에 대한 세부사항을 입력할 수 있는 창이 열린다.
4-1-4. Study: Antoszewska 200915에 대한 세부사항인 Authors, English Title, Journal/Book/Source, Data of Publication, Volume, Pages를 입력한 후, 우측 하단에 있는 Add Identifier 버튼을 누른다.
4-1-5. Identifier의 종류를 좌측 하단에 있는 Type 아래의 drop-down list 중에서 적당한 항목을 선택한다.
4-1-6. Content 창의 좌측 상단에 있는 Text of Review를 누르면 Included studies 아래에 각 연구별로 세부사항이 입력된 것을 확인할 수 있다.

4-2-1. pubmed 웹사이트 https://www.ncbi. nlm.nih.gov/pubmed/ 로 가서 로그인을 하고, PRISMA diagram을 통해 찾은 논문들 중 하나를 찾아 논문 제목을 클릭한다. 화면 오른 쪽 중간에 있는 Save items 아래의 drop-down list 중에서 Create collection...을 선택하면 4-2-2의 화면이 나타난다.
4-2-2. 무엇을 하고 싶은가 라는 질문이 나오면 Create new collection을 클릭하고 name for your collection을 묻는 질문에 Miniscrew 라는 해당되는 이름을 적고 Save를 누른다.
4-2-3. 그러면 4-2-1의 화면으로 다시 되돌아가긴 하지만 Save items 아래에 Miniscrew라는 디렉토리가 생겼음을 확인할 수 있고 그 디렉토리에 4-2-1에서 찾은 논문이 추가되었음을 알 수 있다.
4-2-4. 또 다른 논문을 찾아 논문 제목을 클릭 후 위와 같은 방법으로 Save items 아래에 Miniscrew라는 디렉토리를 클릭하면 그 디렉토리에 논문을 추가할 수 있다. 이런 방법으로 메타분석에 필요한 17개의 논문을 저장할 수 있다.
4-2-5. 화면 우측 상단에 있는 My NCBI를 클릭하면 4-2-5의 화면이 나오는데 Collections에서 해당 디렉토리인 Miniscrew를 클릭하면 4-2-6의 화면으로 넘어간다.
4-2-6. 각 논문 제목 좌측에 있는 작은 박스를 체크한 후 send to 옆에 있는 화살표를 클릭하고 File을 체크, Format에서 MEDLINE을 체크하고 Create File 버튼을 누른다.
4-2-7. 생성된 메모장 파일을 열면 앞서 추가한 논문들의 제목, 초록, 저자 등의 필요한 정보들이 MEDLINE 포맷으로 쓰여 있고, 그 txt 파일을 저장한다. 아래 주소에 txt 파일이 저장되어 있다.
http://dent.jnu.ac.kr/user/indexSub.action?codyMenuSeq=6806&siteId=dent&menuUIType=top&dum=dum&boardId=334&page=1&command=view&boardSeq=570504&chkBoxSeq=&categoryDepth=&status=&moveUrl=dent.jnu.ac.kr
4-2-8. RevMan에서 그 txt 파일을 불러오기 위해 RevMan 메뉴 바의 File > Import > References를 누르면, 4-2-9의 Import References Wizard 창이 뜬다.
4-2-9. Import References Wizard 창에서 Next 버튼을 누른다.
4-2-10. Import 할 파일이 어떤 것인지 묻는 창이 열림과 동시에 저장된 파일의 위치를 선택할 수 있는 창이 뜨면, 해당하는 파일을 선택 후 Open 버튼을 누른다.
4-2-11. txt 파일의 경로와 내용이 보이면, Next 버튼을 누른다.
4-2-12. References found에 있는 숫자가 추가하려는 논문의 수와 일치하는지 확인 후, Next 버튼을 누른다.
4-2-13. 추가하려는 논문이 RevMan의 어디에 저장되어야 하는지를 묻는 창이 뜨면, 기본 선택사항인 Classification pending references를 확인 후, Next 버튼을 누른다.
4-2-14. 17개의 논문이 Classification pending references 위치에 저장되어 있는 것을 확인한 후, Finish버튼을 누른다.
4-2-15. Outline 창에서, Studies and references > Other references > Classification pending references 아래에 논문들이 추가된 것을 확인할 수 있다.

Step 5. Tables

체계적 고찰 및 메타분석에는 보통 두 개의 테이블이 포함되는데, 그 중 하나는 연구 논문의 발표일자, 연구대상의 연령 및 성별, 연구디자인, 표본크기 등의 일반적인 특징을 추출하여 나열한 테이블이고, 다른 하나는 포함된 개별연구들의 종류, 대조군 여부, 결과변수 선택의 적절성, 표본크기 적절성, 측정 오차 측정여부, 통계방법의 적절성 등의 연구의 질을 평가한 테이블이다. RevMan을 이용하여 연구논문들의 일반적인 특징을 추출한 테이블을 만들고, 연구의 질을 평가하여 그림으로 나타낸 Risk of bias summary를 그려보고자 한다(Fig. 6).
Characteristics of included studies table을 만드는 방법은 아래와 같다.

5-1. Outline 창에서 Tables > Characteri stics of studies > Characteristics of included studies > Antoszewska 200915) 순서대로 더블클릭 하고, Content 창에 있는 Antoszewska 200915) 아래에 있는 테이블의 Methods, Participants, Interventions, Outcomes를 5-2와 5-3의 논문의 초록과 결과를 보고 찾아 적는다.
5-2. Antoszewska 등의 논문15) 초록에서 Methods에는 연구방법이 Retrospective investigation으로 연구되었다고 보고되어 있으므로, RevMan에는 Retrospective study로 입력하였고, 350개의 미니스크류가 식립된 130명의 환자가 연구대상으로 보고되어, RevMan에는 350 MIs in 130 patients로 입력하였다. 그리고 Outcomes는 미니스크류의 성공률이고, RevMan에는 Success rates of MIs로 입력하였다.
5-3. 상악에 173개의 미니스크류가 식립되었고, 하악에는 177개의 미니스크류가 식립되었다는 것이 Table 1에 보고되어 있어, 5-1의 Interventions에는 173 MIs in the maxilla; 177 MIs in the mandible로 입력하였다.

Risk of bias summary를 만드는 방법은 아래와 같다.

5-4. Hong 등 (2016)의 논문4)에 나온 Table 2를 Risk of bias summary에 적합하도록, 12개의 개별 연구13-24)에 대하여 Newcastle-Ottawa Scale을 이용하여 case의 적절한 정의 등 6개 항목을 포함시켜 재구성하였다. 이 표를 이용해 5-11의 Risk of bias summary를 만들어 보고자 한다.
5-5. 5-1에서 Risk of bias table 우측에 있는 톱니바퀴 모양의 버튼을 누르면 5-5에 있는 Characteristics of Included Studies Properties 창이 열린다. RevMan에 기본 항목으로 선정되어 있는 7개 항목 모두 5-4의 테이블의 항목과 일치하지 않으므로 7개 항목 각각을 클릭 후, Activated 박스를 체크 해제하여 비활성화 시킨다.
5-6. 좌측 하단에 있는 Add 버튼을 클릭하여 Bias 칸에 Is the case definition adequate?을 입력한 후에 OK 버튼을 누르면 Is the case definition adequate? 라는 새로운 항목이 Risk of bias tables에 생긴다. 마찬가지로 나머지 항목들도 추가한다.
5-7. Move Up과 Move Dn 버튼을 이용하여 항목들의 순서를 조정할 수 있다.
5-8. Antoszewska 등의 논문15)에서 평가된 Authors’ judgement(Low/Unclear/High)를 선택한다. Unclear의 경우에는 Support for judgement에 판단 근거(예를 들어, Not reported)를 입력한다. 입력하지 않을 경우 5-11에 있는 Risk of bias summary에 공백으로 남는다. Chen 등(2006)의 나머지 11개 연구14-24)들도 위와 같이 Authors’ judgement를 선택한다.
5-9. Outline 창의 Figures에서 마우스를 오른쪽 클릭하여 Add Figure를 누른다.
5-10. 그러면 New Figure Wizard 창이 열리고, Figure Type에서 Risk of bias summary를 선택하고 Next 버튼을 누르면, 캡션을 입력하는 윈도우가 열리고, 적합한 캡션을 입력한 후, Finish 버튼을 누른다.
5-11. 5-11과 같이 Risk of bias summary가 그려진다.

1) 비뚤림 위험(risk of bias)

RevMan에서는 무작위 배정순서 생성(Random sequence generation), 배정순서 은폐(Allocation concealment), 연구대상자와 치료제공자(의료인)의 맹검(blinding of participants and personnel), 평가자 맹검(blinding assessor), 불완전한 결과 자료(incomplete outcome data), 선택적 보고(selective reporting), 그리고 기타 타당도에 대한 위협(other threats to validity)을 포함하는 7개의 기준을 가지고 각각의 연구에 내재된 비뚤림 위험을 평가하였는데, 홍 등(2016)의 연구4)에서는 non-randomized studies에 대해 Newcastle-Ottawa scale을 이용하여 세 그룹으로 범주화된(연구 그룹의 선정, 그룹의 비교 가능성, 환자-대조군이나 코호트 연구 각각에서 노출(exposure) 혹은 결과의 확인) 8개의 항목을 가지고 각각의 연구에 내재된 비뚤림 위험을 평가하였다. 본 연구에서는 홍 등 (2016)의 연구4)의 테이블 2를 6개의 항목이 포함된 질 평가 테이블로 5-4와 같이 재구성하여 RevMan을 이용하여 Risk of bias summary를 그려보았다.

Revman의 Risk of bias summary에서는 각각의 비뚤림 위험에 대해 high risk, unclear, low risk의 형태로 연구의 질을 평가하였고, 비뚤림 위험을 평가하기 위해 사용된 6개의 항목 중에서, case 정의에 대한 적절성, 노출에 대한 확인, 그리고 case와 control에 대한 동일한 확인 방법 등의 3개의 항목에서 각각의 연구로 부터 low risk의 결과가 얻어졌다. case들의 대표성 항목은 8개 연구들에서 낮은 위험을 보고하였고, control에 대한 정의도 6개의 연구들에서 낮은 위험으로 평가되었다. 무응답 비율은 한 연구를 제외한 모든 연구에서 high risk로 보고되었고, 제외된 Antoszewska 200915)의 연구에서는 무응답 비율이 분명하지 않아 unclear로 분류하였다.(5-4 in Fig. 6은 임의로 만들어진 테이블임을 밝힌다.)

Step 6. Forest plot and Funnel plot

Forest plot은 메타분석의 가장 중요한 결과를 표시하는 도표로 같은 질문에 대한 여러 개별 연구들의 결과들과 더불어 종합적인 결과를 표시하는 도표이다. Forest plot에서 각 개별연구에 따른 사각형은 relative weight 혹은 sample size에 따라 크기가 결정되며 사각형 옆의 가로줄은 95% 신뢰구간(confidence interval)을 말한다. 종합적인 효과크기(overall effect size)는 마름모의 형태로 나타나는데, 마름모의 중심은 각각의 효과크기를 결합한 종합적인 효과크기를 말하며 마름모의 가로 대각선은 종합적인 효과크기의 95% 신뢰구간을 나타낸다. 이 신뢰구간에 0이 포함되는 것은 유의한 차이가 없음을 말하고 0이 포함되지 않은 것은 유의한 차이가 있음을 의미한다.
체계적인 고찰과 메타분석에서 흔히 사용되는 Funnel plot은 출판 편의의 존재 여부를 확인할 수 있는 도표이다. Funnel plot에 하얀 점들이 대칭으로 구성되어 있을 때 출판편의가 존재하지 않는다는 것을 의미한다(Fig. 7).

6-1. Outline 창에서 Data and analyses를 한번 클릭하고, Content 창에서 Data and analyses 아래에 있는 Add Comparison 버튼을 누른다.
6-2. New Comparison Wizard 창이 열리고, Comparison의 제목인 Miniscrew Stability를 입력하고, Next 버튼을 누른다.
6-3. New Comparison Wizard 창이 닫힌 후 무엇을 하고 싶은지에 대해 묻는 창이 열리면, 6-2에서 만들어진 Comparison에 Outcome을 추가하기 위해 Add an outcome under the new comparison을 선택하고 Continue 버튼을 누른다. 그러면, New Outcome Wizard 창이 열린다.
6-4. Outcome의 Data Type으로 Outcome이 bonding time인 경우에는 Continuous를 선택하지만, 위에서 사용된 Miniscrew의 예제처럼 상악과 하악을 나눌 경우엔 Dichotomous를 선택하고 Next 버튼을 누른다.
6-5. Outcome의 이름에는 Miniscrew Stability를, Group Label에는 각각 Maxilla와 Mandible을 입력하고, Next 버튼을 누른다.
6-6. 분석 방법 중, Statistical Method로는 Mantel-Haenszel을, Analysis Model은 Fixed Effect, 그리고 Effect Measure에는 Odds Ratio를 선택 후 Next 버튼을 누른다.(Fig. 7 아래에 선택방법에 대한 자세한 설명이 나와 있다.)
6-7. 분석 세부사항 중, Totals에는 Totals and subtotals를, Study Confidence Interval과 Total Confidence Interval에는 95%를 선택하고, Next 버튼을 누른다.
6-8. 그래프 세부사항으로 Left Graph Label에는 Higher Success(Mandible)를, Right Graph Label에는 Higher Success(Maxilla)를 입력하고, Next 버튼을 누른다.
6-9. 새로운 outcome에 대한 study data를 추가하기 위해 Add study data for the new outcome을 선택하고, Continue 버튼을 누른다.
6-10. 상악과 하악의 식립 성공률이 분명하게 보고된 연구가 11개였으므로, Shift 키를 누르고 이 11개의 연구를 클릭하여 선택한 후, Finish 버튼을 누른다.
6-11. Miniscrew Stability를 결과 변수로 하고 상악과 하악의 식립위치를 비교하는 메타분석의 Overall effect size를 계산하기 위한 Forest plot을 그릴 수 있도록 Content 창에 작업창이 열린다.
6-12. Wu 등(2009)의 논문14)에 있는 Table 1을 살펴보면, 하악에 식립된 135개의 미니스크류 중에서 식립에 성공한 미니스크류가 118개 이고, 상악에 식립된 268개의 미니스크류 중에서 식립에 성공한 미니스크류가 243개 이다.
6-13. Miyawaki 등(2003)의 논문17)에 있는 Table III을 살펴보면, 하악에 식립된 61개의 미니스크류 중에서 식립에 성공한 미니스크류가 51개 이고, 상악에 식립된 63개의 미니스크류 중에서 식립에 성공한 미니스크류가 53개 이다.
6-14. Content 창에 있는 테이블의 Events에는 각각의 연구에서 상악 혹은 하악의 식립에 성공한 미니스크류 개수를, Total에는 상악 혹은 하악에 식립된 전체 미니스크류 개수를 입력하면 각각의 Effect size와 Overall effect size가 자동으로 계산되고, Forest plot이 그려진다.
6-15. 우측 상단의 Funnel plot 그림 버튼을 클릭하면 Funnel plot 창이 열리면서 출판 편의를 나타내는 Funnel plot이 그려진다.
6-16. 6-6에서 효과크기를 선택할 때, 각 효과크기에 대한 계산식이 6-16에 나와 있고, 그에 대한 자세한 설명은 Fig. 7 아래에 나와 있다.

1) 메타분석에서 사용되는 분석모형
(Analysis Model) (6-6)

메타분석의 분석모형에는 고정효과모형(fixed effect model)과 랜덤효과모형(random effects model)이 있다26). 랜덤효과모형과 고정효과모형은 연구 간의 이질성이 없을 때 동일한 결과를 제공하지만, 이질성이 있을 때는 고정효과모형보다 랜덤효과모형을 사용하면 평균 치료효과에 대한 신뢰 구간이 더 넓어지고, 통계적 유의성은 더 보수적이게 된다.

(1) 고정효과모형
각 연구에서 가정하는 실제 치료효과가 동일하다고 가정하는 모형이 고정효과모형이다. 그러나 공통된 실제 치료효과를 중심으로 무작위로 나타난 결과들이라고 가정했기 때문에 연구결과들이 다르게 나타난 것이다. 고정효과모형에는 대표적으로 세 가지 통계적인 방법(Statistical Method)이 있다.

(a) inverse variance method
가장 많이 사용되는 방법으로 효과크기에 대한 분산의 역수를 가중치로 사용해 연구결과들을 결합하는 방법이다. 이 방법은 결합하려고 하는 연구들의 수는 적지만 각 연구들의 표본 수가 큰 경우일 때 효과적이다.

(b) Mantel-Haenszel method
event rate이 낮거나 study size가 작을 경우에는 inverse variance method에 사용된 효과추정치의 표준오차의 추정치가 커져 효과 추정치의 정확도가 떨어지지만, Mantel-Haenszel method는 어떤 effect measure인지에 따라 가중치가 다르게 사용되기 때문에 inverse variance method 보다는 Mantel-Haenszel method가 더 선호된다. 이 방법은 각 연구들의 표본 수는 적지만 결합하고자 하는 연구들의 수가 많을 때 효과적이다.

(c) peto’s method
peto’s method는 event rate이 낮거나 zero cell이 있는 경우 효과적인 방법이지만, case group과 control group 간 표본 수에 차이가 심한 연구들이 많으면 bias된 OR값을 가질 수 있기 때문에 비판을 많이 받는 방법이다.
 
(2) 랜덤효과모형
각 연구들이 서로 다른 특성을 가지고 있기 때문에 실제 치료효과가 다르다고 가정하는 모형이다. 다양한 치료효과 중에서 이질성에 따라 연구 가중치를 조정한다.

랜덤효과모형에서 두 가지 통계모형을 제공하고 있고, 그 두 방법들은 Mantel-Haenszel method와 inverse variance method이다. 전자는 각 연구의 결과를 Mantel-Haenszel 고정효과모형 메타분석 결과와 비교하여 하나의 연구 안에서(between study) 편차의 양을 추정하는 반면, 후자는 inverse variance 고정효과모형 메타분석 결과와 각 연구의 결과를 비교하여 연구 간의(across studies) 편차의 양을 추정하는 것인데, 이 두 가지 방법의 차이는 매우 작다(trivial).

2) 메타분석 결과 해석(6-14, 15)

메타분석 결과를 살펴보면 각 연구들의 효과크기가 동질한지를 검정하는 동질성 검정 결과, 귀무가설은 아래와 같고 검정통계량, 자유도, p-value, 이질성 지표인 I2은 6-14에서 다음과 같이 얻어졌다.

H0 : OR1 = OR2 = ... = OR11
Chi2=9.53, df=10, p=0.48, I2=0%

동질성 검정 결과 p값이 0.1보다 컸고, I2값도 0%로 각 연구들의 효과크기가 동질함이 입증되었다. 그리고 결합된 효과크기(Overall effect size)인 Odds Ratio(OR)가 2.09였고, 95% 신뢰구간이 [1.61, 2.73]으로 상악에서의 식립 성공 대 실패의 비(odd=8 이라면, 8번 성공할 때마다 1번의 실패를 기대할 수 있는 것을 말한다.)가 하악에서의 비보다 2.09배 더 높았다는 것을 의미한다. 또한 Funnel plot은 출판 편의의 존재 여부를 확인할 수 있는 방법 중 하나이다. 출판 편의란 저널 편집자들이 통계적으로 유의한 차이를 보이는 연구를 더 선호하기 때문에 그러한 연구들이 출판될 가능성이 높고, 그러한 연구결과들이 더 메타분석에 포함되게 됨으로써 결과가 왜곡되는 bias를 의미한다. Funnel plot은 결합된 효과크기에 대해 대칭적인 분포를 가지면 출판편의가 없는 것으로 평가되는데, 이 경우는 출판편의가 거의 존재하지 않는 것으로 보인다. 출판편의가 존재한다면, 출판편의를 제거하기 위해 trim-and-fill procedure를 통해 포함되지 않았을 것으로 예상되는 연구들을 추가하여 대칭으로 만든 후 보정된 결합 효과크기를 다시 계산해 주어야 한다.

3) 이분형 결과변수에서의 효과크기 (6-16)

(1) Odds ratio (OR)
승산(odd)이란 질병에 걸릴 확률(노출된 집단: a/(a+b), 노출되지 않은 집단: c/(c+d))이 질병에 걸리지 않을 확률(노출된 집단: b/(a+b), 노출되지 않은 집단: d/(c+d))에 대한 비(노출된 집단: a/b, 노출되지 않은 집단: c/d)을 말하며, 승산비(odds ratio)란 노출된 집단이 노출되지 않은 집단에 비해 질병에 걸릴 승산비를 말한다.

(2) Risk ratio (RR)
위험에 노출된 집단과 노출되지 않은 집단을 수년간 관찰한 후, 노출되지 않은 집단에서의 발병률에 비해 노출된 집단에서의 발병률에 대한 비율을 risk ratio 혹은 relative risk라고 한다.

(3) Risk difference (RD)
노출된 집단에서의 발병률과 노출되지 않은 집단에서의 발병률의 차이를 risk difference라고 한다.

(4) 세 효과크기의 차이점
RR은 코호트 연구에서만 사용되지만, OR은 코호트 연구와 환자-대조군 연구, 횡단면 연구(cross-sectional study), 유병률 연구 등에서 보다 널리 사용된다. RD는 단면조사나 코호트 연구에서 사용되지만, RR이나 OR에 비해 널리 사용되지 않는 효과크기이다. OR이나 RR, RD는 위와 같은 차이점이 존재하지만, RevMan에서는 이 세 효과크기 중 어떤 것을 사용할지만 결정된다면, 6-11의 Events나 Total에 입력하는 값들은 같고 이 세 효과크기는 자동으로 계산된다.

Ⅳ. 결론
메타분석은 치의학 분야뿐만 아니라 다양한 분야에서 널리 사용되고 있는 기법으로 비슷한 주제의 연구가 증가함에 따라 경향을 파악하기 힘들어 메타분석에 대한 필요성이 증가하고 있는 실정이다. RevMan은 메타분석을 처음 접한 연구자들이 다루기 쉽고, 기본적인 메타분석 수행 시에 손쉽게 사용할 수 있다. 그러나 meta-regression이나 network meta-analysis 등의 보다 복잡한 메타분석에 대한 기능은 지원하지 않아 고급 메타분석을 수행할 경우에는 Comprehensive Meta-Analysis 등의 다른 소프트웨어를 추천한다. 본 연구는 공개 소프트웨어인 RevMan을 이용하여 기본적인 메타분석 방법으로 분석하려는 연구자들에게 단계별 가이드라인을 제시하였고, 이 가이드라인을 통해 연구자 스스로 분석할 수 있는 힘을 길러 올바른 연구결과를 도출하는데 작으나마 도움이 되길 바란다.

참고문헌
1. 이준영. 메타분석. 대한내분비학회지 2008;23 (6):361-66.
2. 임회정. 치의학 분야에서의 메타 분석. 대한치과의사협회지 2014;52(8):478-90.
3. 서미옥. 메타분석 연구의 고찰과 연구방법론적인 제안. 교육학연구 2011;49(2):1-23.
4. Hong SB, Kusnoto B, Kim EJ, BeGole EA, Hwang HS, Lim HJ. Prognostic factors associated with the success rates of posterior orthodontic miniscrew implants: A subgroup meta-analysis. Korean J Orthod 2016;46(2):111-26.
5. Lim HJ, Choi YJ, Evans CA, Hwang HS. Predictors of initial stability of orthodontic miniscrew implants. Eur J Orthod 2011;33(5):528-32.
6. Choi JH, Park CH, Yi SW, Lim HJ, Hwang HS. Bone density measurement in interdental areas with simulated placement of orthodontic miniscrew implants. Am J Orthod Dentofacial Orthop 2009;136(6):766.e1-12; discussion 766-7.
7. Lim HJ, Eun CS, Cho JH, Lee KH, Hwang HS. Factors associated with initial stability of miniscrews for orthodontic treatment. Am J Orthod Dentofacial Orthop 2009;136(2):236-42.
8. Lee SJ, Ahn SJ, Lee JW, Kim SH, Kim TW. Survival analysis of orthodontic mini-implants. Am J Orthod Dentofacial Orthop 2010;137(2):194-9.
9. Cheng SJ, Tseng IY, Lee JJ, Kok SH. A prospective study of the risk factors associated with failure of mini-implants used for orthodontic anchorage. Int J Oral Maxillofac Implants 2004;19(1):100-6.
10. Wiechmann D, Meyer U, Buchter A. Success rate of mini- and micro-implants used for orthodontic anchorage: a prospective clinical study. Clin Oral Implants Res 2007;18(2):263-7.
11. Motoyoshi M, Hirabayashi M, Uemura M, Shimizu N. Recommended placement torque when tightening an orthodontic mini-implant. Clin Oral Implants Res 2006;17(1):109-14.
12. Viwattanatipa N, Thanakitcharu S, Uttraravichien A, Pitiphat W. Survival analyses of surgical miniscrews as orthodontic anchorage. Am J Orthod Dentofacial Orthop 2009;136(1):29-36.
13. Moon CH, Lee DG, Lee HS, Im JS, Baek SH. Factors associated with the success rate of orthodontic miniscrews placed in the upper and lower posterior buccal region. Angle Orthod 2008;78(1):101-6.
14. Wu TY, Kuang SH, Wu CH. Factors associated with the stability of mini-implants for orthodontic anchorage: a study of 414 samples in Taiwan. J Oral Maxillofac Surg 2009;67(8):1595-9.
15. Antoszewska J, Papadopoulos MA, Park HS, Ludwig B. Five-year experience with orthodontic miniscrew implants: a retrospective investigation of factors influencing success rates. Am J Orthod Dentofacial Orthop 2009;136(2):158.e1-10; discussion 159-9.
16. Park HS, Jeong SH, Kwon OW. Factors affecting the clinical success of screw implants used as orthodontic anchorage. Am J Orthod Dentofacial Orthop 2006;130(1):18-25.
17. Miyawaki S, Koyama I, Inoue M, Mishima K, Sugahara T, Takano-Yamamoto T. Factors associated with the stability of titanium screws placed in the posterior region for orthodontic anchorage. Am J Orthod Dentofacial Orthop 2003;124(4):373-8.
18. Topouzelis N, Tsaousoglou P. Clinical factors correlated with the success rate of miniscrews in orthodontic treatment. Int J Oral Sci 2012;4(1):38-44.
19. Kuroda S, Sugawara Y, Deguchi T, Kyung HM, Takano-Yamamoto T. Clinical use of miniscrew implants as orthodontic anchorage: success rates and postoperative discomfort. Am J Orthod Dentofacial Orthop 2007;131(1):9-15.
20. Chen CH, Chang CS, Hsieh CH, Tseng YC, Shen YS, Huang IY, Yang CF, Chen CM. The use of microimplants in orthodontic anchorage. J Oral Maxillofac Surg 2006;64(8):1209-13.
21. Tseng YC, Hsieh CH, Chen CH, Shen YS, Huang IY, Chen CM. The application of mini-implants for orthodontic anchorage. Int J Oral Maxillofac Surg 2006;35(8):704-7.
22. Chen YJ, Chang HH, Huang CY, Hung HC, Lai EH, Yao CC. A retrospective analysis of the failure rate of three different orthodontic skeletal anchorage systems. Clin Oral Implants Res 2007;18(6):768-75.
23. Manni A, Cozzani M, Tamborrino F, De Rinaldis S, Menini A. Factors influencing the stability of miniscrews. A retrospective study on 300 miniscrews. Eur J Orthod 2011;33(4):388-95.
24. Watanabe H, Deguchi T, Hasegawa M, Ito M, Kim S, Takano-Yamamoto T. Orthodontic miniscrew failure rate and root proximity, insertion angle, bone contact length, and bone density. Orthod Craniofac Res 2013;16(1):44-55.
25. Cochrane Collaboration. Review Manager (RevMan) [Computer program]. Version 5.3. Copenhagen: The Nordic Cochrane Centre. 2014.
26. Deeks JJ, Higgins JP, Altman DG. Analysing Data and Undertaking Meta-Analyses, in Cochrane Handbook for Systematic Reviews of Interventions: Cochrane Book Series. John Wiley & Sons, Ltd, Chichester, UK. 2008.

Fig. 1. A step-by-step guide to Meta analysis
Fig. 2. How to install RevMan 5 for step 1
Fig. 3. How to write Title of review for step 2
Fig. 4. PRISMA diagram for step 3
Fig. 5-1. Adding references to a study for step 4
Fig. 5-2. Importing references from a text file for step 4
Fig. 6. Risk of bias summary for step 5
Fig. 7. Forest plot and Funnel plot for step 6