Cochrane協作工具的風險評估偏差的隨機試驗
BMJ2011年;343年doi:https://doi.org/10.1136/bmj.d5928(2011年10月18日發表)引用這個:BMJ2011;343:d5928
- 朱利安·P T希金斯高級統計學家1,
- 道格拉斯·G奧特曼主任2,
- 彼得·C Gøtzsche主任3,
- 彼得尤尼部門負責人4,
- 大衛·莫赫資深科學家56,
- 安德魯·D奧克斯曼,高級研究員7,
- 伊蓮娜Savović,博士後8,
- 肯尼斯·F舒爾茨副總裁9,
- 勞拉周,研究助理5,
- Jonathan C Sterne統計學和流行病學教授8
- 科克倫偏差方法組
- 科克倫統計方法組
- 1MRC生物統計學單位、公共衛生學院、劍橋CB2 0 sr,英國
- 2醫學統計中心,牛津大學,英國牛津大學
- 3北歐Cochrane中心Rigshospitalet哥本哈根大學,丹麥
- 4社會預防醫學研究所,瑞士伯爾尼大學
- 5臨床流行病學項目,渥太華醫院研究所、加拿大安大略省渥太華
- 6流行病學與社區醫學,醫學院,加拿大渥太華大學
- 7預防與國際醫療單位,挪威衛生服務中心知識,奧斯陸,挪威
- 8社會醫學、布裏斯托大學、英國布裏斯托爾
- 9FHI,美國北卡羅來納州研究三角園
- 函授:J P T希金斯julian.higgins在{}mrc-bsu.cam.ac.uk。
- 接受2011年7月22日
隨機試驗,係統評價的試驗,提供最可靠的證據關於衛生保健幹預措施的影響。隻要有足夠的參與者,隨機應確保參與者的幹預和對比組是相似的已知和未知的預後因素。結果不同群體之間的利益差異然後原則上可以歸因於幹預的因果效應。1
因果推斷從隨機試驗,然而,是受到缺陷設計,行為,分析和報告,導致低估或高估的真正的幹預效果(偏見)。2然而,它通常是不可能知道的程度的偏見影響了特定的試驗的結果。
係統評價的目的是整理和合成研究,滿足預定的合格標準3使用方法,試圖減少偏見。為了獲得可靠的結論,評論作者必須仔細考慮可能包括研究的局限性。研究“質量”的概念不是定義良好的,而是涉及到設計的程度,行為,分析和報告適當的回答的研究問題。許多工具來評估質量的隨機試驗,包括尺度(分數試驗)和清單(評估試驗沒有產生一個分數)。4567直到最近,Cochrane綜述各種這些工具的使用,主要是檢查清單。82005年Cochrane協作的方法組織開始了一項新的策略來評估質量的隨機試驗。在本文中,我們描述協作的新的偏見的風險評估工具,並開發和評估的過程。
風險評估工具的發展
2005年5月,16個統計學家、流行病學家和評論作者參加了三天的會議,開發新工具。開會前,JPTH和DGA編譯一個廣泛的潛在的偏見來源列表的臨床試驗。名單上的項目被分成七個領域:分配序列的生成;分配序列的隱藏;基礎墊層;摩擦和除外責任;其他通用的偏見來源;偏見的試驗設計(如交叉或集群隨機試驗);和偏見可能特定於臨床專業。的七個領域,提名會議參與者準備經驗證據的審查,討論具體問題和不確定性,而提出的一套標準評估偏見的足夠的保護,支持的不足,或者不清楚,例子。
會議期間的決定是由非正式的共識關於物品真的是潛在的偏見而不是異質性的來源或不精確。潛在的偏見被分為域,和他們的評估策略達成一致,再通過非正式的共識,從而創建一個新工具來評估潛在的偏見。與會者還討論了如何跨域的總結評估,如何說明評估,以及如何評估納入分析和結論。分鍾的會議從一個轉錄錄音與寫筆記。
會議結束後,對作者開發的詳細標準為每個項目包含在評估潛在的偏見的工具和指導。文件共享和反饋要求從整個工作組(包括6人不能參加會議)。幾個電子郵件迭代發生,也包含反饋報告建議的指導在各種會議和研討會在Cochrane協作和選定試點工作的審查團隊合作工作小組的成員。材料被帶領到綜合全麵指導偏差的新風險的工具。這是發表在2008年2月,作為整個Cochrane協作推薦的方法。9
評估階段
一個三階段項目評估工具在2009年初開始。舉行了一係列的焦點小組的審查作者使用了這個工具被要求對他們的經驗進行反思。焦點小組的發現被送入用於三個在線調查問卷的設計審查作者使用了這個工具,回顧作者沒有使用工具(探索為什麼不),和編輯團隊內部的協作。我們舉行一個會議討論焦點小組和調查的結果,並考慮的第一個版本修正偏差的風險的工具。這是由2005年的6個參與者參加會議和17人,包括統計學家、流行病學家、協調編輯器和其他員工Cochrane審查小組,和主編Cochrane圖書館。
偏見的風險的工具
在2005年研討會參與者同意七原則基於新的偏見的風險評估工具(盒)。
風險評估原則的偏見
1。不要使用質量尺度
質量尺度和產生的分數不是一個適當的方法評價臨床試驗。他們傾向於把評估方麵的質量報告和試驗方麵的行為,和權重分配給不同的物品的方式是很難證明的。這兩個理論的考慮10和經驗證據11表明,關聯不同尺度和幹預效果的估計不一致的和不可預測的
2。關注內部效度
研究的內部效度是在多大程度上擺脫偏見。單獨的內部效度的評估是很重要的外部效度(generalisability或適用性)和精密(研究結果在多大程度上是免費的從隨機誤差)。的適用性取決於研究的目的是使用,沒有內部效度不那麼相關。精度取決於參與者的數量和事件研究。風險較低的小型試驗偏差可能會提供非常精確的結果,與廣泛的置信區間。相反,一個大型試驗的結果可以精確(狹窄的置信區間),但有高風險的偏差如果內部效度很差
3所示。在試驗結果評估偏差的風險,而不是報告的質量或方法論的問題不直接相關的偏見的風險
報告的質量,如是否細節描述,影響係統綜述的能力醫學研究的作者和用戶評估偏差的風險但不直接相關的風險的偏見。同樣,審判行為的某些方麵,例如獲得倫理批準或計算樣本量,不直接相關的風險的偏見。相反,使用最好的方法的實驗結果可能仍然是偏見的風險。例如,眩目的可能不是可行的在許多非藥物試驗,試驗和不合理考慮低質量,因為沒有致盲。盡管如此,許多類型的結果可能會影響參與者的知識的幹預,所以這樣的結果可能的試驗結果被認為是偏見的風險,因為沒有致盲,盡管這是不可能實現的目標
4所示。評估風險的偏見需要判斷
評估是否一個特定的方麵的審判行為呈現結果偏差的風險需要試驗方法的知識和判斷這些方法是否可能導致偏見的風險。我們決定偏差評估的基礎應該明確,通過記錄方麵的試驗方法的判斷為基礎,然後判斷本身
5。選擇域進行評估的基礎上結合理論和實證方麵的考慮
實證研究表明,審判行為與偏見相關聯的特定方麵。212然而,這些研究沒有包括所有潛在的偏見的來源。例如,現有證據不區分致盲的不同方麵(的參與者、衛生專業人員和結果評估)和非常有限的關於作者是如何處理不完整的結果數據。也有特定主題和設計具體問題相關的一些試驗和評論。例如,在審查包含交叉試驗可能是適當的評估結果偏差的風險,因為有一個“衝刷”不足兩個治療期之間的時期
6。關注偏見的風險數據的審查而不是最初報道
有些論文報告試驗結果,被認為是高危的偏見,它可能就會產生一個結果在低風險的偏見。例如,論文從分析不當排除某些病人可能報告對這些病人幹預組和結果,以便省略參與者可以恢複
7所示。報告的特定風險評估結果的偏差
審判行為的某些方麵(例如,隨機分配是否隱藏當時參與者招募)適用於整個試驗。然而,對於其他方麵,偏見的風險本質上是特定於試驗中不同的結果。例如,所有原因的死亡率可能通過聯係確定死亡登記(低風險的偏見),雖然癌症複發的可能已經被醫生評估了解分配的幹預(高偏差的風險)
偏見的風險工具覆蓋六域的偏見:選擇偏見,偏見,性能檢測偏差,摩擦偏見,報告的偏見和其他偏見。在每一個領域,評估是由一個或多個項目,這可能覆蓋域的不同方麵,或不同的結果。表1⇓顯示推薦的項目列表。這些將更詳細地討論在附錄在bmj.com上。
的每一項工具,偏見的風險評估是在兩個部分。支持的判斷提供了一個簡潔的自由文本描述或總結的相關試驗判斷偏差的風險是基於特征,旨在確保透明度的判斷是如何達到的。例如,項目的隱蔽隨機分配序列將提供詳細的措施,如果有的話,隱藏序列。這些描述的信息經常會發表的試驗報告,但是這可能是來自一個從混合物中獲得的試驗報告、協議、發表評論《審判之間的聯係和調查。支持已知事實的判斷應該提供一個總結,包括逐字引用。應該說,這些信息的來源和在沒有信息來作出判斷,這應該是。
該工具的第二部分涉及到分配的判斷高,低,或者不清楚每項材料偏差的風險。我們定義材料足夠震級的偏差,偏差有顯著影響試驗的結果或結論,承認任何這樣的主觀判斷。詳細的標準偏差的風險做出判斷從每個項目的工具是可用的科克倫手冊。13如果不夠詳細報道發生在審判,判決通常會不清楚偏見的風險。判斷不清楚風險也應該讓如果知道什麼發生在試驗的相關風險的偏見還是示例中,如果參與者采取額外效果不明的藥物由於他們意識到幹預的任務。我們建議由至少兩個人,獨立判斷是與任何差異通過討論來解決在第一個實例。
一些物品的工具,如隨機方法,隻需要一個單一的評估每個試驗包括在審查中。其他物品,如致盲和不完整的結果數據,兩個或兩個以上的評估可能會因為他們通常需要分別用於不同的結果(或相同的結果在不同的時間點)。然而,我們建議審查作者數量限製分組結果的示例中,使用的評估目的的主觀或客觀的評估結果評估或致盲的“患者在6個月報道”或“病人報告在12個月”的風險評估偏見由於不完整的結果數據。
評估初期實現
第(2008)版本的工具從這裏提供一個稍微不同的。2008版沒有歸類偏見的六個域(選擇性偏差、性能偏差等);隻有一個炫目的評估;並表示偏見的風險格式”是的,”“不,”或“不清楚”(指缺乏風險)而不是低,高,或不清楚風險。初始版本的2010年評估發現廣泛接受的偏見的風險工具的必要性,與共識,它代表了一個改進的方法之前推薦的協作或廣泛用於係統評價。
焦點小組參與者指出,該工具需要更長的時間比先前的方法來完成。187年作者調查,88%超過10分鍾完成了新工具,超過20分鍾,44%和7%超過一個小時,但83%認為花費的時間接受。有共識,物品分類工具根據類別的偏見(選擇性偏差、性能偏差等)將幫助用戶,我們介紹這些。也有共識,炫目的評估應分為致盲的參與者和衛生專業人員(性能偏差)和眩目的結果評估(檢測偏差),判斷風險的措辭應改為低,風險高,不清楚。據報道領域最困難的評估偏差的風險是由於不完整的結果數據和選擇性報告結果。有協議,改進培訓材料和可用性工作的例子將增加偏見的質量和可靠性評估。
的評估
偏見的風險評估的結果可以在一個表,在判斷中每個項目的每個試驗提出了與他們的描述性的理由。表2⇓禮物的一個例子的風險偏差表一個試驗包括在Cochrane審查的抗逆轉錄病毒藥物治療監測艾滋病毒感染者。14偏見的風險由於致盲和不完整的數據評估結果在所有結果包括在每一個研究中,而不是分別為不同的結果在某些情況下將會更合適。
呈現風險偏差表為每一個研究的回顧可以麻煩,和我們建議插圖用於在主係統回顧總結了判斷文檔。這個數字⇓提供了一個示例。在這裏,在審查判斷適用於所有薈萃分析。另一種做法是為特定的薈萃分析來說明偏差的風險(或為特定的結果如果不進行統計綜合),顯示信息的比例低,來自研究不清楚,或高度風險的偏見中的每一項工具,在研究提供信息,結果。
總結評估偏差的風險
對整體風險得出結論的偏差內或跨試驗需要在項目總結評估工具為每個在每個試驗結果。在這樣做,評論作者必須決定哪些領域最重要的評論,最好在寫他們的協議。例如,對於高度主觀的結果,如疼痛,炫目的參與者是至關重要的。總結的方式判斷風險的偏見達到應該明確,應該根據經驗證據的偏見存在,可能方向的偏差,和可能的偏見。表3⇓提供了一個建議的框架進行總結風險評估的偏差內重要成果和試驗。
評估風險的偏見和合成的結果
總結評估的偏差的風險在每個試驗都應該通知薈萃分析的結果。兩個更好的分析策略限製主元分析研究低風險的偏見或目前的薈萃分析分層根據偏差的風險。這些策略之間的選擇應該基於特定的上下文審查和潛在的偏見和損失之間的平衡精度的研究在高或不清楚風險的偏見被排除在外。多元回歸可以用來比較的結果研究在高和低風險的偏見,但這種比較缺乏力量,15和缺乏顯著性差異不應解釋為暗示沒有偏見。
第三個策略是目前所有研究的薈萃分析,同時提供一個總結的偏見的風險研究。然而,這可能偏見是淡化討論和結論的審查,所以決定繼續為基礎,至少在某種程度上,有缺陷的證據。這種風險可以減少將總結評估納入更廣泛,但明確,措施的證據質量的每一個重要的結果,例如使用等級係統。16這可以幫助確保判斷偏差的風險,以及其他證據的質量影響因素(如不精確、異質性和發表偏倚),被認為是在解釋研究結果時還是勸告人們的評論。1718
討論
之間的差異的結果,不同的係統評價研究相同的問題1920.和之間的薈萃分析和隨後的大型試驗21表明,薈萃分析的結果可以有偏見,這可能是部分的試驗包括偏見造成的結果。我們相信我們的偏見的風險工具的最全麵的方法來評估潛在的偏見在隨機試驗包含在係統評價和薈萃分析。的審判行為的細節,包括判斷偏差為基礎的風險,比先前的方法提供了更大的透明度,讓讀者決定是否同意這個判斷。有持續的不確定性,和偉大的變化在實踐中,對如何評估潛在的偏見在特定領域內試驗,如何總結偏差評估跨等領域,以及如何把偏差評估融入薈萃分析。
最近的一項研究發現,該工具需要更長的時間比其他工具來完成(調查人員每人平均8.8分鍾的一個預定的結果使用我們的工具相比,1.5分鍾之前的報告質量評定量表)。22工具的可靠性還沒有被廣泛的研究,雖然相同的作者觀察到較大的尺度效應觀察平均研究評為偏見而研究高危低風險的偏見。22
通過顯式地將判斷納入工具,我們承認評估之間的協議可能不如其他一些工具。然而,我們也明確目標偏差的風險而不是審判的報道特點。它會更容易評估是否退出率超過20%比21%的退出率是否引入了偏差的一個重要風險,但不能保證結果從一個研究退出率低於20%的低風險的偏見。初步證據顯示,不完整的數據和選擇性報告結果是最困難的項目評估;kappa措施的協議分別為0.32(公平)和0.13(輕微)已報告。22重要的是,指導和培訓材料繼續為所有方麵的開發工具,尤其是這兩個。
我們希望廣泛采用和實施的風險傾向工具,內外Cochrane協作,將有利於改善評估證據的醫療決策者和病人並最終導致更好的醫療保健。改進的理解方式缺陷的審判行為偏差結果也可能導致更好的試驗和更可靠的證據。偏見的風險評估應該繼續發展,考慮任何新的經驗證據和係統評價的作者的實際經驗。
總結分
係統評價應仔細考慮潛在的局限性研究包括在內
Cochrane協作開發了一種新工具對風險評估偏差的隨機試驗
偏見的工具分離判斷風險的描述支持這一判斷,一係列的項目涵蓋不同領域的偏見
筆記
引用這個:BMJ2011;343:d5928
腳注
貢獻者:所有作者手稿的起草和編輯。JPTH, DGA PCG PJ, DM, ADO、kf和江淮的章Cochrane係統評價手冊的幹預措施基於本文。JPTH將作為擔保人。
發展會議參與者(2005年5月):道格•奧特曼(聯合),Gerd,克裏斯·蓋茨Jon Deeks彼得•Gøtzsche朱利安·希金斯(聯合),莎莉霍普韋爾,彼得尤尼(組委會),Steff劉易斯,菲利帕米德爾頓(組委會),大衛·莫赫安迪·奧克斯曼肯·舒爾茨(組委會),南帝齊格弗裏德,喬納森•Sterne西蒙·湯普森。
其他貢獻者工具開發:希爾達Bastian,蕾切爾Buchbinder,伊恩•查爾莫斯,米蘭達Cumpston,莎莉綠色,彼得•Herbison Victor Montori漢娜Rothstein格魯吉亞Salanti,圭多澤伊恩謝瑞爾,傑恩Tierney,伊恩白色和葆拉·威廉姆森。
評估會議參與者(2010年3月):道格•奧特曼(組委會),伊萊恩·貝爾莎莉Bell-Syer,雷切爾·丘吉爾,克裏斯•蓋茨6月科迪,喬納森•庫克基督教Gluud,朱利安·希金斯(組委會),莎莉霍普韋爾,海莉瓊斯,彼得•Jűni莫妮卡Kjeldstrøm,托比•Lasserson Allyson Lipp,勞拉麥克斯韋,喬安妮·麥肯齊,克雷格•拉姆齊巴尼。裏弗斯,伊蓮娜Savović(聯合),喬納森·斯特恩(聯合),大衛·Tovey勞拉·周(組委會)。
其他因素評估工具:伊莎貝爾Boutron大衛·莫赫(組委會),露西·特納。
資金:偏見的風險工具的開發和評價的部分資金由Cochrane協作。在這篇文章中表達的觀點不一定是作者和Cochrane協作或注冊的實體,委員會或工作小組。JPTH也是由MRC格蘭特U.1052.00.011數量。格蘭特DGA是由英國癌症研究c - 5592。DM是由大學研究椅子(渥太華大學)。加拿大衛生研究院的研究提供金融支持Cochrane偏差方法組。
利益衝突:所有作者已經完成了ICJME統一披露形式www.icmje.org/coi_disclosure.pdf(可以在請求從相應的作者)和聲明的支持Cochrane協作開發和評估工具的描述;他們沒有金融關係可能有興趣的任何組織提交的工作在前三年,沒有其他關係或活動似乎已經影響了提交工作。
出處和同行評審:不是委托;外部同行評議。
這是一個開放分布式根據條創作共用署名非商業性的許可證,允許使用,分布,在任何介質,和繁殖提供了最初的工作是正確地引用,使用非商業,否則按照許可證。看到的:http://creativecommons.org/licenses/by-nc/2.0/和http://creativecommons.org/licenses/by-nc/2.0/legalcode。