搶劫2:修改工具風險評估偏差的隨機試驗
BMJ2019年;366年doi:https://doi.org/10.1136/bmj.l4898(2019年8月28日發表)引用這個:BMJ2019;366:l4898
- Jonathan C Sterne教授,12,
- 伊蓮娜Savović,高級研究員13,
- 馬修·J頁麵,研究員4,
- Roy G Elbers高級研究助理1,
- 娜塔莉·布蘭考年代12,
- 伊莎貝爾Boutron教授,567,
- Christopher J Cates高級臨床研究員8,
- Hung-Yuan程12,
- 馬克年代Corbett,研究員9,
- 桑德拉·米埃爾德裏奇教授,10,
- 喬納森·R艾伯森教授,11,
- 米格爾的赫爾南教授,12,
- 莎莉霍普韋爾副教授13,
- Asbjørn Hrobjartsson教授,141516,
- 丹妮拉R Junqueira,研究助理17,
- 彼得尤尼教授,18,
- 傑米·J Kirkham教授,19,
- 托比Lasserson高級編輯器20.,
- 天津李副教授21,
- 亞曆山德拉McAleenan高級研究助理1,
- 巴納比C李維斯,專業研究員222,
- 薩莎Shepperd教授,23,
- 伊恩謝瑞爾,調查員24,
- 萊斯利·斯圖爾特一教授,9,
- 凱特耕作教授,1225,
- 伊恩·R白教授,26,
- 彭妮F白粉副教授13,
- 朱利安·P T希金斯教授,123
- 1人口健康科學,布裏斯托爾醫學院,英國布裏斯托大學、布裏斯托爾20億年BS8
- 2布裏斯托NIHR生物醫學研究中心,英國布裏斯托爾
- 3NIHR CLAHRC西方,布裏斯托爾大學醫院NHS信托基金會,英國布裏斯托爾
- 4公共衛生和預防醫學學院的莫納什大學,澳大利亞墨爾本
- 5方法團隊、流行病學和生物統計學中心INSERM UMR 1153年,巴黎,法國
- 6巴黎笛卡兒大學,巴黎,法國
- 7科克倫法國,巴黎,法國
- 8人口健康研究所、聖喬治倫敦大學,倫敦,英國
- 9評論和傳播中心紐約,英國約克大學
- 10實用臨床試驗單位,初級保健中心和公共衛生、英國倫敦大學瑪麗皇後
- 11MRC人口健康研究中心,臨床試驗服務單位和流行病學研究單位,納菲爾德人口健康、牛津大學,英國牛津大學
- 12流行病學和生物統計學、哈佛T H陳公共衛生學院,麻省理工的健康科學技術,波士頓,MA,美國
- 13醫學統計中心,納菲爾德骨科、風濕病和肌肉骨骼,牛津大學,英國牛津大學
- 14歐登塞大學醫院循證醫學中心的歐登塞,丹麥歐登塞
- 15臨床研究部門,南加州大學丹麥,丹麥歐登塞
- 16病人數據探測的網絡開放,歐登塞大學醫院,丹麥歐登塞
- 17急診醫學、醫學及牙科學院、阿爾伯塔大學,埃德蒙頓,加拿大阿爾伯塔省
- 18應用健康研究中心,李嘉誠知識學院,聖邁克爾醫院,醫學和衛生政策研究所的管理和評估,多倫多大學,多倫多,加拿大安大略省
- 19生物統計學中心曼徹斯特大學、英國曼徹斯特
- 20.編輯和方法,科克倫中央行政、英國倫敦
- 21流行病學、約翰霍普金斯大學彭博公共衛生學院的巴爾的摩,馬裏蘭州美國
- 22平移健康科學、布裏斯托爾醫學院,布裏斯托大學,英國布裏斯托爾
- 23納菲爾德人口健康、牛津大學,英國牛津大學
- 24中心臨床流行病學、戴維斯夫人研究所、猶太總醫院,麥吉爾大學蒙特利爾,魁北克,加拿大
- 25MRC綜合流行病學單元、布裏斯托大學,英國布裏斯托爾
- 26本臨床試驗單位,倫敦大學學院,倫敦,英國
- 函授:J C Sternejonathan.sterne在{}bristol.ac.uk(或@jonathanasterne在推特上)
- 接受2019年6月25日
偏見的風險評估在每個研究包括在係統回顧文件證據總結潛在缺陷,有助於確定在整個證據。1Cochrane工具風險評估偏差的隨機試驗(RoB工具)2已廣泛應用於科克倫和其他係統的評論,與超過40 000年穀歌學者引用。
許多原始的創新特征RoB工具已經被廣泛接受。它取代的概念評估研究質量與風險評估的偏差(我們定義偏差作為係統偏離幹預的影響,觀察到在一個大型隨機試驗沒有任何缺陷)。質量是沒有定義良好和可以包括研究特征(如執行樣本量計算)不固有的偏見有關這項研究的結果。RoB工具認為偏見產生的不同階段試驗(稱為偏見域),這是選擇的經驗證據和理論的基礎上考慮。風險評估的偏差是由引用來源描述試驗(如試驗協議,登記記錄,結果報告)或理由寫的評估員。
經過近十年的使用搶工具的經驗,已確定潛在的改進。正式的評估發現了一些偏見域有時令人困惑,評估的偏差由於不完整的數據和選擇性報告結果的結果導致特殊的困難,和混亂在研究沒有盲目的是否應該自動被認為是高危的偏見。3更多的指導將risk-of-bias評估納入薈萃分析和審查的結論也是必要的。45回顧評論和用戶實踐發現,科克倫和non-Cochrane係統評價經常搶劫工具以非標準方式實現。6很少有試驗評估偏差的風險低,和判斷不清楚風險的偏見是常見的。67實證研究發現隻有溫和risk-of-bias判斷的可靠性。8
我們開發了一個修訂risk-of-bias評估工具來解決這些問題,結合先進的風險評估的偏差用於其他最近開發的工具,910和集成最新發展評估幹預效果的隨機試驗。11
總結分
風險評估的偏差被認為是一個重要的組件的係統回顧幹預的影響;最常用的工具,風險評估偏差的隨機試驗是Cochrane risk-of-bias工具,在2008年推出
潛在改進Cochrane risk-of-bias工具確定了評論的文獻的基礎上,用戶體驗和反饋,方法用於其他risk-of-bias工具,和最近的進展評估幹預效果的隨機試驗
我們開發和試驗了一個修改後的風險評估工具的偏見在隨機試驗(RoB 2)
偏見是評估在五個不同的領域。在每一個領域,用戶搶2回答一個或多個信號的問題。這些答案導致判斷的“低風險的偏見”,“有些擔憂,”或“偏見”的風險很高
每個域內判斷導致總體risk-of-bias判斷被評估的結果,也應該讓用戶搶2分層薈萃分析根據偏差的風險
修改後的RoB工具的發展
我們跟著原則采用原始的發展搶ROBINS-I風險評估工具的工具和偏見non-randomised幹預措施的研究。29核心組協調發展的工具,包括招募合作者,準備和修訂的文檔,和行政支持。
前期工作包括對原始工具是如何在實踐中使用,6meta-epidemiological研究的係統回顧和薈萃分析的經驗證據的偏見與隨機試驗的特點,12和選擇性的橫斷麵研究結果報告在Cochrane綜述評估。13我們也借鑒了係統回顧的理論和概念文獻類型的偏見在流行病學、尋求論文和教材呈現或偏差的定義,分類和組織成一個連貫的框架(紙做準備)。
核心小組開發了一個初始提案提出,連同最新經驗證據的偏見在隨機試驗中,在2015年8月的一次會議上出席24貢獻者。與會者同意支撐新工具和方法論原則偏見領域存在的問題,並為每個域成立工作小組。組是負責開發信號問題(事實問題是的/不合理答案通知risk-of-bias判斷),連同指導回答這些問題並廣泛考慮如何為域判斷偏差的風險。
聚材料由工作組的核心團隊和編輯,以及由此產生的草案是由經驗豐富的新手駕駛係統的評論者在三天的事件在2016年2月,17個參與者現在和10遠程參與者的貢獻。問題確認試驗記錄和解決在新的草案第二個發展會議上討論2016年4月,還參加了24貢獻者。隨後,工作組開發的標準達到域級別,risk-of-bias判斷基於信號問題的答案,並擴大了指導。核心團隊設計算法來匹配標準,檢查工作小組。結果修訂在新一輪的駕駛測試10係統綜述作者2016年中期。
RoB工具的一個完整的草案版本2 (RoB 2),連同詳細的指導,發布www.riskofbias.info2016年10月,恰逢Cochrane討論會在首爾,韓國。反饋是通過直接接觸開發團隊邀請的。草案幾個審查團隊隨後駕駛工具和提供反饋。進一步modifications-particularly改善措辭和清晰度,分裂複合信號的問題,添加新問題,和解決方法問題作出反饋的基礎上進行的培訓活動(包括在線研討會)在2016年至2019年之間,以及個人來自全球用戶的反饋。
版本2的Cochrane工具風險評估偏差的隨機試驗(RoB 2)
搶劫2提供了一個框架來評估偏差的風險在一個單一的評估報告的一個隨機試驗的幹預效果。效果評估是一個比較兩個幹預,我們稱為實驗和比較器的幹預措施,為一個特定的結果或端點。做一個搶劫的過程2評估總結圖1。初步考慮(框1)包括指定結果評估,指定如何解釋這一結果(參見下麵的“利益”的幹預效應),和清單通知評估使用的信息來源。評論作者應該聯係試驗作者省略了為了獲得信息發布和在線資源,這是可行的。注意risk-of-bias評估可能需要從包括試驗結果相關的多個結果。
總結的過程風險評估係統回顧偏差的隨機試驗,使用版本2的Cochrane risk-of-bias工具
搶劫2工具:初步考慮
對於本評估,定義幹預相比:
實驗幹預:
比較幹預:
指定被風險評估結果的偏差
指定的數值結果評估。
(如果多個替代分析被提出,指定數值的結果(例如,風險比1.52(95%可信區間0.83到2.77)或引用(例如,一個表,圖,或段落),獨特的定義結果評估)。是這個結果的審查小組的目標(檢查):
評估任務幹預的效果(意向處理效果)?
評估堅持幹預的效果(每個協議的效果)?
如果目標是評估堅持幹預的效果,選擇偏離預期的幹預應該解決(至少有一個必須檢查):
發生non-protocol幹預
失敗在實施幹預,可能會影響結果
沒有遵守他們的試驗參與者分配的幹預
下麵哪個渠道得到幫助通知risk-of-bias評估嗎?
期刊文章(s)
試驗協議
統計分析計劃
非商業試驗注冊記錄(如ClinicalTrials.gov記錄)
公司試驗注冊記錄(例如,葛蘭素史克公司臨床研究注冊記錄)
灰色文獻(如未發表的論文)
會議摘要(s)的審判
管理文檔(如臨床研究報告,藥品批準包)
研究倫理應用
格蘭特數據庫概要(如NIH記者或英國研究理事會網關的研究)
個人通信與triallist
個人溝通與讚助商
搶劫2結構為五偏見域,中列出表1。解決所有重要的領域選擇機製的偏見可以引入一個試驗的結果,基於實證和理論的結合方麵的考慮。我們不包括域特性,將間接地運作,通過域包括偏見。1415出於這個原因,我們排除了一些試驗功能,如資金來源和單中心和多中心的地位,這與試驗相關的實證估計效果試驗。
我們標簽領域使用的描述偏差的原因解決,避免術語在原始RoB工具(如“選擇性偏差”和“性能偏好”),因為他們使用不一致或不知道許多Cochrane以外的人。16每個域是強製性的,沒有其他人可以添加,盡管我們已經開發版本的搶劫2,處理額外的出現的問題,與集群隨機試驗或交叉設計(www.riskofbias.info)。在每一個領域,評估包括:
•一係列信號問題
•判斷偏差的風險領域,通過一個算法映射反應信號的問題,提出了判斷
•自由文本框來證明反應信號問題和risk-of-bias判斷
•可選自由文本框來預測和解釋偏差的可能方向。
表2列出了最重要的更改在搶劫2中,與原來相比Cochrane搶工具。
信號的問題
信號問題,旨在引起相關的信息偏差的風險評估(表1)。尋求合理事實本質上的問題。響應選項是“是的”,“大概是的,”“也許不,”“不,”和“沒有信息。”來最大化他們的簡單性和清晰性,信號問題措辭,這樣是的回答可能表示更低或更高風險的偏見,取決於最自然的方式問這個問題。在線web附錄中補充材料包括詳細提供指導如何回答每個問題。
回答“是的”,“可能是”有相同的影響偏差的風險,也可能回答“不”和“沒有。”“是的”和“不”通常意味著公司的證據是可用的;“可能”的反應通常意味著一個判斷。哪裏有需要區分“擔憂”和“高風險的偏見”,這是通過使用一個額外的信號處理問題,而不是通過區分反應“可能是”和“是的,”或“可能不”和“沒有之間。”“不”信息反應不足時應隻使用細節可以允許不同的反應,當,在沒有這些細節的情況下,這是不合理的回應“可能是的”或“可能沒有。”例如,在一個大的背景下審判由一位經驗豐富的臨床試驗單位,缺乏具體信息生成的隨機序列,與嚴格執行在期刊發表的一篇論文字數限製,可能會導致響應“可能是”,而不是“沒有信息”信號序列生成問題(反應的基本原理應該提供的免費文本框)。有些信號問題隻有在回答前一個問題回答表明他們是必需的。
感興趣的幹預效果
評估領域“偏見由於偏離預期的幹預”根據審查是否不同作者感興趣的量化分配到幹預的效果在基線無論收到幹預隨訪(意向處理效應),或堅持幹預的效果試驗協議中指定的每個協議(效果)。這些影響會有所不同,如果有些病人不接受分配的幹預或偏離基線後分配的幹預。每個效果可能會感興趣的。11例如,分配到幹預的效果可能是適當的通知衛生政策是否推薦一個幹預(如篩選項目)在一個特定的衛生係統,而堅持幹預的影響更直接通知保健決定個體病人(如是否上映)。變化的幹預與試驗一致協議(即使沒有明確討論的協議),如戒煙藥物的毒性或切換到二線化療,因為癌症的進展,不會引起偏見和不應被認為是偏離預期的幹預。
分配到幹預的效果應該通過意向性治療分析估計,包括所有參與者隨機。17然而,每協議影響的估計中常用隨機試驗的報告有問題,可能是嚴重的偏見。18這些估計包括那些從天真/協議分析局限於個體堅持他們分配的幹預,和as-treated分析參與者的分析根據他們收到的幹預,即使他們的分配組是不同的。這些方法是有問題的,因為預後因素可能影響個人是否接受分配的幹預。來自一個隨機試驗的數據可以用來獲得一個無偏估計的堅持幹預的效果。1920.然而,適當的方法的有效性取決於強烈的假設,和發布應用程序比較少見。為試驗比較幹預持續一段時間後,適當的方法還需要測量和調整值的預後因素,隨機前後,預測偏離幹預。11由於這些原因,大多數係統評價有可能估計任務而不是堅持幹預的效果。
Risk-of-bias判斷
每個域的risk-of-bias判斷“低風險的偏見,”“有些擔憂,”或“偏見的風險很高。”的判斷是基於和概括,信號問題的答案。評論作者應該“風險偏好”解釋為“材料的風險偏好”:隻能表示擔心問題可能有一個顯著的影響評估的結果。
搶劫2是一項重要的理論創新,將地圖的算法對信號的反應問題提出risk-of-bias判斷為每個域(見補充材料在網上web附錄)。評論作者可以覆蓋這些提出的判斷,如果他們覺得這樣做是合適的。
自由文本框與信號問題和判斷允許評估提供支持的響應。短暫的直接引用的文獻研究報告(包括試驗方案)應該盡可能使用,輔以從作者聯係時獲得的任何信息。任何原因的判斷不應提供跟蹤算法。搶劫2包括可選的判斷偏差的方向為每個域和整體。如果審查作者沒有明確理由判斷偏差的可能方向,他們不應該猜測。
討論
我們有大幅修訂Cochrane工具風險評估偏差的隨機試驗的結果,為了解決限製確定自2008年出版以來,將改進,旨在增加的可靠性評估。搶劫2是基於寬谘詢Cochrane內外、廣泛的駕駛和集成基於用戶體驗的反饋。評估是由五個偏見域,其中信號問題的答案解決更廣泛的問題比原來搶工具。這些問題包括post-randomisation是否偏離幹預導致試驗致盲的偏見不可行或不執行和結果是否數據丟失的原因可能導致偏見。選擇性的評估報告是關注報道結果的結果,而不是選擇性non-reporting其他試驗中測量的結果。搶劫2還包含了最近的進展評估幹預效果的隨機試驗:我們區分偏差在任務幹預措施的效果偏差在堅持幹預的效果試驗中指定的協議。11
搶劫2評估與偏見的風險在一個估計的幹預效果一個結果或端點,而不是整個試驗。這種特異性是因為偏見的風險結果等領域特定的偏見的測量結果,並可以針對一個特定的估計(例如,當兩個意向處理和協議進行分析)。我們建議整體搶2判斷風險的個人偏見的結果應該區分較強和較弱的證據的主要手段的情況下隨機試驗的薈萃分析(或其他合成)。整體的判斷也會影響結論的力量來自一個係統的回顧(可能作為等級評估的一部分)。21我們強烈鼓勵分層,整體risk-of-bias判斷作為默認的薈萃分析策略,如圖所示圖2。為了促進這一點,我們建議軟件係統綜述準備為risk-of-bias評估提供數據字段。我們正在準備一個交互式web工具完成搶劫2評估,我們希望將接口與其他係統評價軟件。
在搶劫2中,判斷偏差的風險由算法的基礎上推導出具體的信號問題的答案。添加結構提供的信號問題旨在使評估更容易和更有效的使用,以及改善評估之間的協議。我們認為這種方法比直接更直接判斷偏差的風險需要在原始RoB工具。算法包括顯式映射情況下沒有信息來回答一個信號的問題,不一定映射到一個消極的評估試驗。例如,當隨機方法描述和充足,響應信號的基線問題幹預組之間失衡會導致低風險的偏見當這樣的失衡是兼容的機會,或當沒有基線信息失衡。我們刪除的選項“不清楚”判決支持一組評分的回答選項(從“低”到“一些擔憂”到“高”)。我們設想,係統評價將報告域層次的判斷和整體risk-of-bias判斷表或數據中包含的主要審查文本。此外,我們鼓勵報告信號問題的答案,一起直接引用論文和自由文本回答的理由,在一個附錄。
我們希望改進我們搶工具導致更大比例的試驗結果被評估為低風險的偏見,因為我們的算法將某些情況下映射到一個低風險的偏見當用戶之前的工具通常會評估他們的風險不清楚(甚至高)的偏見。這種潛在的差異與原來的相比,判斷搶2工具選取試驗尤其如此,偏見的風險分配的影響,幹預由於偏離預期的幹預可能會低,盡管許多用戶的原始RoB工具分配一個高風險的偏見在相應的領域。我們相信,低風險的判斷偏差應易於做到隨機試驗,研究設計,科學地強,很好理解,往往在實踐中實現。我們希望搶2將有用的係統綜述作者和那些利用評論,通過提供一個連貫的框架來理解和識別試驗偏差的風險。這個框架也可能幫助那些設計、執行和報告隨機試驗來實現最可靠的發現成為可能。
確認
我們把這項工作道格拉斯G奧特曼的根本重要性發展的貢獻被risk-of-bias評估係統評價。
我們感謝亨寧Keinke安徒生,南希·伯克曼麥克•坎貝爾,瑞秋丘吉爾,邁克·克拉克尼基拉姆,弗朗索瓦•科廷艾米Drahota,傑裏米·Grimshaw Bruno Giraudeau Sharea Ijaz, Yoon死胡同,傑拉爾丁麥克唐納,理查德•莫裏斯莫娜納賽爾,Nishith Patel賈尼Ruotsalainen,斯蒂芬森,Holger Schunemann,南帝齊格弗裏德,傑恩Tierney Sunita Vohra和貢獻的討論;和茱莉亞Bidonde安德魯•比斯維克·布希在Cochrane阿根廷,Karen Dawe佛朗哥De Crescenzo Kristine埃格伯特,克洛維Mariano Faggion Jr,克萊爾法語,莉娜Golz,瓦萊麗·霍夫曼,喬妮傑克遜,蒂姆•瓊斯Kayleigh丘,埃爾莎品牌,西爾維亞Minozzi,特裏薩摩爾,麗貝卡Normansell羅讚Freak-Poli,莎拉•Lensen Jose Lopez-Lopez土地肥沃的曼德,盧克·麥吉尼斯,Spyros Papageorgiou,梅麗莎·蘭德爾,菲爾·萊利克勞迪婭·史密茲,米拉Viswanathan,坦尼婭沃爾什導致駕駛的早期草稿的搶劫2工具。
腳注
貢獻者:江淮、JS和JPTH構思這個項目。江淮、JPTH JS MJP, RGE監督這個項目。江淮、JS啊,IB, BCR和JJK領導工作小組。所有作者RoB導致發展2和寫作相關的指導。江淮、JS和JPTH寫了初稿的手稿。所有作者回顧和評論草稿的手稿。作者是流行病學家,統計學家,係統性的評論者,實驗,醫療服務人員,其中很多是涉及Cochrane係統評審方法組織和培訓活動。發展搶2被告知相關方法論文獻,以前公布的隨機試驗的方法學質量評估工具,這種工具和相關文獻的係統評價,並通過作者的經驗開發工具來評估風險的偏見在隨機和non-randomised研究,診斷測試準確性的研究,和係統評價。所有作者RoB導致發展2和寫作相關的指導。所有作者回顧和評論草稿的手稿。 JACS and JPTH will act as guarantors. The corresponding author attests that all listed authors meet authorship criteria and that no others meeting the criteria have been omitted.
資金:搶劫2的發展工具支持由英國醫學研究理事會(MRC)的試驗方法研究中心網絡(先生/ L004933/2 - N61)的支持下主機MRC ConDuCT-II中心(協作和創新困難和複雜的隨機對照試驗在入侵過程中,先生/ K025643/1), MRC研究格蘭特先生/ M025209/1和Cochrane協作網的資助。江淮、中小企業和JPTH是國家衛生研究所(NIHR)高級調查員。江淮、講H-YC、BCR和支持JPTH NIHR布裏斯托布裏斯托爾大學生物醫學研究中心醫院NHS信托基金會和布裏斯托爾大學的。江淮、JPTH和KT是MRC綜合流行病學的成員單位在布裏斯托爾大學的(由MRC格蘭特MC_UU_00011/3)和布裏斯托爾大學的。JS、PFW JPTH NIHR協作支持的領導在西方應用健康研究和護理(CLAHRC西)在布裏斯托爾大學醫院NHS信托基金會。PJ一級加拿大研究主席在臨床流行病學加拿大首席研究員計劃支持的慢性疾病。MJP由早期職業獎學金支持澳大利亞國家健康與醫學研究理事會(NHMRC 1088535)。由MRC項目MC_UU_12023/21 IRW支持。在這篇文章中表達的觀點是作者的,不一定代表的英國國民健康服務,NIHR, MRC,衛生和社會保健或澳大利亞NHMRC。搶劫的發展工具,寫論文,提交出版的決定是所有獨立的研究資助者。
利益衝突:所有作者已經完成了國際統一的披露形式www.icmje.org/coi_disclosure.pdf並宣布:MRC和威康信托基金會提交的支持工作;江淮報告贈款MRC和NIHR期間行為的研究;JS報告從MRC贈款,Cochrane協作和NIHR進行研究;CJC是協調的編輯科克蘭航空公司和負責培訓Cochrane作者在英國在Cochrane方法(包括風險評估的偏差);JRE報告MRC和勃林格殷格翰集團的資助,在提交工作;MAH報道美國國立衛生研究院(NIH)期間進行的研究;PJ作為無薪心血管試驗的指導小組成員由阿斯特拉捷利康,Biotronik,生物傳感器,聖裘德醫療和藥品公司,已獲得研究資助機構從阿斯特拉捷利康Biotronik,國際生物傳感器、禮來,和藥物公司和酬金安進的參與顧問委員會的機構,但目前還沒有收到任何製藥公司或個人支付設備製造商;JJK BMJ以外的個人費用提交工作報告;TLa科克倫的員工;報告TLi NIH國家眼科研究所的資助,和以病人為中心的結果研究所進行研究;贈款MRC報道,英國癌症研究期間進行的研究;KT贈款MRC期間進行的研究報告和個人費用從CHDI外提交工作;JPTH報告贈款MRC和Cochrane協作行為的研究; the authors declare no other relationships or activities that could appear to have influenced the submitted work.
出處和同行評議:不委托,外部同行評議。
病人和公眾參與:病人和公眾並沒有參與這一方法論的研究。我們傳播研究廣泛的計劃,包括在Cochrane社區參與者。