開發和評估複雜幹預措施:新的醫學研究委員會指導
BMJ2008年;337年doi:https://doi.org/10.1136/bmj.a1655(2008年9月29日)發布引用這個:BMJ2008;337:a1655
- 1MRC人口健康科學研究網絡,格拉斯哥G12 8 rz
- 2納菲爾德的骨科手術,牛津大學納菲爾德骨科中心,牛津OX3 7 ld
- 3MRC社會與公共衛生科學單位,格拉斯哥G12 8 rz
- 4結果研究中心和有效性、倫敦大學學院、倫敦WC1E 7 hb
- 5MRC慣例研究框架,倫敦NW1 2日
- 6公眾與環境健康研究單位、部門的公共衛beplay体育相关新闻生政策,倫敦衛生和熱帶醫學學院、倫敦WC1E 7 ht
- 函授:P•克雷格彼得在{}sphsu.mrc.ac.uk
- 接受2008年8月23日
複雜幹預措施廣泛用於醫療服務、公共衛生實踐,在社會政策領域有重要的健康後果,如教育、交通和住房。評估他們提出各種問題,除了實用和方法論,任何成功的評估必須克服的困難。2000年,英國醫學研究理事會(MRC)發表的一個框架1來幫助研究人員和研究資助者承認和采用適當的方法。該框架具有重要影響,以及隨之而來的BMJ紙被廣泛引用。2然而,許多寶貴的經驗已經積累的傳統的和更具創新性的方法。這已被納入全麵修訂和更新指導最近發布的MRC (www.mrc.ac.uk complexinterventionsguidance)。在本文中,我們總結的問題促使修訂和新指導的關鍵信息。
總結分
醫學研究委員會指導複雜幹預措施的評估修正和更新
開發和評估一個複雜幹預的過程有幾個階段,盡管他們可能不遵循一個線性序列
實驗設計是傾向於觀察性設計在大多數情況下,但並不總是可行的
理解過程很重要,但不能替代的評估結果
複雜的幹預可能工作最好根據當地情況而不是完全標準化
報告的研究應該包括詳細描述的幹預使複製,證據合成,和更廣泛的實現
回顧2000年的MRC框架
評估複雜幹預措施的經驗積累了自從2000年框架發表,興趣的方法也在增長。最近的一些論文框架已經確定的局限性,建議,例如,更加重視早期階段駕駛和開發工作,3減少評價過程的線性模型,4集成過程和結果評價,5認識到複雜的幹預可能工作最好根據當地環境而不是完全標準化,6和更大的使用提供的見解的複雜自適應係統理論。7
研討會由MRC人口健康科學研究網絡考慮是否和如何更新框架同樣推薦的評估過程的模型不太密切與藥物開發的階段;更多的指導如何方法發展,報告,和實現複雜的幹預;和更大的幹預措施的情況下發生。進一步建議考慮替代隨機試驗和高度複雜的或非衛生部門幹預的生物醫學方法可能不適用,更多的證據和例子來支持說明了建議。新的指導解決上述問題的深度,和我們的關鍵信息。
複雜的幹預措施是什麼?
複雜幹預措施通常被描述為包含多個交互組件的幹預,但是他們還有其他特征,評估者應考慮(框1)。沒有鋒利的邊界之間的簡單和複雜幹預措施。一些幹預措施是真正簡單,但組件的數量和範圍的影響可能相差很大。一些高度複雜的幹預措施,如確定開始幹預支持有小孩的家庭在貧困社區,8可能由單獨的一組複雜的幹預措施。
箱1是什麼讓一個幹預複雜?
實驗中的交互組件數量和控製幹預措施
數量和困難的那些交付或接收所需的行為幹預
許多團體或組織有針對性的幹預水平
數量和多樣性的結果
程度的靈活性允許或裁剪的幹預
如何處理這些特點將取決於評價的目的。評估複雜幹預措施中的一個關鍵問題是他們是否在日常實踐中有效(框2)。9因此,重要的是理解整個範圍的影響,以及他們如何不同,例如,在收件人或網站之間。第二個關鍵問題在評估複雜幹預措施幹預是如何工作的:什麼是有效成分,它們是如何發揮他們的作用?回答這種問題需要設計更有效的幹預措施和應用適當的跨組和設置。10
箱2開發和評估複雜的研究
一個好的理論的理解是需要幹預引起的變化,所以因果鏈的薄弱環節可以識別和加強
缺乏效果可能反映了執行失敗(或初期問題),而不是真正的無能;全麵評估過程需要識別的實現問題
可變性在個體層麵的結果可能反映了更高級別的流程;樣本大小可能需要更大的額外的可變性和集群隨機設計考慮
一個主要的結果不能充分利用數據;需要一係列的措施和意想不到的後果
確保嚴格的標準化可能是不合適的;幹預可能更好地工作,如果指定程度的適應本地設置允許的協議
最佳實踐是發展幹預係統,利用現有的最佳證據和適當的理論,然後仔細測試使用分階段方法,開始一係列的試點研究的針對每個關鍵的不確定性設計,並繼續探索,然後最終評估。結果應該盡可能廣泛和令人信服地傳播,通過進一步的研究,協助和監督實施的過程。
在實踐中,評估發生在一個廣泛的設置限製研究人員的幹預措施的選擇評價及其評價方法的選擇。思想對於複雜的幹預從各種來源,這可能會大大影響多少餘地研究者修改幹預,影響其實現的方式,或采用理想的評價設計。8一起評估可能發生大規模的實現,而不是事先開始。強有力的證據可能會被忽略或薄弱的證據,根據其政治上的可接受性或符合其他想法什麼作品。11
研究人員需要仔細考慮之間的權衡的價值幹預的重要性和收集的證據,可以根據這些約束。健康影響評估的社會幹預,如住房改善的項目,研究者可能說不出在幹預包括和小影響或項目如何實施,限製範圍進行開發工作或決定分配。實驗方法越來越被廣泛接受的方法來評估政策,12但可能有政治或道德反對使用它們來評估健康的影響,特別是如果幹預提供了重要的非健康的好處。13鑒於此類幹預措施的成本,評估仍應被認為是最好的方法,即使他們不是最優的內部效度,可能產生有用的結果。14
如果使用非實驗方法,研究人員應該意識到自己的局限性和解釋和現在的發現與謹慎。隻要有可能,應該結合來自不同來源的證據不共享相同的弱點。15研究人員應該準備解釋決策者需要足夠的開發工作,實驗和非實驗方法的優缺點,和較弱的結算中涉及的方法。他們應該準備挑戰決策者當不確定的有效性實施幹預的方式將加強證據通過嚴格的評估困難,或者當實現策略的修改將開放更加信息化評價的可能性。
開發一個複雜的幹預
識別現有證據- - - - - -作出實質性評價之前,幹預必須開發,它可以合理地預期有一個有價值的效果。第一步是確定哪些已經知道類似的幹預措施和方法被用來評估他們。如果沒有最近的,高質量的係統評價的相關證據,應該進行評估收益和更新。
識別和發展理論理由一個複雜的幹預,預計的變化,以及如何變化是要實現可能不是一開始就明確。早期的一個關鍵任務是發展理論的理解可能的變化過程,借鑒現有的證據和理論,必要時補充新的主要研究。這應該是做研究員是否發展幹預或評估已經被開發出來。
建模過程和結果造型複雜幹預前全麵評估可以提供重要的信息設計的幹預和評估。一係列的研究可能需要逐步完善之前設計全麵評估。開發人員的審判的身體活動,防止2型糖尿病采用因果建模方法,包括一係列的小學和桌子幹預的基礎研究設計,確定合適的措施,並預測長期的結果。3另一個有用的方法是之前的經濟評價。16這可能識別缺陷並導致改進,甚至顯示,全麵評價是毫無根據的。造型練習準備在老年人預防跌倒的試驗表明,提出的篩查和轉診製度極不可能是成本效益和通知決定不繼續試驗。17
評估可行性
評估通常被接受的問題,合規,交付的幹預,招聘和保留和小於預期效應大小可能是預測的徹底的駕駛。18可行性研究的評價一個青少年性健康幹預農村津巴布韋發現計劃基於課堂的計劃是不恰當的,鑒於文化規範,教學風格,和老師和學生之間的關係,取而代之的是一個基於社區的項目。19以及說明可行性測試的價值,這個例子顯示的上下文理解幹預的重要性。
一個試點研究不需要計劃評估但應該檢查的比例模型的不確定性,在開發過程中已確定的關鍵。試點研究免費國內絕緣的試驗表明摩擦可能會高,所以,設計修改,對照組的參與者收到後的幹預研究。20.初步研究結果時應該小心謹慎的解釋假設擴大評估時所需的數字。影響可能較小或多個變量和響應率較低時,幹預是推廣到更大範圍的設置。
評估一個複雜的幹預
有許多研究設計可供選擇,和不同的設計適合不同的問題和情況。研究者應該謹防毯子陳述設計適合什麼樣的幹預和選擇的基礎上研究的具體特征,如預期效果的大小和選擇的可能性或分配的偏見。意識的各種實驗和非實驗方法應導致更合適的方法的選擇。
評估有效性
隨機應該被考慮,因為它是最健壯的方法防止選擇性偏差。如果傳統的平行組隨機試驗是不合適的,應該考慮其他隨機設計盒子(3)。
盒3實驗設計評估複雜幹預措施
分別隨機試驗,個體是隨機分配接受實驗幹預或另一個如標準治療,安慰劑,或者剩下的等待名單上。這些試驗是有時被視為不適用的複雜幹預措施,但有許多變體,通常可以找到解決方案的技術和倫理問題與隨機相關聯
集群隨機試驗是一個解決問題的辦法,對照組的汙染,導致偏見的估計效果,試驗的幹預人口水平。患者在一般治療等團體或租戶住屋計劃是隨機分配到實驗幹預或控製
加強楔形設計可用於克服實際或道德反對實驗評估幹預的有效性或有證據不能用於整個人口。它允許沒有延遲推出的試驗進行的幹預。最終,整個人口接收幹預,但隨機內置的逐步實現
選擇試驗和隨機同意設計-實際隨機或道德障礙有時可以克服使用非標準的設計。當病人有強烈偏好在治療中,治療分配基於病人的偏好或隨機試驗病人之前尋求同意可能是合適的。
N - 1的設計常規試驗旨在估計平均人口的幹預效果。N 1的試驗中,個人經曆與順序或隨機調度決定幹預,可以用來評估之間和人變化和內部調查理論上預測介質的變化
如果一個實驗性的方法是不可行的,因為幹預是不可逆轉的,不一定適用於整個人口,或者因為已經大規模實現,準實驗或觀察性設計可以考慮。在某些情況下,隨機可能是不必要的和其他設計更好,2122但是觀測的條件方法可以產生可靠的估計效果是有限的(盒子4)。23成功的例子,如評估立法限製意味著自殺,24減少空氣汙染,25或禁止在公共場所吸煙,26往往發生在幹預有快速、大影響。
箱4選擇隨機和non-randomised設計
——規模和時間的影響隨機可能是不必要的,如果幹預的影響如此之大或直接混淆或潛在趨勢不可能解釋結果暴露前後的差異。可能不合適的例子,以成本或拖變化非常小或者需要很長時間才能出現。在這些情況下non-randomised設計可能是唯一可行的選擇,在這種情況下,公司的結論幹預的影響可能是無法實現的
選擇性偏差的可能性隨機需接觸相關的幹預可能是其他因素影響結果。事後調整是第二個最好的解決方案;其有效性受到錯誤的測量混雜變量和處理未知或存在的困難
實驗的可行性和可接受性隨機幹預可能是不切實際的,如果已經廣泛使用,或者如果關鍵決策如何將已經被實現,通常就是這樣的政策變化和幹預對健康的影響是次要的主要目的
成本-如果一個實驗研究是可行的,將比一項觀察性研究提供更可靠的信息,但也會花費更多,額外費用應該權衡的價值更好的信息
測量結果
研究者需要決定哪些結果是最重要的,這是次要的,他們會如何處理多個結果的分析。一個主要結果和少量的二次結果統計分析的最簡單但並不代表最好的使用的數據或提供一個適當的評估成功的幹預或者影響一係列域。同樣重要的是要考慮它的來源變化結果物質和計劃適當的子群分析。
可能需要長期隨訪來確定結果預測的臨時替代措施確實發生或短期變化是否存在。雖然少見,這樣的研究可以高度信息。弱勢兒童學前教育項目的評估顯示,以及改進的教育成就,有一係列的經濟和社會效益27歲和40。27
理解過程
過程評估,探索的方式幹預下實現研究,可以提供寶貴的見解為什麼幹預失敗或意想不到的後果,或者為什麼成功的幹預以及如何優化工作。評價過程嵌套在一個試驗可用於評估實現的保真度和質量,闡明因果機製,並確定相關語境因素與變化的結果。5然而,這不是一個替代的評估結果。一個過程評價28開展與教育訪問的審判鼓勵全科醫生處方的指導方針29日發現訪問好評和回憶的方針很好,然而幾乎沒有改變處方的行為,這是受到其他因素如病人的偏好和當地醫院的政策。
忠誠不是簡單與複雜幹預措施。30.在一些評估,如那些尋求識別中的活性成分複雜的幹預,可能需要嚴格的標準化和控製實施限製的變化實現。31日但是一些幹預措施被設計成適應當地環境。基於試驗學校的幹預促進健康和福祉,學校鼓勵使用一個標準化的過程來開發策略適合他們,而不是采用一個固定的課程,導致學校之間廣泛多樣的實踐。32關鍵是要清楚有多少改變或適應容許和記錄的變化實現,這樣忠誠可以評估所需的標準化程度的關係研究協議。
可變性的實現中,預先計劃或否則,使它重要,過程和結果評估報告完全清楚,描述提供的幹預,使複製和合成的證據。33這是一個軟弱的複雜幹預研究的報告在過去,34但全方位的報告的可用性指南,現在覆蓋非藥物試驗35和觀察性研究36和可以通過一個網站(www.equator-network.org)應該會改善。
結論
我們認識到,許多問題評估複雜的幹預仍然爭論不休,方法將繼續發展,實際應用將會發現一些新的理論。我們不打算修改後的說明性的指導,而是幫助研究人員、資助者和其他決策者做出適當的方法和實用的選擇。我們主要是針對信息研究人員,但出版商,研究資助者,委員們也扮演一個重要組成部分。期刊編輯應堅持高和一致的標準報告。研究資助者應該準備支持發展研究在大規模的評估。決策者的關鍵信息是需要考慮評估需求規劃的新舉措,並盡可能使實驗或高質量的非實驗方法評價項目不確定性時它們的有效性。
筆記
引用這個:BMJ2008;337:a1655
腳注
貢獻者:PD的想法修改和更新MRC框架。這是進一步發展在車間co-convened薩利•麥金泰爾和珍妮特Darbyshire和有組織的幫助下琳達莫裏斯在2006年5月15 - 16。車間有興趣的參與者和其他複雜幹預措施的評價應邀發表評論的草案修訂的指導,由英國醫學研究理事會的成員也回顧了衛生服務和公共衛生研究委員會和MRC方法論研究小組。所有那些提供建議的完整列表中提供了完整的指導性文件。
資金:MRC衛生服務和公共衛生研究委員會和MRC人口健康科學研究網絡。
利益衝突:沒有宣布。
出處和同行評審:不是委托;外部同行評議。