條文本
PDF
文摘
目標本研究的目的是探討是否減少了材料提供給外部專家在同行評審和減少反應的負擔將保持審查質量為主要研究資助者優先考慮研究問題。
和分析方法臨床專家同意審查文件概述了研究潛在的調試進行了資格篩選和隨機因子設計中兩種類型的評審材料(長文檔與短文檔)和響應模式(結構化評審表與自由文本電子郵件響應)。之前和現在的資助者的項目組織的成員被排除在外。反應質量評估使用四點評分工具,意圖治療分析。
結果554年連續專家資格,460人隨機篩選(232年和228年長文檔或短文檔,分別;230每個結構響應或自由文本)。356名參與者提供了評論,90沒有回應和14個隨機不合格後被排除在外。
池平均質量分數為2.4 (SD = 0.95)。簡短的文檔得分0.037(科恩的d = 0.039)額外的質量點的文檔的手臂,和結構響應得分0.335(科恩的d = 0.353)在自由文本。分配沒有任何影響專家的意願與任務。
結論沒有提供一個短或長文檔概述建議研究證明是優越的。然而,提供一個結構化的形式指導專家比允許自由文本響應提供了更多有用的信息。資助者應該繼續使用一個結構化的形式收集響應。是可以接受的評論家提供較短的文件,如果有理由這樣做。
試驗注冊號碼ANZCTR12614000167662。
- 同行評審
- 衛生技術評估
- 臨床醫生
這是一個開放的分布式條依照創作共用署名非商業性(4.0 CC通過數控)許可證,允許別人分發,混音,適應,建立這個工作非商業化,和其派生作品在不同的條款進行許可,提供了最初的工作是正確地引用和非商業使用。看到的:http://creativecommons.org/licenses/by-nc/4.0/
來自Altmetric.com的統計
本研究的優點和局限性
試驗包括所有合格的臨床專家的一年。
所示的最大影響是評估者無法掩蓋的領域。缺乏能力的盲目的評估兩個分配是一個弱點。
研究結果將直接影響臨床試驗的主要資助者的實踐。
介紹
查爾默斯和Glasziou表明,多達85%的每年1000億美元花在全球衛生研究潛在的浪費是由於知識生產和傳播的四個關鍵問題。這四個領域包括(1)確保正確的研究問題是問;(2)確保研究設計是適當和方法學質量;(3)確保資助的研究的結果可以在公共領域;和(4)確保資助的研究是公正的和可用的。1
美國國家衛生研究所(NIHR)衛生技術評估(HTA)項目成立於1990年代,在一定程度上解決市場失靈在英國健康研究,和現在是嵌入在NIHR,由NIHR管理評估,試驗和研究協調中心(NETSCC)。實際試驗的計劃是主要的公共資助者在英國,及其範圍的活動進行了討論。2 3
HTA計劃決定委托模式,研究問題需要回答的國民醫療服務製度(NHS)的需求,這對團隊的研究廣告調試內褲投標競爭力的融資提供答案。優先順序和細化的問題在委托模式的一個關鍵方麵的項目可以與NHS醫生和其他利益相關者,以確保它是提出正確的問題——那些NHS需要答案。
HTA項目使用的主要工具優先委托模式和主題是提煉研究問題識別和開發(潮流)麵板。這些都是站群20臨床醫生和成員,按臨床分組主題。隨時間變化的具體配置麵板。當前列表項目的網站上可以找到。4
目前,該項目有五個潮板每個大約20,所以不可能所有適當的專業知識表示在一個麵板。因此,外部臨床專家用於通知和挑戰每個麵板的意見一樣,裁判或同行評議者使用研究經費。計劃秘書處準備一個裝飾圖案(4至8頁的論文,總結臨床難題,現有的研究和研究正在進行)通知委員會的討論。
在建立過程中,臨床專家被要求評論裝飾圖案。他們接觸的電子郵件邀請他們貢獻,他們警告說,所需的工作可能需要大約一個小時。如果他們接受,然後發送vignette和結構化的形式完成並返回到秘書處。秘書處然後更新裝飾圖案或通過評論到潮水小組審議。有時秘書處將迭代點與臨床專家。
大約30%的專家向接受提供項目作出貢獻。有兩個相關的擔憂如此低的人物。首先,計劃的有效性的方法回答NHS相關問題與NHS取決於交互。第二,這個反應速率可能引入的偏見與特定臨床醫生的意見更有可能回應邀請參加。組合意味著項目的輸出並不代表國民健康保險製度的需要。解決這個問題的一種方法是提高臨床醫生參與其中,但沒有收到的質量成本的建議。
雖然是同行評議的文獻研究應用程序的評估和科學論文5 - 10文學如何參與臨床醫生(不一定是學者)在研究問題的優先順序是稀疏的。我們無法找到任何水平直接關係到項目,那麼我們必須考慮我們需要證據以精煉的過程,我們使用開發研究問題,我們地址通知英國國民健康保險製度實踐。
臨床醫生在這個階段接觸的另一個模型之間的討論已經確定了秘書處和兩個新潮流麵板椅子。在這個模型中,臨床醫生將被要求評論調試短短的一不到一頁長度的文檔總結了研究問題是問,而不是背景信息。假設是感到安全專家臨床醫生將最新的在他們的領域發展。與更短的文檔考慮,覺得工作的時候可以指定為5 - 10分鍾,而不是問受訪者填寫表單,該項目將接受響應回複最初的邀請郵件。我們假設所有這些變化過程可以減少摩擦和增加參與。
目標
我們著手調查是否減少了材料提供給外部專家和減少響應可以沒有負擔的減少他們所提供的輸入的有效性。我們也有興趣減少的負擔與該項目是否會導致參與(即。,a greater proportion of experts accepting the invitation to participate and returning a useful response) and whether the method of identifying a potential expert was related to their willingness to contribute to the programme.
方法
我們進行了一個階乘的隨機對照試驗。一個隨機是在得到一個插曲,調試簡單。另一個是被要求回應之間使用免費文本和發送一個結構化的形式來完成。
試驗注冊
我們試圖注冊這個試驗前瞻性試驗注冊。所有拒絕登記在地上沒有涉及患者或可測量的患者的結果。作為注冊似乎是一個極小的可能性,和試驗的目的是影響我們自己的實踐,我們開始審判。
關於招聘開始一個月後,我們發現了一個紙11報告試驗評估培訓醫學生,我們注意到,它已經與澳大利亞和新西蘭試驗注冊中心注冊。因此我們聯係,注冊表同意回顧性注冊我們的試驗,約2個月到1年的招聘。
參與者和樣本容量
參加者都是臨床專家水平接近評論2014年委托模式的研究主題。這個被選為一個務實的樣本——該項目願意調整其程序適應研究長達一年。在過去的一年,臨床專家同意評論554次的研究,這些,460人隨機,其餘被審判的資格。
專家接近為超過一個裝飾圖案在招聘期間,隻有他們參與第一裝飾圖案是包括在這項研究。這是為了避免集群效應包括多次相同的專家,也為了避免暴露個人多種幹預措施。專家也排除如果他們當前或以前在HTA計劃組織的成員——如潮水麵板或資助委員會,或者如果他們已經谘詢方法論專家或公眾的成員。
隨機和屏蔽
使用電腦生成的序列進行了隨機排列塊大小的2、4和6的1:1比例。每個隨機有自己的塊列表,由審判管理器。當一個新的參與者,他們從每個列表分配下一個可用的配置。如果不止一個參與者被隨機,他們命令的時候接受參與郵件早些時候收到和接受分配。
參與者被告知一個研究項目,但他們沒有通知假說被測試的我們相信這些知識可能會影響接收響應。這是討論和同意南安普頓大學的醫學院倫理委員會。
基本員工評估收到的響應是意識到被測試的假設,但他們不了解參與者的分配提供了反應評估。然而,是否響應提供了一個自由形式的文本或以結構化的形式很簡單評估破解。
結果測量
主要結果是接收響應的有效性,以質量分數(從0——沒有審查返回,到4 -非常有用的評論)團隊負責準備裝飾圖案的應用。在我們不知道的行為這一點上,我們決定前瞻性科恩的0.3 d顯示優越性的一個有價值的項目可以選擇采取行動效果。12
我們也開始探索之間的關係
分配和回應的可能性
源識別的專家和回應的可能性。
我們打算評估質量的掩蔽通過調查評估能力識別文檔分配。
統計方法
反應是評估的有用性意圖治療,通過分配情況得分為0(沒有提供任何信息被認為是沒有價值的)。有用的反應與方差分析模型,與質量響應變量和兩個分配(裝飾圖案與調試簡單和自由文本和形式)作為輸入變量。交互了。
對於評估掩蔽,p值計算使用二項測試,假設正確的猜率是0.5如果掩蔽是完美的。
分配和一個專家的可能性之間的關係回歸他的工作是探索使用測試比例平等。
源的影響的專家被確認使用χ回應調查的可能性2測試。
所有與R進行了分析。13
數據的來源
裝飾圖案數據分配和響應質量收到專門為本研究收集。數據專家的意願參與審查過程中提取的數據定期收集在HTA項目用於商業目的。
內部可行性階段
我們建立了一套規則,停下來後測試大約三分之一的主要結果數據點被收集。這是為了防範任何選項的那樣壞,破壞計劃的優先順序流程,並確保試驗過程可能在HTA運行計劃。
停止如果規則
專家不能隨機一個健壯的方式或
返回的質量分數評估總體低於預期會如果我們通常流程執行。
此外,綜述了所有傳入的評論審判管理器和非正式評估的實用性而審判以外獲得的評論。
在研究過程中變化
我們改變了主要測量在研究的早期結果。最初我們要求評估分數的實用性專家回應清廉的規模。前十左右反應後得分,有一般從規模通常太詳細的評估,和一點不同規模不是很好理解。我們修訂範圍0 - 4,問我們的評估員改最初的反應,以及評估者發現這更令人滿意。兩個係統下,評估人員不允許表達分數值。
我們修改了兩次入選標準在研究過程中,使其更具限製性。
首先,我們必須完善臨床專家的定義(而不是一個方法論的專家)。這是因受到挑戰,要促使隨機選擇有相當經驗的統計學家討論的臨床狀況在文檔中他被要求評論。我們認為,我們隻希望人們特定的臨床經驗,我們更新了入選標準說清楚了。
其次,我們提出了與臨床專家已經參加了這項研究,並詢問他是否應該接受相同的分配或rerandomised。我們認為,如果rerandomised,部分研究的假設可能會透露給專家,可能影響他們的提交,並在任何情況下,這可能是所有反應的得分從個體將相關個人隻應包括一次。我們沒有進入專家為第二次審判。協議更新說清楚,隻有數據相關試驗參與者評論第一裝飾圖案在研究將被使用。
我們還開發了一個程序標準化的方式回應評論家查詢,以確保參與者收到正確的信息審查過程中的試驗。這樣的措辭過程評論者仍不知道試驗的假設。
結果
參與者通過流研究中所示圖1。460隨機的參與者中,232人被分配到收到調試的裝飾圖案,228人獲得短暫;230年230人被分配給一個結構化的響應和自由文本。
參與者的配偶圖流。
共有356名參與者提供了一個反應所需的時間內影響計劃的決定,和90沒有。十四參與者隨機後發現不合格,被排除在審判在配置階段。
內部的可行性
我們能夠隨機選擇參與者,評論家評論的前三分之一的質量分數高於停止閾值。的研究因此繼續招募計劃。
計算無得分0時,池平均質量分數為2.4分,與SD為0.95。
調試簡單得分0.037(科恩的d = 0.039)額外的質量點裝飾圖案的手臂;結構化的形式反應得分0.335科恩(d = 0.353)的自由文本。之間沒有交互分配(p = 0.730)。
敏感性分析,我們重複這一過程,忽略無。池平均質量分數沒有無是3.0,SD為0.81。使用數據從隻反應者,調試簡單得分0.06科恩(d = 0.071)質量點裝飾圖案;結構響應得分0.25(科恩的d = 0.309)在自由文本響應。之間沒有交互分配(p = 0.524)。預定義的閾值的影響較小,但仍為一個有價值的效果。
因此沒有分配重要區別接收調試短暫或裝飾圖案,但響應使用一個結構化的形式似乎顯示出有價值的(使用預定義的標準)在自由文本響應中獲益。
質量分配隱藏,裝飾圖案和調試簡單
表1提出了屏蔽的分析。看來,評估人員沒有完全掩蓋,但多餘的正確猜測率小。作為評估能夠更好地識別分配隻是調試簡單發送時,似乎這是由失敗評論物品包括在調試中的裝飾圖案而不是短暫的。
隨機分配影響反應的可能性
我們探索的任何分配是否會影響專家的意願完成要求的工作。這很重要,因為如果任何分配積極討厭那麼缺乏專家的參與意願可能抵消更高質量的好處來自那些響應返回意見。
使用配置數據和分析數據圖1平等的,四個示例測試比例給出了p值為0.72。因此,我們得出結論,沒有材料或響應和分配之間的關係的可能性專家返回他們的評論。
願意參與評審過程
為了解決這個問題,我們使用了常規數據在HTA計劃。2014年,臨床專家們接近1338次為小品文。555次,沒有對請求的響應。在281年,被拒絕的機會。剩下的502年導致接受邀請。這是一個更大的數字比460隨機專家,在42走近審查兩個或兩個以上不同的片段在研究過程中,隻有第一個接受是包含在隨機試驗中。
我們前瞻性地確定六組確定了這些專家的來源。
“NETSCC內部數據庫”是指記錄NETSCC保持以前的人共事NIHR項目。外部數據庫的信息(包括來源如專家http://specialistinfo.com),記錄臨床專業知識。“建議”發生在一個特定的專家建議計劃審核裝飾圖案,通常由一個小組成員。“搜索引擎”是指通用的互聯網搜索引擎,如穀歌,鴨子鴨子向前衝。的其他來源的包括體積小的混合來源,比如漂亮的委員會。有時候,我們沒有記錄源從一個專家的鑒定,這些被歸類為“未知”。
雖然不是在原來的分析計劃,我們已經探索出一個專家的可能性之間的關係與他們的項目源。
一個χ2測試在整個表的p值小於0.001,這意味著一個專家的來源和它們之間的關係完成審查。通過合並雙列我們展開進一步的調查。測試人員(人的工作和積極的人拒絕)對無p值小於0.001。相反,測試工作對那些沒有的人(跌無)給出了一個與p值為0.076。
表2包含數據從所有場合當臨床醫生被邀請到審查。這意味著一些臨床醫生包括不止一次。當評論家發現這個計劃是很常見的臨床醫生邀請時下降,因為工作負載,但接受進一步的裝飾圖案。因此,我們認為這是合理的在這個表包含所有的邀請。敏感性分析,我們重複χ2測試刪除重複的邀請,從而減少總“接受”的列數到460。沒有變化在p值表示2個重要的數字。
很明顯從表2專家已經知道NETSCC更容易應對比那些不請求幫助。專家推薦的同齡人也更有可能做出積極的反應。“其他”類別也反應率高,但這裏的絕對數量很小,所以我們不願意下結論。當邀請回應,沒有顯著差異的可能性提供的專家將完成任務。因此,我們得出這樣的結論:專家來自源,我們期望他們會熟悉這個項目更有可能比那些不太可能有助於知道資助者。
討論
NETSCC有研究項目研究多年,事業研究提高NIHR交付的項目,記錄他們的影響和減少浪費。15至21然而這是第一個隨機試驗的研究經費過程NIHR內發生。因此,它服務於兩個目的,第一個調查問題在如何最好地涉及臨床專家和第二證明一個隨機試驗是可能的在這個研究經費組織。
有一個重要的文學評論家的使用評價的期刊文章,一些出版物使用評論者評估資金應用程序,但沒有臨床專家參與的最佳方式委托模式融資計劃。
我們顯示在這項研究中,材料送到評論者似乎沒有評估結果評論家提供有用的評論,但它們的格式要求提供這些評論是很重要的。然而,這個結論需要謹慎看待。
當陪審員是蒙麵的合理分配對物質分布的,這是難以置信的麵具他們響應在可用資源的手段。這意味著比較,我們展示了一個有意義的區別是揭露和評估者首選的條件最匹配當前的實踐。當我們使用一個非參數模型,重新進行數據相關性水平響應分配和質量分數比通常會被視為有意義的低。這可能表明使用一個結構化的形式優越還是陪審員被用來評估和使用反應收到這種方式,所以他們認為這些反應更高。評估者(HTA)審核材料收到認為可能還有一個元素的專業集團在評論的有用性特征通過不同的格式提供。也就是說,某些專業團體往往比其他人提供更長時間的評論,這是更明顯的自由文本形式,使的一些評論很難處理和解釋。這是來自經驗,而不是在試驗信息。
相反地,充分的比較,主要結果所示沒有區別。我們發現這令人驚訝。調查人員的之前的假設(不像潮水的麵板椅子建議這個問題)是提供更多的信息將會導致一個更有用的評論者的響應。
令人欣慰的是,材料和響應分配似乎沒有影響專家的意願提供他們的意見,如果沒有專家積極參與任何選項的規則在實踐中。
需要進一步研究如何審查陪審員評論者和評論家所提供的材料與材料提供交互。我們正在計劃這個定性的工作。
專家的工作探索意願采購通過各種途徑提供了令人吃驚的結論,專家熟悉項目比專家更有可能回應很少接觸NIHR和HTA計劃。在這個世界上,臨床醫生經常不斷地受到請求為各種活動,他們不認為他們的核心工作的一部分,這是可以預料到的。它可能影響NIHR的溝通策略,強調NIHR在臨床社區的意識在英國可能會導致更多的臨床醫生願意回顧研究的想法。
這個試驗強調了未來研究需要研究過程設置在這個研究資助者。這項工作完成了感興趣的人在他們的“業餘時間”。這後果為報告的及時性和我們能夠承擔的工作。理想情況下,一個過程評價探索如何評估和評論家與提供的材料會發生在平行於定量試驗但可用資源中這是不可能的。本研究發現問題感興趣的組織,雖然沒有資源被發現為後續對這些問題。
這裏使用的方法可以複製看看其他用途的臨床評估。這是有關NETSCC也可能與其他funders-all使用評估來幫助評估批準我們的建議,但也有少數優先考慮研究問題有類似的過程。
確認
我們感激地承認建設性建議從我們的審判指導小組(Paula Barratt,路易絲·克雷格,彼得·戴維森,湯姆肯尼,莎拉Puddicombe和卡倫·威廉姆斯)。我們感謝NETSCC優先級團隊促進這項工作和小組的研究人員和顧問顧問評估材料收到專家評審員。我們感謝尹死胡同和克萊爾威爾金森原始觀察激發了這個研究。我們還要感謝南安普頓大學的醫學院倫理委員會的建議,臨床專家在不知情的情況下導致這項工作和裁判指定的日報。
引用
腳注
推特安德魯·庫克:@ajcook
貢獻者交流設計的研究中,本文分析和解釋數據,起草和批準發布的最終版本。ES的設計研究,收集研究數據,解釋數據,批判性回顧了文章和批準出版的最終版本。GD收集研究數據,批判性回顧了文章和批準出版的最終版本。
免責聲明所表達的觀點和意見的作者。
相互競爭的利益所有的作者都受雇於南安普頓大學的為國家衛生研究所(NIHR)。他們的持續就業可能在某種程度上取決於NIHR的持續資金。
倫理批準南安普頓大學醫學院倫理委員會# 8192。
出處和同行評議不是委托;外部同行評議。
數據共享聲明匿名數據可能被要求從相應的作者。