條文本
PDF
文摘
客觀的在同行評審,提交手稿由獨立專家協助期刊編輯審查他們的決策,幫助提高文章的質量。在這個回顧性隊列研究中,同行評審意見進行藥物試驗提交醫學期刊進行分析調查是否有這些評論和讚助的內容之間的關係,結果和方向決定接受。
設計/設置評論家的評論在手稿的描述性內容分析藥物試驗提交8醫學期刊(2010年1月- 2012年4月)。對於每個手稿,審閱人員的數量,決定接受,讚助和方向提取的結果。評論家評論使用預定義的分類清單。
結果評論家報告246手稿被評估。參加試驗的人更容易獲得評論缺乏新穎性(8.9%)比免費餐(2.5%)和非產業試驗(6.1%,p = 0.038)。非產業試驗經常收到評論可憐的實驗設計(69.7%)比免費餐(58.8%)和參加試驗(52.9%,p = 0.019)。非產業試驗也更容易收到評論關於不適當的統計分析(28.4%)比免費餐(23.5%)和參加試驗(15.1%,p = 0.006)。手稿和負麵結果更有可能收到評論不當結論(29.3%)比那些積極的結果(18.9%,p = 0.010)。拒絕的手稿還經常收到評論研究問題不是臨床相關(7.8%)比接受的手稿(1.6%,p = 0.002),和缺乏新穎性(8.3%比2.6%,p = 0.008)和糟糕的實驗設計(68.6%比50.5%,p < 0.001)。
結論評論家發現少缺點關於在工業有關的試驗設計和統計分析,但經常評論缺乏新穎性參加試驗。-試驗結果沒有顯著影響的性質的評論除了適當的結論。手稿驗收主要是相關研究的研究問題和方法論的魯棒性。
- 流行病學
- 統計數據和研究方法
這是一個開放的分布式條依照創作共用署名非商業性(4.0 CC通過數控)許可證,允許別人分發,混音,適應,建立這個工作非商業化,和其派生作品在不同的條款進行許可,提供了最初的工作是正確地引用和非商業使用。看到的:http://creativecommons.org/licenses/by-nc/4.0/
來自Altmetric.com的統計
本研究的優點和局限性
分析現實生活中同行評議意見提交的手稿與讚助,結果和方向決定接受。
包含手稿提交一般醫學雜誌和專業期刊在不同醫學專業。
綜合性的分類清單評估在兩個培訓課程。評論家的評論包括手稿得分的20%由兩個評級機構和良好的兩分的協議。
關注評論家評論在最初的同行評審的文章;額外的評論可能是提出在審查修改後的版本。
評論家評論本身可能不會提供一個客觀的反映了文章的質量,有證據表明在同行評審的文獻上的缺陷。
介紹
在同行評議的醫學期刊,文章提交發送外部同行審查,如果他們被認為是潛在的適合出版。在同行評審,手稿由獨立專家或同行審查在同一領域,協助編輯他們的決策並幫助提高提交文章的質量。1,2同行評審過程已經被調查在一定程度上。一些研究解決炫目的效果和培訓的評論者,故意引入錯誤的檢出率評論家,和同行審查的影響發表文章的質量。3 - 8
很少有研究係統分析了評論家評論提交的文章的內容。木船船舷9由評論家拒絕的原因研究手稿提交出版會議論文集在醫學教育研究。不恰當的統計和報告的結果通常overinterpretation。9Turcotte等10分析評論家評論手稿提交加拿大雜誌的麻醉,並發現缺乏創意,實驗設計不充分和不恰當的結論是文章的主要決定因素的命運。霍普韋爾等7專注於評論家評論方法項隨機試驗的報告提交給開放同行評審期刊。變更請求的類型,通過審閱人員包括添加或隨機的澄清,致盲,樣本大小,弱化的結論,以反映的結果。7
評論家評論的內容可能與結果的方向和讚助。愛默生等11審查報告的手稿相比報道正麵的結果和一個相同的手稿報告沒有影響。評論家發現更多的錯誤沒有區別版本和獲得更高的分數的方法部分積極的手稿,盡管方法部分是相同的。11愛默生等11表明積極的文章比沒有區別更經常推薦出版版本,雖然無法證實這一觀點。12先前所有的同行評審的研究相比評論家評論根據試驗報告是否由製藥公司或非營利組織。
評論家的評論分析提供更多的洞察藥物試驗的缺點是提交給醫學期刊,從設計的角度,進行試驗和報告質量的文章。這將是有趣的在手稿確定特定缺陷的發生是受讚助和結果或正麵或負麵。在目前的研究中,我們進行了描述性的內容分析同行審查的評論在藥物試驗提交手稿八醫學期刊調查之間的關係內容的評論和讚助,方向的結果,並決定接受,使用之前報告隊列。13
方法
雜誌和手稿的選擇
我們包括手稿提交從2010年1月到2012年4月,一位將軍醫學雜誌》(BMJ)和7個專業期刊(風濕性疾病上,英國眼科學雜誌》上,腸道,心髒、胸腔從BMJ組(所有),Diabetologia,和肝髒病學雜誌》)。我們選擇隨機對照試驗中,至少有一項研究部門對藥物功效和安全評估和統計測試是用來評估治療效果。這個群已經詳細描述。13本研究僅限於發送外部同行審查的手稿。
數據提取的手稿
對於每個手稿,決定接受和評論家所提供的報告從提交係統提取或期刊。手稿後拒絕評論或發表。我們決定審閱人員的數量,評估每一篇文章的第一個提交的版本。手稿可以評估期間多次審查在做出最終決定之前,但我們關注評論,是在最初的同行評審的文章。回顧修訂後的手稿被排除在外。讚助和結果以前的方向信息提取手稿和分類根據預定義的標準。14評論家知道讚助的試驗。簡而言之,試驗分為非產業,免費餐或參加試驗。非產業試驗,沒有對製藥公司被報道。研究報告捐贈的研究藥物製造商,研究表明收到的一家製藥公司的資金支持,和研究industry-affiliated作者列為免費餐試驗。參加試驗,一個製藥公司明確描述為研究讚助商,或者公司資金審判參與設計、數據收集、分析和/或準備的手稿。試驗結果取得了積極如果結果報告為主要終點是統計學意義(p < 0.05或95% CI為差異不包括0或95% CI比率扣除1)和支持測試藥物的功效,如果他們沒有和消極。non-inferiority試驗結果分為陽性如果治療是等價的。安全試驗分為積極如果測試藥物一樣安全或安全控製。
評論家評論的分類
驗證工具分類評論家的評論並不存在。包括期刊審稿人沒有提供標準化的形式,但一般指導同行評審是在每個期刊的網站上。在此基礎上指導15 - 17日和先前的研究在同行評審,9,10,18 - 20消極的評論家評論由分類清單。在兩個連續的訓練,評論家評論10隨機選擇的手稿被兩個獨立分類評級機構(MvL和HJO)在每個會話,評估評級機構之間的一致性和全麵性的檢查清單。都在第一次和第二次訓練之後,討論了差異的解釋評價和相應的檢查表被修改了。清單的最終版本(請參閱在線補充表S1)當時評論家評論的隨機樣本測試30手稿所獨立分類的兩個評級機構。假設一個兩分的協議至少80%的每種類型的評論與最後的清單,30手稿足以估計精度的協議(SE)最多7%。如果兩分的協議在這個測試被認為是足夠高,一個評論家(MvL)可以繼續評級過程。分類後的評論家評論這些30手稿,我們計算的百分比之間的協議為每個類型的注釋清單評級機構。κ統計數據並不被認為是合適的,某些類型的評論很少得分,結果κ值將是不準確的。21這些30手稿、分類差異被評級機構之間的共識,如果協議解決評論< 85%。對於其他類型的評論,評分由隨後的評定等級的分類所有評論其他手稿(MvL)是決定性的。總的來說,評論家評論50手稿被兩個評級得分在這項研究中,這是相當於246(50)的20%的總數包括手稿。對於每個手稿,審稿人可能有幾個評論相關的一種評論。然而,每種類型的評論是每個評論家最大一次得分。
統計分析
描述性統計是用於描述包括手稿(數據表現為頻率和百分比)。每種類型的評論和讚助的關係,結果和方向決定接受使用廣義線性混合模型分析了基於廣義估計方程(GEE)因變量的二進製發行版和身份的鏈接。在這個模型中,評論家的評論評分(評論vs無可奉告)作為因變量。我們包括讚助商類型、結果或決定接受固定的變量在模型中,如果可能的話(如果模型聚合)雜誌,來控製對《華爾街日報》的手稿提交。獨特的識別號碼,手稿收到雜誌作為集群變量(隨機效應)。綜述了大多數手稿幾個評論家。模型估計的百分比評論家評論手稿,根據讚助商類型、結果或決定接受(意味著評論一個手稿的百分比)。如果一個下限的CI是負數,這是截斷為0。不同類型的評論的數量每手稿被讚助相比,結果或決定接受使用單變量方差分析。我們為審閱人員的數量控製每手稿包括作為協變量的模型。 Two-sided p<0.05 was considered statistically significant. p Values were not adjusted for multiple comparisons. Statistical analyses were performed using SPSS software (V.20) and SAS for Windows (V.9.2, SAS Institute Inc).
道德
保證機密性的手稿和評論家報道,保密協議之前簽署的作者獲得數據。標準編輯和同行評審流程不變,代碼開發者和評審者並不了解這項研究。研究倫理委員會(REC)批準不需要為這個研究沒有涉及人類參與者。
結果
從2010年1月到2012年4月,472美元的藥物相關的手稿提交給八個期刊,其中250篇(53.0%)外部審查。246年手稿,評論家評論作者是可用的。beplay体育官网官方登录這些246年、96年(39.0%)被接受發表(表1)。八十九(36.2%)非產業試驗,78(31.7%)業內支持79(32.1%)參加試驗。大多數文章報道陽性結果(N = 150, 61.0%)。審閱人員的數量為一篇文章的第一個提交的版本範圍從1到5。總的來說,575評論家報告進行評估。
總的來說,水平的兩分的協議的最終版本分類清單很好。對於所有類型的評論,評分者之間的協議是接近或高於80%。20 26項,> 85%協議(見在線補充表S2)。
總的來說,最常見的類型的評論報道評論家包括可憐的實驗設計(範圍的點估計表2和3,4;50.5 - -69.7%),報告不足的方法(50.8 - -60.5%),不完整的研究結果數據(58.7 - -68.2%),不足的討論結果的意義(44.2 - -56.1%),可憐的寫作(34.7 -42.8%)和不準確的表或數字(35.1 -44.1%)。在表2,評論一個手稿的平均百分比由讚助商類型相比。對幾種類型的評論,有一個讚助和評論的平均百分比之間的關係。評論關於缺乏新穎性的百分比顯著相關的讚助(p = 0.038);參加試驗的人更容易接受這樣的評論(8.9%)比免費餐(2.5%)和非產業試驗(6.1%)。評論關於貧窮的百分比實驗設計也與讚助(p = 0.019);非產業試驗經常收到這樣的評論(69.7%)比免費餐(58.8%)和參加試驗(52.9%)。此外,評論的比例不合適的統計分析方法與讚助有關(p = 0.006);非產業試驗更有可能得到這比免費餐評論(28.4%)(23.5%)和參加試驗(15.1%)。關於文章的評論標題的百分比不代表相關的研究也讚助(p = 0.012);免費餐試驗經常收到這樣的評論(8.1%)比非產業(5.0%)和參加試驗(1.5%)。
在表3,評論一個手稿的平均百分比進行比較,試驗結果的方向。對於大多數類型的評論,沒有顯著差異根據手稿是否報道正麵或負麵的結果。然而,評論關於不當結論更高的百分比與負麵文章試驗結果(29.3%)比文章與積極的結果(18.9%,p = 0.010)。
表4顯示評論的平均百分比根據決定接受一份手稿。評論的百分比不是臨床相關研究問題是在拒絕的手稿(7.8%)高於接受手稿(1.6%,p = 0.002)。拒絕的手稿更有可能收到評論關於缺乏新穎性(8.3%)比接受的手稿(2.6%,p = 0.008)。此外,評論的比例高出可憐的實驗設計是拒絕的手稿(68.6%)比那些被接受(50.5%,p < 0.001)。評論家經常報道,一項研究是不夠相關文獻中所接受的手稿(18.6%)相比,那些被拒絕(10.5%,p = 0.041)。
在表5的數量每手稿顯示不同類型的評論,這是調整每個手稿為審閱人員的數量。評論員報道,整體平均每個手稿的7.8不同類型的評論數(1 - 15範圍、類型的注釋)。類型的評論/手稿的數量與方向無關的結果或決定接受的手稿。讚助有顯著關係,不同類型的評論的數量每手稿(p = 0.035);非產業試驗平均每手稿收到更多類型的評論比參加試驗(7.2)(8.2)。
討論
這是第一個研究現實生活中同行評議在提交手稿所作出的評論比較根據讚助,結果和方向決定接受。之前的研究一直局限於實驗與虛構的手稿。11,12最常報道的評論評論家包括可憐的實驗設計,報告不足的方法,不完整的研究結果數據,討論結果的意義不足,可憐的寫作,和表或數據不準確,與先前的研究結果是一致的。7,9,10,18評論家很少報道倫理、試驗注冊或利益衝突,預計從先前的研究。10,19,20.
提交手稿在參加試驗經常收到評論關於免費餐相比缺乏新穎性和非產業試驗。然而,我們沒有發現顯著差異根據讚助商類型評價的臨床相關性研究的問題。有人認為在文學研究製藥公司可能比非產業創新的研究。製藥公司可能更多關注後期藥物開發和生產變化的藥物已經在市場上,雖然學術界可能更容易執行創意、早期臨床研究。22,23有趣的是,免費餐試驗至少常常被評論家批評缺乏新穎性。這可能表明,學術界和製藥行業之間的合作可能會導致更多創新的臨床研究。
非產業試驗更有可能收到評論關於貧窮的實驗設計和不適當的統計分析方法比業內支持參加試驗。此外,非產業試驗獲得不同類型的評論/手稿明顯多於參加試驗。之前的研究基礎上發表的文章表明,試驗的方法學質量由製藥公司等於或往往高於非產業試驗。24 - 27日以前,我們研究了協議的缺陷提交批準的藥品試驗推薦。28基於提出的評論REC審查期間,我們發現非產業試驗更多的缺點比參加試驗的有關方法和統計分析,28這是符合當前的研究的結果。
手稿和負麵結果更有可能收到評論關於overinterpretation或不恰當的結論與結果比手稿與積極的結果。類型的評論/手稿的數量與方向無關的結果。證據之間不一致的結果和結果的解釋此前發表的文章,尤其是那些負麵的結果。29日,30.作者可能形狀的印象導致的文章,也就是說,將“自旋”添加到報告。旋轉包括特定報告的使用策略,強調實驗治療是有效的,盡管主要結果與結果,或分散讀者從非重大的結果。這種扭曲的解釋結果,誤導讀者。30.,31日
拒絕的手稿還經常收到評論不是臨床相關研究問題,缺乏新穎性和窮人比接受論文實驗設計。類型的評論的數量每手稿與決定驗收無關。雖然我們發現顯著差異之間的評論文章,最終被拒絕或接受,原因有很多論文可以拒絕超出在審查報告提交的初始版本的手稿。此外,編輯流程和時的重量放在評論家的評論在期刊出版決策可以是非常變量。論文審稿人是正對可能被拒絕,而另一些則盡管負麵的評論發表評論。手稿評論的期刊是一個複雜和多階段的過程,很難確定準確的評論家評論編輯決策的影響。
本研究加強了包容的手稿提交一般醫學雜誌和專業期刊在不同醫學專業。研究由木船船舷9和Turcotte等10僅限於文章的研究在醫學教育或麻醉,這減少了generalisability他們的發現。霍普韋爾等包括開放同行評審期刊,評論家評論包括與發表文章。評論者可能更多的提供,而不加批判的言論審查等期刊時,他們可能擔心報複公開批評其他人員的工作。7,32在這項研究中,我們評估的全麵性在兩個培訓課程分類清單。評論家評論包括20%的手稿被兩個評級得分和兩分的協議的水平很好。在以前的研究中,評論者的評論的分類是完全由一個作者。9,10
這項研究有一些局限性。我們專注於同行審查的評論文章的第一個提交的版本。一些期刊可能發送修訂後的版本新評論家或回相同的評論家。通過關注評論的初始版本,新評論評論期間提出的修正可能已經錯過了。然而,最初的評論報告通常包含最廣泛的評論和提供足夠的信息來比較評論家評論根據讚助,結果和方向決定接受。我們沒有評估是否糾正缺點,被評論家在修訂後的手稿。霍普韋爾等7評論家發現大多數作者符合要求的修訂版本,但這是超出了本研究的範圍。此外,我們包括手稿描述藥物相關的樣品和我們的研究結果可能會因此不generalisable其他研究設計或相關的幹預措施。
盡管同行評審通常認為提高提交論文的質量,並提供一個機製來合理和公平的編輯決策,33評論家的評論可能不會自動提供一個客觀的反映了文章的質量。而同行評審的有效性證據是有限的,2,6,33,有相當多的證據顯示其缺陷。2,34在研究主要錯誤插入論文隨後被送往評論者,沒有一個評論者發現了所有的錯誤。4,35此外,有人建議,同行審查是一個主觀的,因此,不一致的過程。34協議評論者建議手稿可能很低。36然而,同行審查被研究者視為重要和必不可少的科學交流和當前可用的最好的選擇。34,37
總之,同行評議者發現少缺點關於在工業有關的試驗設計和統計分析,但經常評論缺乏新穎性參加試驗。-試驗結果沒有顯著影響的性質的評論除了適當的結論。手稿驗收主要是相關研究問題和研究方法論的魯棒性。一些手稿的缺點代表基本方法論的缺點,更好的培訓在試驗設計和分析可能是恰當的,特別是對於非產業試驗。其他錯誤遺漏,包括頻繁報道報道不足等缺陷的方法和不完整的研究報告的結果數據。這些可以解決的錯誤是可以避免的,如果作者更多關注報告質量的手稿。
確認
作者感謝BMJ,風濕性疾病上,英國眼科學雜誌的,腸道,心髒、胸腔,Diabetologia和肝髒病學雜誌》參與這項研究。作者感謝莎拉散粒(BMJ)她的建議關於這個研究的方法論和評論該手稿的內容。作者感謝傑拉德Rongen(內梅亨大學醫學中心)審查這個手稿。
引用
補充材料
-
補充數據
僅這個web文件已經由英國醫學雜誌出版集團從一個電子文件提供的作者(年代)和沒有對內容進行編輯。
- 數據補充1——在線表
腳注
貢獻者HJO起源的想法和MvL一起研究。HJO,》和MvL參與的設計研究。MvL》進行了數據分析和MvL寫了初稿的手稿。》和HJO回顧和修訂後的手稿。所有作者閱讀和批準最終的手稿。
資金這項研究是由一個無限製的教育撥款默沙東公司,荷蘭(荷蘭默克和有限公司有限公司的子公司)。資金沒有參與這項研究的設計和實施;的收集、管理、分析和解釋數據;準備、審查或批準的手稿;並決定提交出版的手稿。
相互競爭的利益Teva製藥HJO是支付員工。
出處和同行評議不是委托;外部同行評議。
數據共享聲明數據集可以在請求從相應的作者。