條文本
PDF
摘要
目標評估作者推薦的審稿人的報告與其他各方推薦的審稿人相比，是否在質量和編輯決策建議方麵存在偏倚，以及采用開放或單盲同行評審模式的期刊的審稿人報告在報告質量和審稿人建議方麵是否存在差異。
設計使用已建立的評審質量工具對審稿人報告的質量進行回顧性分析，並分析審稿人建議和作者滿意度調查。
設置生物醫學中心生物學和醫學期刊。BMC傳染病和BMC微生物學在規模、拒稿率、影響因子和編輯過程上都是相似的，但前者采用開放同行評議，後者采用單盲同行評議。的炎症雜誌在兩種同行評審模式下運作。
樣本提交了200份審稿人報告BMC傳染病，提交審稿人報告200份BMC微生物學還有400份評審報告提交給炎症雜誌。
結果對於每個期刊，作者推薦的審稿人提供的報告質量與非作者推薦的審稿人相當，但無論采用何種同行評議模式(p<0.0001)，作者推薦的審稿人都更有可能推薦接受BMC傳染病，BMC微生物學和炎症雜誌)。為BMC傳染病，由評審質量工具測量的審稿人報告的總體質量比前者高5%BMC微生物學(p = 0.042)。為炎症雜誌，無論采用何種同行評審模式，報告的質量都是相同的。
結論作者推薦的審稿人提供的報告質量與非作者推薦的審稿人相當，但更有可能推薦接受。開放同行評審報告BMC傳染病是否比單盲報告的質量更高BMC微生物學。兩組的同行評議質量沒有差異炎症雜誌公開同行評議與單盲比較。
- 同行評審
- Journalology
- 評審質量儀器
這是一篇根據知識共享署名(CC BY 4.0)許可條款發布的開放獲取文章，該許可允許其他人分發，重新混合，改編和構建此作品，用於商業用途，前提是正確引用原始作品。看到的:http://creativecommons.org/licenses/by/4.0/
來自Altmetric.com的統計數據
本研究的優勢和局限性
這是第一個比較兩種期刊的同行評議質量的研究，這兩種期刊在大多數方麵非常相似，但在同行評議模式上不同(BMC微生物學進行單盲同行評議BMC傳染病進行公開的同行評議)。
這是首個分析同行評議模式變化對單一期刊影響的研究。炎症雜誌)。
分析了大量的審稿人報告(800份)，結果在三種不同的期刊上發表了一項強有力的研究，發表了生物學和醫學方麵的研究。
我們觀察到評分者對同行評議報告質量的適度一致，盡管評分者沒有討論對BMC傳染病和BMC微生物學，也沒有討論他們對任何期刊的個別報告的評級。
我們不得不使用不同的研究設計炎症雜誌部分的研究比用於BMC傳染病和BMC微生物學部分，由於符合入選標準的稿件數量不足。
介紹
大多數學術期刊采用三種同行評議模式中的一種:單盲，審稿人知道作者的身份，但作者不知道審稿人的身份;開放的同行評審，作者和審稿人都知道彼此的身份，或者雙盲同行評審，作者和審稿人的名字都是盲的。一些期刊將審稿人報告(署名的或匿名的)和作者的回複與接受的文章一起發表。許多期刊允許，或者在某些情況下要求，提交稿件的作者推薦潛在的審稿人。這些信息可供負責選擇合適審稿人的編輯使用。
之前的研究比較了不同期刊在開放和單盲同行評議下的審稿人報告的質量，1並分析了公開同行評議，2公開同行評議;3.推薦審稿人的作者比例4以及被作者建議或排除的審稿人的建議之間的差異。5研究發現，編輯選擇的審稿人比作者推薦的審稿人具有統計上顯著的批判性。1，3 - 9有趣的是，大多數研究都是在醫學期刊上進行的，而沒有在生物學期刊上進行研究。
本研究的目的是評估作者推薦的審稿人對稿件的評價是否存在偏見，以及他們的報告質量是否與編輯推薦的審稿人準備的報告質量不同。第二個目標是比較開放同行評議和單盲同行評議。本研究首次分析了醫學和生物學期刊上的大量審稿人報告(共800份)，並比較了開放和單盲同行評審模式以及作者推薦和非作者推薦審稿人之間審稿人報告的質量。
這項研究的初步發現以海報的形式在2013年芝加哥舉行的第七屆同行評議大會上發表。海報已存放在F1000海報。10
方法
分析了期刊
我們分析了2010-2011年投稿的同行評議報告BMC微生物學該公司實行單盲同行評議BMC傳染病該公司開展公開的同行評議。BMC微生物學和BMC傳染病作為BMC係列期刊的一部分於2000年創刊。11所有的政策和流程在整個期刊係列中都是相同的。BMC微生物學和BMC傳染病在規模、影響因子及退稿率方麵相似，並涵蓋相似的學科範疇(表1)。這些期刊由一組內部編輯管理，他們與編輯委員會密切合作。稿件由學術副編輯和章節編輯處理，他們選擇和檢查所有邀請的審稿人。他們可能決定使用作者推薦的審稿人，其他審稿人，或BioMed Central的PubMed搜索工具，或根據自己的知識和搜索選擇審稿人。審閱者收到相同的審閱邀請和相同的模板來準備他們的報告。唯一的區別是BMC傳染病審稿人必須同意開放同行評議，包括如果稿件被接受，發表他們簽名的報告。
第三份分析的期刊是炎症雜誌該項目於2004年啟動。委員會最初采用開放的同行評審模式，但於2010年1月29日采取了單盲同行評審政策(表2)。研究時間為2007-2011年。
選擇審稿人報告
對於每個期刊，我們分析了有最終決定(接受或拒絕)的原創性研究手稿的審稿人報告。在每一個BMC微生物學和BMC傳染病，我們確定了100份手稿，每個手稿都有兩個審稿人，一個由作者推薦，另一個由另一方推薦(BioMed Central的PubMed搜索工具將手稿的摘要與PubMed中的摘要進行比較，另一個審稿人或編輯)。這是通過在期刊數據庫中搜索2010-2011年期間連續提交的論文實現的。的炎症雜誌發表的原創性研究文章較少，評論文章和病例報告比例較大，不適合我們的分析。在炎症雜誌我們分析了從同行評議模式改變之日起(開放同行評議)和從單盲同行評議開始(單盲同行評議)連續提交的200篇研究論文的審稿人報告。有兩名審稿人(一名由作者建議，另一名由另一方建議)的研究文章提交數量不足。我們總共分析了193份手稿，審稿人在1到5人之間。結果，對於炎症雜誌，我們分析了較長時間(2007-2011)的報告，作者推薦的審稿人提供的報告數量與非作者推薦的審稿人提供的報告數量不相等(表3)。
評估審稿人報告的質量
每一份同行評議報告都使用已建立的評議質量工具(RQI)進行評級。12（表4)。每份報告分別由BioMed Central的兩位資深編輯獨立評估。評價者不知道同行評議模式以及評價者是否由作者推薦。然而，評分者並沒有對評論者的身份視而不見。在評估報告質量時BMC微生物學和BMC傳染病，評等機構之間並沒有就如何使用RQI進行正式討論。然而，在分析報告之前炎症雜誌，評價者在對同行評議報告進行評分之前就RQI上的每個分數的標準達成一致(參見討論部分)。
審稿人建議分析
對於所研究的期刊，同行審稿人可以從審稿表中提出的六項建議中選擇一項，也可以選擇不提供推薦。為了便於分析，我們將這些建議分為四類(表5)。
作者調查
所有通訊作者都被要求在文章發表後完成作者調查(見在線補充材料)。該調查包括18個問題，涉及編輯和製作過程的不同方麵，其中一個問題是“審稿人的評論有多大幫助?”作者被要求對問題的答案進行打分，從1分(很差)到5分(很好)。我們比較了作者在同行評議意見的幫助性問題上的得分與其他問題的得分。
統計分析
之前已經展示過了1總共110篇論文在p<0.05的情況下有90%的能力檢測到RQI的差異為其SD的一半;因此，我們認為我們的樣本量是有效的。
評價間一致性采用二次權加權κ來衡量。對於每篇文章和審稿人，在隨後的分析中使用兩個評分者得分的平均值。采用未配對Mann-Whitney U檢驗比較開放和單盲評價模型的評價質量。采用配對Mann-Whitney U檢驗，比較作者建議和其他審稿人的評價質量BMC微生物學和BMC傳染病(其中每篇文章都有一種類型的審稿人)，並在炎症雜誌。每期期刊對8個試驗進行了Bonferroni校正。
為了測試作者推薦的審稿人是否比其他審稿人更積極，我們將審稿人推薦編碼為拒絕=0，修改=1或接受=2，並將該值作為線性回歸中的響應，審稿人類型(作者推薦或其他)作為預測因子。與評價模型(開放或單盲)的相互作用項被納入探索性分析，但如果發現不顯著則刪除。
以評價模型(開放或單盲)作為響應，審稿人推薦編碼為三級分類預測因子(接受、修改、拒絕)，在logistic回歸中檢驗審稿人推薦與評價模型的關聯。
用邏輯回歸檢驗審稿人建議與最終決定的關聯，最終決定作為回應，審稿人建議編碼為三級分類預測因子(接受、修改、拒絕)，對作者推薦和非作者推薦的審稿人有不同的影響。與評價模型(開放或單盲)的相互作用項也包括在探索性分析中，但如果發現不顯著則刪除。
在所有回歸分析中，每個綜述被視為一個觀察結果，並使用聚類se來允許對每篇論文進行多個綜述。
對作者調查的回應采用雙樣本Mann-Whitney U檢驗。
所有分析均在R中進行。
結果
審稿人報告的質量
評估報告質量的一致性
我們發現評分者之間有適度的一致BMC微生物學和BMC傳染病，加權κ值一般在0.4左右或更高。為炎症雜誌在對報告進行評級之前，評價者就RQI的每個分數的標準達成一致，8個問題中的6個問題的一致性更強，但仍然處於中等範圍(見在線補充表S1)。我們的協議比之前使用RQI的研究發現的要低，12，13這可能是由於評論文章的特定主題，或者是評分者對他們認為重要的評論的看法存在偏見。
公開和單盲同行評議中審稿人報告的質量
對於RQI的問題3(方法的優點和缺點)，5(建設性)和6(提供適當的證據來證實評論)，有顯著更高的分數BMC傳染病(公開同行評議)與…相比BMC微生物學(單盲同行評議;圖1)。這導致整體得分提高5% (p=0.042平均兩個評分者);然而，這對一個評分者來說是顯著的(p=0.02)，而對另一個評分者來說不是顯著的(p=0.39)，所以可能並不代表真正的差異。
評價質量儀器評分的比較BMC傳染病(開放的同行評議)和BMC微生物學(單盲同行評審)。有三個問題的得分在統計學上有顯著提高BMC傳染病Q3:審稿人是否清楚地指出了該方法的優缺點(研究設計、數據收集和數據分析)?(p=0.004)問題5:審稿人的評論是否具有建設性?(p=0.0046)問題6:審稿人是否使用論文中的例子提供了適當的證據來證實他們的評論?(p=0.0015)這導致總分提高5% (p=0.042)。紅色粗體表示p<0.05。
為炎症雜誌然而，開放和單盲模型在綜述質量上沒有顯著差異(見在線補充表S2)。
由作者推薦和非作者推薦的審稿人提供的報告質量
名義上有重要的證據表明，非作者推薦的審稿人在Q6(審稿人證實其評論的程度)和Q7(作者對結果解釋的評論)中獲得了更高的分數BMC傳染病(公開的同行評議)比評議者獲得的分數高BMC微生物學(單盲同行評審)。然而，這些差異在調整為多重測試時並不顯著。其他問題在作者推薦的審稿人和非作者推薦的審稿人之間沒有顯著差異(見在線補充表S3和S4)。
在炎症雜誌在Q3(對方法的優點和缺點的評論)中，在評審質量上出現了名義上的顯著差異，但在對多重測試進行修正後，這並不顯著。推薦作者與其他審稿人在評價質量方麵未見其他顯著差異(見在線補充表S5)。
審稿人的建議接受或拒絕
在他們最初的報告中，大多數審稿人提供了接受或拒絕手稿的建議。為BMC傳染病(開放的同行評議)和BMC微生物學(單盲同行評議)每種類型的審稿人推薦數量相似，表明開放和單盲同行評議模式之間缺乏差異(圖2)。在這兩種期刊中，作者推薦的審稿人比非作者推薦的審稿人更積極(BMC傳染病p = 1.4×10−6；BMC微生物學p = 6.3×10−8)。大約三分之二的作者推薦的審稿人建議接受，隻有2% - 5%的人建議拒絕(見圖2)。
為稿件提供推薦的審稿人百分比BMC傳染病和BMC微生物學。
為炎症雜誌，作者推薦的審稿人也比其他審稿人給出了更有利的推薦(p=3×10)−6)。同樣，開放和單盲評價模型之間沒有顯著差異(圖3)。
為稿件提供推薦的審稿人百分比炎症雜誌。
我們發現了13份手稿BMC傳染病17英寸BMC微生物學，其中作者推薦的審稿人建議接受或修改，而非作者推薦的審稿人建議拒絕，最終結果為拒絕。然而，隻有兩個手稿被接受BMC傳染病四人被錄取BMC微生物學其中作者推薦的審稿人建議接受，非作者推薦的審稿人建議拒絕。兩種審稿人的推薦都能預測稿件的接受或拒絕，但非作者推薦審稿人的觀點能更好地預測最終結果(p=7.3×10)−19)與作者推薦的審稿人相比(p=1.3×10)−5)。兩者之間沒有差異BMC傳染病和BMC微生物學在這方麵。然而，在炎症雜誌作者推薦審稿人與非作者推薦審稿人在預測最終決定方麵無顯著差異。
作者調查
我們分析了2013年9月底所有可用的作者調查:741份調查BMC微生物學(單盲同行評議)，685人BMC傳染病(開放式同行評議)49(開放式同行評議)和47(單盲同行評議)炎症雜誌。
作者在BMC傳染病覺得審稿人的評論比作者的更有幫助BMC微生物學(p<0.0001，見在線補充表S6)。然而，與管理手稿的其他編輯和生產過程有關的大多數其他問題也傾向於獲得更有利的評分(p<0.05)。
為炎症雜誌，我們沒有發現在接受開放或單盲同行評議的手稿作者返回的調查中，關於編輯和製作過程的任何問題有統計學上的顯著差異。
討論
期刊的同行評議過程被批評為緩慢、不一致和有偏見。14然而，關於同行評議實際上是如何工作的研究很少，包括評議報告的質量，以及評議模型和評議者類型之間的差異。我們可以比較同行評議的質量BMC傳染病(開放的同行評議)和BMC微生物學(單盲同行評議)，這兩種期刊在同行評議模式上不同，但在其他方麵非常相似。我們還評估了同行評議模式變化對單一期刊的影響炎症雜誌該公司改變了其同行評議模式。它給我們提供了獨特的機會來評估同行評審模式對同行評審質量和審稿人提出的建議的影響。在分析的期刊中，我們還能夠比較作者推薦的審稿人提供的報告和建議的質量，與其他方麵推薦的審稿人進行比較(例如，BioMed Central的PubMed搜索工具將手稿摘要與PubMed、其他審稿人和編輯的摘要進行比較)。分析報告的大樣本量確保了統計上可靠的結果。
主要發現是同行評議報告的質量略高於BMC傳染病(公開同行評議)與…相比BMC微生物學(單盲同行評議)，但我們沒有發現開放和單盲評議在炎症雜誌。這些結果表明，使用開放的同行評議可能是有利的，但它們並不破壞使用單盲方法的有效性。
在這三種被分析的期刊中，我們都沒有發現差異質量作者推薦的審稿人撰寫的同行評議報告與其他各方推薦的審稿人撰寫的同行評議報告的比較，但在所有三種期刊中，作者推薦的審稿人比其他各方推薦的審稿人建議拒絕的可能性要小得多，而建議接受的可能性要大得多。總體審稿人的建議是相似的BMC傳染病相比之下,BMC微生物學這表明開放和單盲同行評議沒有區別。然而，在炎症雜誌我們發現，與單盲同行評議相比，在開放同行評議下，審稿人更有可能推薦接受。的作者滿意度更高BMC傳染病相比之下,BMC微生物學，包括對同行審稿人的評論是否有幫助的問題的回答。在炎症雜誌在開放式和單盲同行評議期間，作者滿意度沒有差異。
審稿人報告的質量
單盲同行評議模式是生物醫學領域期刊中最常用的同行評議模式。的BMJ是1999年最早開放同行評議的期刊之一。15這一決定是基於一項隨機對照試驗的結果2使用相同的RQI評估審稿人報告的質量12我們在當前的研究中使用的。與我們的分析類似BMJ研究發現匿名審稿人和非匿名審稿人在報告質量方麵沒有顯著差異。2
另一項關於開放同行評議的研究，使用了改進版的RQI，12在醫學雜誌《the英國精神病學雜誌。13有趣的是，該研究發現，經過公開同行評議的報告質量比未署名的報告高5.5%，這與我們發現的5%的評議報告分數差異是一致的BMC微生物學(單盲同行評議)BMC傳染病(開放式同行評議)。此外，署名的審稿人報告在相同的兩個問題上得分明顯高於我們的開放報告BMC傳染病(Q3關於方法，Q5關於意見的建設性)。同樣令人鼓舞的是，在322位審稿人中，多達245位(76%)同意在他們的報告上簽名英國精神病學雜誌。13
在開放的同行評審下，審稿人對他們的評審更負責，這可能是我們在Q3(討論方法的優點和缺點)、Q5(更具建設性的報告)和Q6(提供適當的證據來證實評論)中觀察到的更高分數的原因，這導致了5%的總體分數的提高(p=0.042)。
對於問題3(審稿人是否清楚地識別了方法、研究設計、數據收集和數據分析的優缺點)，審稿人報告在開放式同行評議中獲得較高的分數，還有另一種可能的解釋。醫學研究遵循幾種不同類型的明確研究設計(見赤道網絡)16獲取更多信息)。因此，與評估生物學論文相比，在評估醫學研究時，審稿人更有可能評論作者是否使用了適當的研究設計和適當的方法，因為有現有的報告準則可供遵循。我們發現諸如“研究設計”、“指南”、“方法學”和“數據分析”等關鍵詞在文獻綜述報告中出現的頻率更高BMC傳染病與審稿人的報告相比BMC微生物學雖然沒有達到統計學意義(Fisher精確檢驗，p=0.2)。
審稿人的建議接受或拒絕
作者推薦的審稿人往往比其他類型的審稿人提供更有利的建議。無論采用何種同行評議模式，我們分析的三種期刊的結果都是一致的。這也與以往關於這一課題的研究相一致。1，3 - 9然而，在這兩種情況下BMC傳染病(開放的同行評議)和BMC微生物學(單盲同行評審)，非作者推薦的審稿人提出的建議比作者推薦的審稿人提出的建議更能預測最終決定接受或拒絕稿件。這些評論似乎對期刊編輯更有分量(無意識或有意識)。
在炎症雜誌我們發現，在公開同行評議下，審稿人提供的推薦明顯更有利。在之前的一些研究中也發現了這種效應1，13但並非全部如此。2此外，公開同行評議的接受率明顯高於單盲同行評議(67% vs 50%，見表3)。然而，很難確定這種影響是由於同行評審模式還是其他因素。的炎症雜誌小於BMC微生物學或BMC傳染病，其分析報告的時間跨度較長，從2007年9月(該雜誌創辦後不久)到2011年9月。同行評議模式的改變也伴隨著編輯的改變，同時該期刊也收到了第一個影響因子。這些因素可能會影響同行審稿人的選擇，以及他們對期刊的看法和提出建議的方式。
作者滿意
作者在BMC傳染病(開放式同行評議)在評議者評論的有用性這一問題上給出的分數略高於BMC微生物學作者(單盲同行評審)。然而，他們在其他問題上也給出了更高的分數，所以可能是整體編輯過程被認為更擅長BMC傳染病或者它隻是反映了不同研究領域的優先級不同。比賽的比分炎症雜誌對於同行評議的有益性，開放評議高於單盲評議，但未達到顯著性。
本研究的局限性
RQI的12評估審稿人報告的詳細和徹底程度，但不評估批評是否有效，或者審稿人是否認識到手稿中的缺陷。這種評估需要專業知識。最近一項關於博士後獎學金申請同行評審決策一致性的研究表明，每個申請使用多達五名評審人員可能是最佳的。17
我們發現評分者對裁判報告的質量隻有中等程度的一致。在評估報告質量之前BMC微生物學(單盲同行評審)和BMC傳染病(開放的同行評審)，就如何使用RQI進行正式討論12我們沒有被關押。隨後，我們發現兩個獨立評分者在個別問題上的一致性不高，但在總體平均得分上有適度的一致性。鑒於這一經驗，在分析報告之前炎症雜誌，評分員明確討論了評分量表，並就如何對個別問題進行總體評分達成了廣泛共識。在此之後，我們發現所有問題的評分一致性都得到了提高(見在線補充表S1)。然而，評級者並沒有對任何期刊的個別報告進行評級。評價者並沒有對評價者的身份視而不見。然而，由於評價者並不參與管理這些期刊的同行評議，評價者的名字並不熟悉。
我們不能使用完全相同的研究設計炎症雜誌如用於BMC傳染病和BMC微生物學。的炎症雜誌沒有足夠數量的手稿被兩位審稿人審閱，其中一位是作者建議的，另一位不是。因此，我們沒有從作者和非作者推薦的審稿人那裏得到相同數量的報告。
該研究的另一個限製是可供作者調查的數量較少炎症雜誌。雖然我們分析了所有可用的作者調查，但結果缺乏統計顯著性可能是由於可用的調查數量少，而不是缺乏同行評議模型的影響。
我們選擇BMC微生物學和BMC傳染病因為這些期刊都有相似的概況(表1)和相同的編輯過程，主要區別在於同行評議模式。然而，這些期刊的作者基礎並不相同，盡管我們努力將期刊進行緊密匹配，但我們觀察到的差異仍有可能是由於其他因素造成的。類似地，我們的結果炎症雜誌可能反映時間趨勢，如上文所述的編輯變動。為了減少此類偏倚的影響，我們按照投稿的先後順序選擇文章，從評審模型變更之日開始。
結論
本研究首次調查了作者推薦的同行評議人和同行評議的開放性對同一期刊以及生物學和醫學領域非常相似的期刊之間的同行評議質量的影響。我們表明，與之前的研究一致，2，13開放同行評議期刊的同行評議報告質量與單盲同行評議期刊的同行評議報告質量相當。此外，開放的同行評議提高了同行評議意見的建設性。
作者推薦的審稿人比非作者推薦的審稿人更傾向於推薦接受，但無論審稿人建議的來源如何，同行評議報告的質量都是相似的，這也與之前的報告一致。1，9
致謝
作者們要感謝弗朗西斯·本森、雷切爾·克雷文和馬可·特蘭奇諾，感謝他們幫助鑒定了要分析的手稿。他們還感謝幫助整理數據的Charlene colate、Martha Davey、Jennifer Franklin、Sophie Marchant、Yasmin Mulla、Natasha Munzi和Holly Young。他們還要感謝菲利帕·哈裏斯和馬特·科克裏爾提出的有用的意見和建議。
參考文獻
補充材料
腳注
推特關注Maria Kowalczuk@Maria_Kowalczuk，希裏亞·南達@ShreeyaNanda，斯蒂芬妮·哈裏曼@stephharriman吉吉沙·帕特爾@JP6050伊麗莎白·莫伊蘭(Elizabeth Moylan)@latwec
貢獻者MKK協調項目，參與研究設計和報告評分，起草稿件。FD參與了研究的設計，並進行了所有的統計分析。SN、SLH、JP和ECM參與了研究的設計、審稿人報告的評分、結果的解釋和手稿的起草。
資金這項研究沒有得到任何公共、商業或非營利部門的資助機構的特別資助。
相互競爭的利益MKK, SLH, JP和ECM受雇於BioMed Central，並與本研究對象期刊的編輯密切合作。研究進行時，SN受雇於BioMed Central。FD是BMC Bioinformatics的副主編，這是一份生物醫學中心期刊，不是本研究的對象。
出處和同行評審不是委托;外部同行評審。
數據共享聲明沒有其他數據。