條文本
PDF
摘要
目標比較越南接受培訓的1級糖尿病視網膜病變(DR)分級(護士、內分泌科醫生和一名全科醫生)、2級(中級眼科醫生)和3級(高級眼科醫生)與來自英國的參考標準的準確性，並評估補充針對性分級培訓的影響。
設計診斷試驗準確性研究。
設置越南南部的二級保健醫院。
參與者2018年2月，英國國家衛生服務體係(NHS)的學生向越南學生提供了DR培訓。兩場視網膜圖像(412張患者圖像)在2018年8月至10月期間由越南的14名訓練過的評分員評分，然後由一名nhs認證的參考標準英國驗光師(I期)回顧性評分。2019年11月，根據I期結果向評分員提供了進一步的DR培訓。訓練結束後，由6個原始隊列(II期)對2020年1月至10月的隨機圖像子集(115張患者圖像)進行分級。參考分級員以蒙麵方式回顧性地對I期和II期的所有圖像進行分級。
主要和次要結果測量在兩個不同的時間點計算敏感度，χ2用於檢驗顯著性。
結果在第一階段，越南所有分級組對任何DR的檢測靈敏度較低(41.8-42.2%)，在提供額外培訓後，在第二階段有所改善(51.3-87.2%)。1年級學生的改善最大(p<0.001)， 3年級學生的改善最低(p=0.326)。在所有分級水平之間，可參考的DR和可參考的糖尿病黃斑水腫的檢測靈敏度有顯著的統計學改善。訓練後的數值為40.0 ~ 61.5%(含不可分級圖像)和55.6% ~ 90.0%(含不可分級圖像)。
結論本研究表明，有針對性的培訓幹預可以提高DR分級的準確性。這些發現對於改善低資源環境中DR篩查規劃的服務提供具有重要意義。
- 糖尿病性視網膜病變
- 眼科學
- 公共衛生
- 保健質量
數據可用性聲明
所有與研究相關的數據都包含在文章中或作為補充信息上傳。
這是一篇開放獲取的文章，按照創作共用署名4.0未移植(CC BY 4.0)許可發布，該許可允許其他人複製、重新發布、混合、轉換和基於此作品的任何目的，隻要原始作品被正確引用，提供許可證鏈接，並說明是否進行了更改。看到的:https://creativecommons.org/licenses/by/4.0/．
來自Altmetric.com的統計
本研究的優勢和局限性
根據英國的DR篩查模型，越南的分級人員接受了檢測糖尿病視網膜病變(DR)的培訓。
本研究描述了培訓幹預對提高越南DR分級的影響。
將可分級和不可分級的眼底圖像納入分析。
與第一階段相比，第二階段的樣本量較小。
簡介
越南成人糖尿病患病率約為6%，在過去十年中幾乎翻了一番。1通過糖尿病眼篩查計劃(DESPs)進行早期發現，對於降低因糖尿病視網膜病變(DR)導致可避免的失明風險非常重要。自從高收入國家英國引入係統desp以來，DR不再是工作年齡成年人失明的主要原因。2這種成功的desp的關鍵是實施精確、創新和具有成本效益的模型，以適應醫療保健係統和環境。
投資培訓人員以增加人力資源和采購適當的診斷和治療設備對於確保服務提供者能夠為dr患者提供最佳護理至關重要。在中低收入國家，由於缺乏熟練的人力資源和基礎設施，往往缺乏實施強有力的desp的能力。3 4在越南，每百萬人中隻有14名眼科醫生，而英國每百萬人中有49名眼科醫生。5
所有篩查規劃都必須提供證據，證明它們有能力檢測目標疾病，並確保在篩查不足時有效執行服務，以提高篩查準確性。迄今為止，沒有足夠的證據證明訓練有素的中低收入國家分級人員使用非脊髓數字成像進行DR分級的準確性，更沒有證據表明中低收入國家desp在檢測到準確性不佳的地方改善的能力。目前的回顧性研究旨在評估越南一個非政府組織(NGO)支持的DESP中一係列評分者的準確性，並研究質量改善幹預的有效性。
方法
研究參與者
第一階段的14名越南參與者包括:1級DR分級(6名護士、1名全科醫生和2名激素科醫生，均具有<1年分級經驗，55.6%為女性)，2級DR分級(3名新獲得資格的眼科醫生，具有<1年正式DR分級經驗，100%為女性)和3級DR分級(2名高級眼科醫生，具有>5年治療視力威脅性DR的經驗，但具有<1年正式DR分級經驗，100%為男性)。在第二階段，包括6/14名來自第一階段的學生(3名1級，2名2級，1名3級)。來自英國(KC)的參考標準是經過DR分級培訓並獲得英國NHS DESP認證的完全合格的驗光師。6越南1、2和3級學生分別相當於英國desp的小學、中學和仲裁年級學生。7在當前的研究中，越南的1級和2級學生對所有眼底圖像進行dr分級。所有分級學生之間存在分歧的圖像，以及隨機選擇的40%的圖像，都由越南的3級學生進行仲裁分級。越南的所有分級者對參考標準的任何既往診斷或分級都進行了屏蔽，而參考標準也對越南的分級結果進行了屏蔽。412例I期患者和115例II期患者的眼底圖像分級(圖1而且圖2)．
說明2018年8月至10月一期患者入組及影像管理的流程圖(初步分級績效分析)。1級和2級的學生給同一組照片打分，3級的學生給這些照片的一個子集打分:1級和2級學生之間的所有分歧和所有圖像的40%隨機樣本。DMO，糖尿病黃斑水腫;博士,糖尿病性視網膜病變。
說明2020年1月至2020年10月納入第二階段的患者登記和圖像管理的流程圖(再培訓後的後續分級績效分析)。1級和2級的學生給同一組照片打分，3級的學生給這些照片的一個子集打分。DMO，糖尿病黃斑水腫;博士,糖尿病性視網膜病變。
在越南為學生進行DR培訓
作為非政府組織奧比斯國際(Orbis International)支持的DESP項目的一部分，一個由5名越南醫生和醫療管理人員組成的團隊於2017年9月訪問了北愛爾蘭的DESP，接受了篩查、方案管理和質量控製方法方麵的培訓。2018年2月，來自貝爾法斯特信托基金(CD)的一名英國NHS高級分級員和一名經過DR分級培訓並獲得NHS (KC)認證的完全合格驗光師訪問越南，為desp相關分級人員提供DR培訓(在線補充圖S1培訓時間表)。培訓重點關注眼部解剖、視網膜疾病、DR征象和分級(基於英國國家篩查委員會分類係統)以及適當的轉診途徑和管理(在線補充表S1-S3)．8
圖像采集與管理
這些圖像是由越南訓練有素的護士和技術人員拍攝的。根據英國NHS DESP，使用桌麵非瞳孔眼底相機(Canon CR2-AF, Canon Medical Systems Europe)拍攝兩場45°數碼彩色照片(一張以椎間盤為中心，一張以黃斑為中心)。9培訓護士和技術人員重複不充分的圖像作為質量控製措施，並在不可能充分的眼底圖像時拍攝前段照片。圖像被匿名並上傳到一個基於雲的軟件係統(Spectra)，由越南訓練有素的DR分級人員進行分析。這些圖像被傳輸到貝爾法斯特女王大學的服務器上，根據參考標準進行重新評級。
可分級性的評估
根據NHS DESP指南，圖像質量被定義為“適當”或“不充分”，進一步概述如下:
每隻眼睛的盤狀中心和黃斑中心圖像被視為一對，並按單個眼睛的水平進行分級。DR和糖尿病黃斑水腫(DMO)的存在也在患者水平上確定，並基於受影響最嚴重的眼睛。圖像不能分級的參與者被轉到進一步的裂隙燈檢查。如果圖像不充分，但可檢測到可參考疾病，則記錄可參考級別，並將患者轉移到適當的可參考級別路徑上。9
在越南胡誌明市總醫院、胡誌明眼科醫院(三級醫院)、天江總醫院(省醫院)和蔡壩總醫院(區醫院)連續招募了診斷為糖尿病並正在接受可能的DR評估的患者。2018年8月至10月(第一階段)的眼底圖像由越南的14名分級人員評分，然後在第一階段根據英國的參考標準進行回顧性評分。根據第一階段分析的具體結果，英國分級人員和奧比斯(Orbis)於2019年3月和2019年11月提供了針對性的補救培訓。圖1)．此外，還引入了與英國DESP模式類似的定期測試和培訓，以保證質量。為了評估這一質量改善幹預措施的影響，在2020年1月至10月(第二階段)期間，由6名原始分級者對新的圖像子集進行了分級，並於2021年9月根據英國的參考標準(KC)進行了重新分級。
統計分析
數據輸入Microsoft Excel V.16.0，然後轉移到Stata V.17.0 (StataCorp LLC)進行分析。使用kappa計算內部分級器和集成分級器的一致性，並使用分層隨機抽樣技術以確保圖像的代表性樣本被重分級(在線補充表S4和S5)．通過計算敏感性、特異性、陽性預測值和陰性預測值，評估越南評分者與英國參考標準的診斷試驗準確性(DTA)。在兩個不同時間點(I期和II期)計算敏感性，χ2用於檢驗顯著性。
患者和公眾的參與
患者或公眾沒有參與我們研究的設計、實施、報告或傳播計劃。
結果
病人的特點
I期患者中65.4%為女性，平均年齡59.4歲。在II期，40.0%為女性，平均年齡59.8歲。圖1及2分別描述在研究的第一和第二階段的患者登記和圖像的捕獲和分級。
初步分級性能分析(第一期)
檢測任何DR的敏感性低於英國的參考標準，在越南的所有分級組。所有評分組對可參考DR和可參考DMO的檢測靈敏度甚至更低(表1)．當無法分級的圖像被排除在分析之外時，靈敏度增加了，盡管它仍然很低(任何DR的47.9-50.8%;可參考DR為22.2%-38.1%，可參考DMO為9.3-26.5%)(在線補充表S6)．
再培訓後的評分表現(第二階段)
隨後，從2020年1月至10月，來自115名連續患者的另一個圖像子集由14名越南分級人員中的6人評分，並在英國進行了重新評分，以評估分級人員在針對性培訓後的表現，並製定了質量控製措施。檢測DR的靈敏度提高最大的是1級患者(差異:+45.4%，95% CI +33.1%到+57.8%;p < 0.001)。特異性從I期的87.9%增加到II期的95.6%，這有助於避免過度轉診(差異:+7.7%，95% CI +1.4% ~ +13.9%;p = 0.069)。發現任何DR的靈敏度改善最低的是在越南的3級分級之間(差異:+9.1%，95% CI−9.0%至+27.1%;p=0.326)，盡管它們在I期和II期的特異性仍為100%。檢測DR和可參考DMO的敏感性在所有級別均有顯著提高:訓練後的敏感性在40%到61.5%之間(表2)．當無法分級的圖像從第二階段的分析中排除時，觀察到靈敏度的進一步提高:任何DR的靈敏度為55.6 - 97.6%，可參考DR的靈敏度為55.6%-88.9%，可參考DMO的靈敏度為60.0-90.0% (在線補充表S7)．DR在本研究中的總體患病率可以在在線補充表S8．
討論
我們的研究結果表明，在規劃實施的早期階段，檢測所有級別的DR，特別是可參考DR的敏感性和特異性較差。由於錯過了早期治療的機會和對假陽性轉診進行不必要的檢查，這轉化為醫療保健係統的成本增加。病人護理的質量也受到影響。來自英國和越南的受過培訓的DR教育者在越南進行了為期兩年的說教式DR培訓。培訓是專門針對解決第一階段測試中發現的問題，10使用國際測試和培訓(iTAT)進行質量控製測試。iTAT是一個在線平台，每月為DR篩查工作的分級人員提供質量保證和培訓。這是一個很好的平台，可以幫助分級人員提高從眼科圖像中檢測DR的能力。在英國，評分者必須完成每月的測試集(每組包括20個視網膜圖像，具有DR嚴重程度的範圍)。如果評分低於商定的閾值，則提供額外的培訓和支持。7這項研究表明，這些步驟提高了所有級別的患者和分級者的分級準確性。我們發現，分級機之間的主要不一致在於他們檢測不可分級圖像的能力;因此，必須進行有針對性的培訓，以確保此類患者轉到下一級(裂隙燈檢查)。
根據英國國家臨床優化研究所的指南，DR篩查試驗必須有至少80%的敏感性和95%的特異性，技術失敗率為5%或更少。11這些要求在靈敏度方麵沒有得到滿足，但可能不適用於中低收入國家。在資源匱乏的環境下，由於多種原因，結果可能較差，包括未手術的鏡頭不透明影響照片清晰度的發生率較高，使用護士而不是專業攝影師進行圖像捕獲，以及以前沒有接受過此類檢查的患者對攝影的依從性較差。
在這種環境下的質量評估是至關重要的，基於英國DESP等模型的規劃變化可以成功地提高低收入和中等收入國家環境下的評分準確性。然而，重要的是，各國應調整本國的DR分類係統和轉診途徑，以滿足本國的需求。例如，英國係統(英格蘭、威爾士和北愛爾蘭)使用M0級表示無黃斑病變，使用M1級表示可參考黃斑病變。在蘇格蘭，M0表示無黃斑病變，M1表示可觀察到的黃斑病變，M2表示可參考的黃斑病變，允許在篩查水平上對黃斑病變進行一些監測。這減輕了醫院係統的負擔。這對低收入和中等收入國家的意義是，在規劃階段意識到醫院的能力可能意味著他們需要根據自己的需要安全地調整一個公認的分級係統。最重要的是，附屬醫院(以及培訓機構和實際醫院之間的合作、協調)對DR分級質量的提高至關重要。
在低收入和中等收入國家進行的研究評估了非醫療分級和醫療分級在檢測DR方麵的準確性，發現這兩種分級類型在檢測DR方麵都能夠達到中等至高的靈敏度。12 - 15與我們的研究結果相比較，中國的一項研究發現，與農村眼科醫生相比，非醫療DR分級人員具有更高的敏感性(0.82-0.94%)和特異性(0.91-0.98%)(敏感性= 0.65-0.95%，特異性= 0.59-0.95%)。16在DR篩查中，發現可轉診和威脅視力的DR (STDR)以預防失明是至關重要的，但同樣重要的是發現正常病例，以防止不必要的轉診到已經超負荷的醫院診所。篩查為分級者提供了一個機會，與患者討論糖尿病管理的重要性，以降低DR造成視力損害的風險。
一些研究已經描述了用什麼訓練幹預措施來訓練他們的評分者，關鍵因素可能會被納入我們未來的訓練計劃。15 17 18在英國，格洛斯特郡視網膜教育集團的DR分級課程是分級認證所必需的。由於資金有限，這一課程的高昂費用可能在低收入和中等收入國家更具挑戰性。6
的優勢
本研究描述了培訓幹預對提高LMIC DR分級質量的影響。在本研究中納入無法分級的圖像是一個合乎邏輯的決定，特別是當白內障(這往往使DR圖像無法分級)在低收入和中等收入國家的患病率很高時。19致密性白內障通常會阻礙眼底的視野，很難獲得清晰的眼底照片和確定DR等級。在這種情況下，需要將患者轉到眼科診所進行進一步的評估和治療。從DESP實施的角度來看，確定患者層麵的敏感性和特異性也很重要。在英國和越南，通常對雙眼進行DR檢查，並將單一結果分配給患者，就像這裏所做的一樣。由於這些原因，我們認為我們的分析方法和結果與這些設置相關。
限製
這項研究的局限性也得到了承認。本研究數據代表常規臨床實踐。在日常DR篩查中，並不是所有接受一級(1級)和二級(2級)分級的患者都進入仲裁分級(3級)。這意味著有一部分圖像沒有通過仲裁分級進行分級圖1而且圖2．第二，隻有6/14名第一階段的學生被納入第二階段的評分;然而，評分者水平的分布是相似的。第三，盡管被排除的患者比例很小，但由於本研究的性質是項目評估，我們無法完全描述這些排除的原因。一些潛在的原因是患者不願意參與研究，評分者忘記征求患者同意參與研究，以及患者無法遵守圖像采集。第四，本研究沒有記錄瞳孔狀況(瞳孔大小和白內障狀況)，這對低收入和中等收入國家可能很重要。最後，英國參考標準在越南臨床檢查患者是不現實的;然而，由DR認證分級人員或臨床專家進行分級的方法在許多篩查項目中被廣泛用作參考標準。
結論
本文顯示了在DESP實施的前6個月裏，越南所有評分群體的評分準確性是如何特別低的。許多因素可能導致評分員表現不佳，包括培訓和反饋不足，沒有足夠的時間參與質量保證測試，工作職責相互競爭。在越南實施了額外的培訓、測試和質量保證體係後，所有分級組的DTA都得到了改善;然而，還需要做更多的工作。特別是，訓練分級人員發現無法分級的病例是至關重要的。隨著持續的質量改進，每月iTAT，定期DR研討會和認證審查，我們期待DR的敏感性和特異性進一步提高。應該探索一項定性研究，以確定為什麼最初的訓練幹預不太成功。由於需要進一步改進，了解其他國家如何執行這些方案將是有益的。未來的研究應概述使用了什麼DR培訓幹預措施，說明相關培訓課程，並解釋采取了什麼質量保證措施。這項研究的結果對越南和其他中低收入國家的DESP項目規劃者很重要，強調了質量監測和必要的定向再培訓的重要性。
人工智能(AI)可能會顯著改變未來DR分級的方法。繼續關注最大化人類評分的準確性在今天仍然非常相關，特別是在低資源環境下，因為AI係統必須根據經過驗證的專家人類評分的黃金標準進行本地驗證。用於訓練大多數現有人工智能係統的高質量圖像與在低資源環境中遇到的圖像類型之間的差異，意味著這種驗證幾乎肯定會在本地層麵進行。在低資源環境中，鏡頭不透明度普遍較高，攝影師訓練欠佳，相機成本較低。在低資源環境中，可靠的人工評分係統的持續重要性進一步被這樣一個事實所強調，即很少有係統能夠在沒有現有評分器輸入的情況下完全自主地運行。
數據可用性聲明
所有與研究相關的數據都包含在文章中或作為補充信息上傳。
倫理語句
病人同意發表
倫理批準
這項研究涉及人類參與者，並得到了倫理委員會或機構董事會的批準。這項研究符合《赫爾辛基宣言》的原則。越南河內醫科大學生物醫學研究機構審查委員會(編號0518/HMU IRB)批準了倫理批準。所有受試者在接受訪談前均獲得書麵知情同意。參與者在參與研究前給予知情同意。
致謝
作者非常感謝所有越南和北愛爾蘭的參與者，他們慷慨地為這項研究付出了時間，並感謝奧比斯國際公司。
參考文獻
補充材料
-
補充數據
這個網絡僅文件已由BMJ出版集團從作者提供的電子文件生產(s)，並沒有編輯的內容。
腳注
推特@rpsmd2010
貢獻者KC對研究的工作和/或進行承擔全部責任，有權獲得數據，並控製發表的決定。所有的作者都對作品的設計理念做出了實質性的貢獻。KC和GV對數據進行了分析和解釋。所有作者閱讀並批準了最終稿件。
資金該項目由英國經濟部(DfE) -全球挑戰研究基金(GCRF)資助(資助號:DFEGCRF17-18/Peto)。所有資助方都沒有參與該研究的設計或實施;稿件的準備、審核或批準;或決定投稿出版。NC由Ulverscroft基金會(英國)支持(授權號:N/A)。KC由威康基金會資助(資助號:204835/Z/16/A)。
相互競爭的利益NC被奧比斯國際公司聘為研究總監。
患者和公眾的參與患者和/或公眾未參與本研究的設計、實施、報告或傳播計劃。
來源和同行評審不是委托;外部同行評議。
補充材料本內容由作者提供。它沒有經過BMJ出版集團有限公司(BMJ)的審查，也可能沒有經過同行評審。討論的任何意見或建議僅僅是那些作者(s)和不被BMJ認可。BMJ放棄從放在內容上的任何依賴產生的所有責任和責任。如果內容包含任何翻譯材料，BMJ不保證翻譯的準確性和可靠性(包括但不限於當地法規、臨床指南、術語、藥品名稱和藥物劑量)，並且不對翻譯和改編或其他原因引起的任何錯誤和/或遺漏負責。