條文本
文摘
目標開發和驗證測試,以評估任何癌症的風險稱為NHS患者緊急疑似癌症(兩周等,2 ww)臨床路徑。
設置初級和二級保健,參與區域中心之一。
參與者回顧性分析的數據從371年799年連續2 ww推薦利茲地區從2011年到2019年。連續開發隊列由224年的669緊急疑似癌症患者轉診在利茲在2011年1月至2016年12月之間。開發被外部驗證診斷算法類似的連續樣本的147 130名患者(2017年1月至2019年12月)。所有這類患者18歲以上的最低的一組血液計數和生物化學測量可用的隊列中。
主要和次要結果的措施敏感性,特異性,消極的預測價值,陽性預測值,接受者操作特征曲線(ROC)曲線下麵積(AUC),校準曲線
結果我們提出兩個臨床用例的結果。在例1中,算法識別20%的病人沒有癌症,可能不需要緊急2 ww轉診。在例2中,他們把90%的癌症病例和癌症的概率很高,可以優先考慮。
結論結合小組廣泛使用血液標記為NHS 2 ww生產有效的血液檢測癌症患者。測試是負擔得起的,可以迅速部署到任何NHS病理學實驗室沒有額外的硬件要求。
- 衛生信息學
- 腫瘤學
- 統計數據和研究方法
數據可用性聲明
數據將不會提供給別人,是鑒定NHS病人數據。
這是一個開放的分布式依照創作共用署名4.0條Unported (4.0) CC許可,允許他人複製、分配、混音、轉換和發展這項工作為任何目的,提供了最初的工作是正確地引用,執照的鏈接,並表明是否變化。看到的:https://creativecommons.org/licenses/by/4.0/。
來自Altmetric.com的統計
本研究的優點和局限性
它是基於有效的、低成本的臨床化驗可用在NHS病理學實驗室規模;測試可以被部署在英國非常快,沒有額外的硬件要求。
大量的病例,這是保守的估計性能由於缺失數據和曆史的本質血液測量;前瞻性評價不會受到這些缺點。這項工作的主要局限是:
開發和驗證是隻在一個中心完成的。
有偏見的可能來源,血患者回顧性數據的子集可能並不代表整個隊列等待2周。
我們隻有在回顧樣本驗證報告;未來的評估是必要的。
背景
主要的國民醫療服務製度(NHS)癌症政策早診斷癌症導致緊急疑似癌症的介紹推薦。這些推薦是基於症狀患者患上癌症的風險。1信任評估患者2周內(“等待2周”(2 ww)推薦)。2 ww途徑有助於改善結果;更高的慣例使用推薦疑似癌症是降低死亡率的四個最常見的癌症類型(前列腺癌、乳腺癌、肺癌和結腸癌)。2
這種方法主要的壓力壓在診斷服務在英國國民健康保險製度,每年超過200萬2 ww推薦,推薦過去十年同比增長10%。3這突顯出一個不可持續的現有服務的負擔,勞動力和金融資源。癌症通路之間存在差異時,隻有7%的整體2 ww轉診病人被診斷為癌症。3許多病人因此受到不必要的心理壓力,以及接觸診斷測試,可能有害。顯然需要改善這些通路的效率。
這些挑戰是當前COVID-19加劇了危機。國民保健服務能力,評估2 ww推薦降低,和積壓的推薦繼續建造。3 4這些前所未有的挑戰迫切需要新的解決方案。COVID-19提出了全科醫生的機會(GPs)永久改變他們如何使用新興技術。5
許多生物標誌物用於癌症診斷的評估;然而,隻有少數目前用於一級或二級護理設置。係統僅映射確定了94 ctDNA研究,強調多少臨床使用之前需要更多的工作。6聖杯和Freenome這樣的公司在追求,與正在進行的臨床試驗。7 8也有證據表明,從一係列不同的分析物信號可以通過機器學習有效結合。9
使用這種方法來診斷癌症推薦應該造福患者、衛生係統和經濟。例如,排除測試對有症狀的病人,就像那些被稱為NHS 2 ww,可以確定那些罹患癌症的風險非常低,使很多患者沒有癌症,以避免不必要的程序和釋放的診斷能力,更大的風險。
本文中給出的工作地址Badrick發現的三大優先領域等,包括:一個簡單的、非侵入式的、無痛的早期癌症檢測和方便的測試;血液測試來檢測癌症早期,可以部分或全部列入常規護理;可以很容易地獲取和測試慣例。10
我們報告的開發和驗證一組機器學習算法提供一個校準癌症風險的概率(分數在0和1之間,高值表示更大的患癌症的風險)的篩選有症狀的患者。校準的風險概率有多種臨床使用。本文的兩個用例NHS 2 ww:
用例1 a排除測試當病人患癌症的風險很低,允許初始管理在初級保健。
用例通透的方法識別高危病人的癌症快速他們進行進一步的測試。
方法
方法設計和數據來源
這項工作是一個單中心回顧性診斷預測研究(歸類為一種透明的2 b研究報告個人預後和診斷的多變量預測模型(三腳架)聲明。11預測算法開發和驗證一個大數據集從一個地理區域,按時間順序分割成兩個獨立的群體。
連續數據集包含371 799 2 ww推薦利茲地區從2011年到2019年。連續開發隊列由224年的669緊急疑似癌症患者轉診在利茲在2011年1月至2016年12月之間。開發被外部驗證診斷算法類似的連續樣本的147 130名患者(2017年1月至2019年12月)。開發和驗證集選擇使用相同的納入和排除標準,都收到相同的預處理,包括刪除大於符號(>)從血液中的分析物值數據,和設置數據值小於(<)值為零。這是一個簡單的歸責的情況病理學實驗室可報告範圍外的返回一個結果。因為所選的機器學習算法不敏感個體變量的擴展,這是沒有必要正常化的輸入。
參與者
患者選擇,因為他們收到了2 ww轉診利茲教學醫院NHS信托(LTHT)在上麵的時間框架。推薦包括所有2 ww通路,所有患者18歲以上,最低的血細胞計數和生物化學測量可用的隊列中。偶爾的多個推薦同一個病人(例如不同2 ww通路)預計在這個數據集(實例是罕見的,和不模仿任何不同於其他推薦。原則上,而信息重複推薦可以幫助算法,這將使算法難以部署在實踐中,因為它需要可靠的訪問電子醫療記錄,而不是直接連接到實驗室信息管理係統,負責病理實驗室數據流。因此,我們避免在實際理由,暫時。
患者2 ww路徑都包含在開發設置;病人從九2 ww通路LTHT認為本文包含在驗證集。包括所有情況下開發設置的原因是,我們的目標是訓練算法,可以協助pan-cancer診斷,包括癌症病例並沒有被正確的途徑。驗證僅限於這九2 ww通路(占2 ~ 98%的ww推薦在英國),因為剩下的通路,是小得多的沒有足夠的驗證數據提供有用的驗證。患者被排除在分析不滿足這些標準。所有患者隨訪12個月結束後的推薦,或者直到2020年2月。病人驗證集(即從2017年1月開始提到)隻需要2 ww推薦的結果,因此審查的結果的可能性,12個月不影響驗證結果。
結果
算法被訓練來預測患者是否接受癌症診斷。結果標簽來自國際疾病分類(icd - 10)從利茲二級護理癌症臨床診斷代碼數據庫。“癌症”被定義為任何病人診斷為惡性(icd - ' C '代碼)或原位(icd - 10 ' D '碼的合適的子集)腫瘤作為推薦的結果或在隨後的12個月裏的模型發展的目的。診斷的結果緊急轉診被用作驗證分析結果,以匹配預期的臨床設置。良性腫瘤被定義為“不是癌症”。icd - 10編碼的完整列表指定為“癌症”在線補充材料。
預測
每個病人的變量包括全血細胞計數、一係列生物化學測量,一組標準的腫瘤標誌物,加上年齡和性別。所有預測都包括自然規模(即他們不正常或二分)。
回顧性隊列,血液測量使用他們可用的數據庫轉診前90天或14天職位推薦。這樣做是為了尋求一種合理的平衡缺失數據和可能的偏差(例如,如果血液測量是診斷成立後)。例如,冒險使用血液測量超過14天post-referral越來越有可能那些血液可能是臨床醫生下令在回答證實診斷的癌症。在常規臨床使用,所有模型預測將是可用的。
樣本大小
這個工作的協議規定的目標實現陰性預測值(NPV)排除0.99或更高版本的用例。因為NPV低於0.99是不可取的,我們考慮樣本大小,影響對NPV的下半部分95%可信區間。0.05低CI大小,我們一共需要100患者被排除;0.02低CI尺寸我們需要300個病人。實現設計目標的排除率為20%,因此,這將需要大約(100)/(0.2)= 500總情況下每通道0.05低CI大小,或(300)/(0.2)= 1500總情況下每通道0.02低CI的大小。
驗證設置符合上麵的樣本容量標準7 9 2 ww通路的結果。其他兩個途徑(肺和血液病學的)高患病率途徑(見表1和2),所以決定為這兩個途徑還包括結果的95%可信區間提供所有結果表明由於樣本大小的不確定性存在。剩下的(小)2 ww通路作為臨床數據記錄也被認為是(睾丸,大腦中樞神經係統(CNS)、肉瘤,兒童癌症、急性白血病、其他癌症),但是我們沒有開發算法對這些可用的樣本大小被認為太小了模型訓練和驗證有效。
管理缺失的數據
缺失的數據對於這個群體的一個關鍵問題是許多病人沒有在這個時間框架(見血液表1和2)。患者確定了全血計數和最低生物化學數據的子集,這個子集被用來訓練算法。核心算法用一個梯度增加模型包括一個內置的方法將丟失的數據推斷的數據如何處理缺失數據值,通過學習在每一個決策樹節點集合應該分配到哪個部門缺失值。早期作品在模型開發過程表明,適度這個內置的方法優於簡單的歸責方法(在統計意義上),並簡化模型開發的優勢。
病人和公眾參與
多個公共和耐心協商關係一直在進行這項工作,最初通過NIHR-Leeds體外診斷合作利茲(MIC)公共和病人互動/接觸組,擴大到Healthwatch利茲和Healthwatch科克裏斯以及西約克郡和哈羅蓋特癌症患者電池板聯盟和斜麵計劃。多次舉行會議,反饋了測試的臨床使用了這項工作。
統計分析方法
算法的目標是產生一個精確校準的概率預測病人得了癌症。所需的模型類型是一個概率classifier-a模型預測的概率給定病人屬於幾個不同的類別之一。
開發集是用來確定合適的模型和標定方法,並為這些模型調優hyperparameters。方法和hyperparameters比較使用5倍交叉驗證和優化。這是結論和結果驗證之前鎖定。
模型結構選擇使用開發集是一個核心的結合機器學習算法具有良好的預測性能(梯度增加),加上一個校準步驟(多項式回歸,普拉特縮放的修改版本。12選擇梯度增加的務實和統計性能的原因。人們普遍認為相比其他方法表現非常好等結構化數據集使用在本文中,我們觀察到同樣的事情在早期開發工作。梯度增加使用決策樹也能夠直接處理完全不同的輸入變量分布(如腫瘤標記物對血細胞計數)。有幾個很好的Python包可用,實現梯度增加(我們使用XGBoost13LightGBM,14這些包有內置的方法來處理缺失數據。梯度增加也有一個適度的計算負載進行訓練和預測。普拉特擴展是一個標準的校準方法使用邏輯回歸。我們已經修改這個使用多項式邏輯回歸,因為我們發現這給更好的校準性能梯度增強算法的輸出。
結果類工作明顯不平衡,與癌症明顯少於非癌症數據大相徑庭表2)。不平衡類通過upweighting占癌症病人的重要性在梯度增強算法。相同的重量是適用於所有癌症患者,這是調整作為hyperparameter在開發工作(例如,使用交叉驗證發展集)。
之前任何分析變量選擇是基於:成本和相關性,可用性在NHS病理學實驗室和先驗知識從醫學文獻,他們可能會包含一些合理癌症相關的信息。變量選擇在統計意義上(即使用開發數據集)沒有進行梯度增強算法用於這項工作能夠減輕體重較小的任何輸入變量統計重要性(好預測的貢獻)。
驗證集被用來驗證鎖定的算法。這之後沒有變化的算法,結果列在下麵。
表1和2每通道顯示總數的情況下,這些情況下滿足入選標準的數量。表3和4的年齡和性別人口包括患者,途徑和開發/驗證集。
表5顯示了九個緊急轉診路徑測試性能特征用例1(排除)。這裏的目標是成功地識別20%的非癌症患者(0.2)的特異性癌症的風險非常低,這樣的其他可能原因可以考慮他們的症狀,而不是繼續2 ww轉診。
表6展示了用例測試性能特征2(分類),識別患者癌症的風險誰會考慮優先通過緊急轉診路徑。這裏的目標是成功地紅旗癌症病例的90%(0.9)的靈敏度為重點調查。
圖2通過測試,顯示了一個示例的分層與現有的標準治療途徑。在這個例子中,500名患者出現乳房通路,是超載且僅能看到400個病人轉診後2周內。標準的護理途徑是模仿作為內標,所以癌症患者的比例是相同的病人和病人未見。使用測試分層,分層為高危患者,中等風險和低風險組。病人然後在風險在這個例子中,所有的高危患者,一些中等風險的患者。根據分層,更多的癌症患者,患者未見,患癌症比例要小得多。交互式的版本是可用的https://www.pinpointdatascience.com/patient-test-stratification。
討論
總結主要發現
NHS 2 ww途徑主要通過哪些症狀患者在英國評估可能的癌症診斷。這些途徑是非常成功的在幫助有助於早期癌症檢測,但是2 ww推薦的數量在過去的十年裏翻了一番,這已經將主要的診斷服務。這些挑戰已經加劇了當前的COVID-19危機,國民保健服務能力,評估2 ww推薦減少,和積壓的推薦繼續建造。
新的診斷技術有可能發揮作用在解決這一挑戰。本文報告的開發和驗證一組統計機器學習算法基於常規實驗室血液測量可以預測癌症症狀患者的治療結果稱為緊急從初級保健可能的癌症診斷。
每個算法訓練和驗證測試提供決策支持九NHS 2 ww途徑之一。每個測試產生一個校準概率2 ww通路的病人在任何類型的癌症。可以使用這些校準概率在一係列臨床上下文;在本文中,我們考慮兩個主要用例。在例1中,測試是用來排除患者患癌症的風險非常低,讓臨床醫生確定病人來說,調查可能的非癌症的原因他們的症狀可能更適合。在例2中,高風險患者被打上了,這樣以後之旅2 ww通路可以加快。
這項工作的主要結果是,它可以結合一個麵板廣泛使用的血液標記產生有效的血液測試為NHS 2 ww癌症患者。這樣的測試是負擔得起的,可以迅速部署到任何NHS病理學實驗室沒有額外的硬件要求。
的上下文中討論的主要發現
這工作是小說、創新和管理潛在的巨大的重要性為疑似癌症病人迫切。測試是基於一組血常規測量:已經在NHS實驗室常見的使用;工作在一係列癌症;可以很容易地與現有的國民保健服務係統集成。測試已經與Mid-Yorkshire醫院NHS信托實驗室係統集成。
測試可以同時識別病人患癌症的風險更高,這樣他們可以為評估和優先診斷的調查,同時識別很大一部分患者在非常低的風險可能不需要進一步調查疑似癌症。兩組患者受益,從加快測試,或者不接觸醫源性傷害和不必要的癌症的擔憂。測試在不同的閾值可以設置健康狀況不同的癌症,在不同的設置,使其適應當地需求、能力和優先級。COVID-19減少了診斷能力和效率,這個測試可能是一種有效、快速解決危機的這個時候。
一個重要實用的注意的是,2 ww的標準在2015年發生了變化,從5%減少風險閾值需要緊急轉診陽性預測值PPV (PPV)到3%(即在年底前開發隊列時間框架)。驗證結果因此包含這種變化在臨床實踐中,結果顯示一定的魯棒性。
的優勢
這項工作是基於有效的、低成本的臨床分析(見在線補充表S5)已經在NHS病理實驗室的規模。因此,測試可以被部署在英國非常迅速,沒有額外的硬件要求。這些測試是CE標誌和目前在西約克郡和接受服務評價哈羅蓋特癌症聯盟。使用低成本的分析意味著這些測試非常負擔得起的比較典型的平均2 ww轉診成本。15
性能是保守估計由於缺失數據和曆史的本質血液測量;前瞻性評價不會受到這些缺點。甚至個別性能有限的生物標誌物的價值在這種方法中,如果他們提供補充信息。算法的設計是靈活的,允許閾值被改變根據臨床需要,例如,用例2中COVID-19大流行。大量報道,強大的分析和報告符合三腳架和PROBAST。11日16有可能提高性能使用管道的新開發的生物標誌物的診斷,預測或預後的目的。
限製
開發和驗證是隻在一個中心,盡管一個大型區域癌症中心。我們也隻在回顧報告驗證樣本的前瞻性多中心評估需要在模型的generalisability提供信心。
我們注意驗證設置符合定義的樣本容量標準(共1500例)的7 9 2 ww。95%可信區間供所有結果表明由於樣本大小的不確定性存在。剩下的(小)2 ww通路作為臨床數據記錄也被認為是(睾丸,大腦中樞神經係統/肉瘤,兒童癌症、急性白血病、其他癌症),但是我們沒有開發算法對這些可用的樣本大小被認為太小了模型訓練和驗證有效。
有偏見的可能來源,血患者回顧性數據的子集可能並不代表整個2 ww隊列。不同的途徑有不同約定什麼血液測試執行的一部分2 ww轉診。例如,我們注意,男性乳腺癌的比例2 ww推薦入選標準(參見會議表4)相比還是異常高預期途徑作為一個整體。許多乳腺癌途徑具體要求一個血液測試小組由GPs之前2 ww推薦男性(男子女性型乳房的調查),不需要女性推薦,建議偏見。
我們注意到不同的血液測試GPs可能提供的鉛/ 2的一部分ww推薦根據路徑上通常有很大的不同。這可能是一個重要因素在解釋耐心包容的差異率為每一個途徑(見我們看到對於這個工作表1和2)。
選擇使用血液測量前90天,14天postreferral也是一個可能的來源的偏見。大大推薦之前拍攝的血液可以有偏見的,因為如果病人確實有癌症,腫瘤可以較小,甚至沒有任何當時血液檢測管理。和血液postreferral開始運行的風險決定是采取血液測試使用信息時無法獲得推薦。我們選擇這個時間框架作為一個合理的平衡缺失的數據,這些潛在的偏見。我們注意到兩個值(前90天,14天post)期間我們進行了靈敏度分析算法的發展,否則我們多樣的這些參數,重複相同的交叉驗證。這表明的選擇(前90天,14天)是相當穩定的,尤其是,我們沒有看到任何算法性能顯著提升,除非post-referral截止增加過去21天,這表明,源偏見的存在,它不是一個重要因素,14天postreferral截止。
對政策研究和實踐的影響
直到我們進行前瞻性評估算法的性能是不可能預測這將是如何使用的。不過,我們設想的使用工具,作為臨床診斷的一部分,都優先考慮那些在更高水平的風險和de-prioritise最低水平的風險,結合適當的安全防護網。我們還需要充分了解病人的觀點,臨床醫生,委員的可接受性和效用測試。我們注意,每個2 ww途徑是不同的,有自己的挑戰和優先級,以及不同的癌症數據大相徑庭(見,例如,史密斯等17所有這些問題可能需要詳細考慮的關鍵利益相關者pathway-by-pathway基礎上。
2 ww通路是一個有效的和流行的路線在NHS早期癌症診斷。然而,這增加了使用所帶來的壓力和當前COVID-19危機意味著常態不再是一個選項,和英國國民健康保險製度必須適應。新的診斷技術可以成為解決方案的一部分,給臨床醫生更好的工具來診斷病人通過醫療體係和促進適當的開始旅程。
數據可用性聲明
數據將不會提供給別人,是鑒定NHS病人數據。
倫理語句
病人同意出版
倫理批準
數據分析回顧並完全鑒定之前發布的研究團隊。工作下進行服務評價的正式批準利茲教學醫院信任r和數據治理委員會(ref LTHT19020),並明確許可的信任Caldicott監護人。
確認
感謝以下人員和組織他們的貢獻:Emmylou Laird以及克萊爾·埃克特的幫助與這項工作的許多方麵。利茲數據分析研究所,尤其是菲爾·錢伯斯,所有他們在提供安全計算設施的支持。利茲病理學和衛生信息工作人員的教學醫院的信任和Mid-Yorkshire醫院NHS信托對他們的幫助。實驗室團隊來幫助部署到NHS。董事會成員和夥伴組織的利茲利茲個性化醫學和健康中心和學術衛生夥伴關係。NIHR利茲麥克風和CRUK斜麵PPI團體,尤其是皮特磨刀石和瑪格麗特·約翰遜。我們感謝HealthWatch利茲和HealthWatch科克裏斯耐心谘詢論壇。
補充材料
-
補充數據
僅這個web文件已經由英國醫學雜誌出版集團從一個電子文件提供的作者(年代)和沒有對內容進行編輯。
腳注
RS, MM和RDN共同第一作者。
SD和GH的聯合作者。
推特@PinPointDataSci、@richarddneal @PinPoint_Chair
貢獻者RS, MM, RDN, GH,射頻和SD概念化的研究,導致在初始協議開發。GT,射頻、國家安全局、BS和PS對細化資金應用程序和協議。RS、MDN KLL和青年隊,發達的軟件和算法,進行了數據分析和完成了CE標記過程,與臨床輸入從RN, SD, NSh, GH和PS和方法論的輸入b, CJ,毫米。GH提供鑒定數據,協助CJ和射頻。射頻監督項目管理。所有作者貢獻的解釋結果,寫的手稿和批準了最終版本。RS是擔保人。
資金支持方麵的工作已經由MRC附近發現的獎項(MC_PC_17193),當地企業合作(利茲,109550)和英國(33772)創新。RDN、BS、GH和MM是由NIHR利茲體外診斷合作(mic - 2016 - 015)。確定數據科學資助RS數據科學工作和時間的貢獻,MDN, KLL,青年隊,GT, NS和射頻。本研究與不能合作,這是由英國癌症研究中心(C8640 / A23385), RDN的一個副主任,MM是高級教師,和b部分資助。
相互競爭的利益RS、KLL MDN,青年隊,NS和GT是受雇於和股東在精確數據的科學。MM被雇傭為查明數據科學顧問在2020年10月到11月。利茲大學和利茲大學教學醫院的信任有版稅協議與精確數據的科學,這意味著這些機構有可能獲得的經濟效益在確定商業成功。
病人和公眾參與病人和/或公眾參與設計,或行為,或報告,或傳播本研究計劃。是指部分進一步了解細節的方法。
出處和同行評議不是委托;外部同行評議。
補充材料此內容已由作者(年代)。尚未審查由BMJ出版集團有限公司(BMJ)和可能沒有被同行評議。任何意見或建議討論僅代表作者(年代)和不了BMJ的支持。和責任起源於BMJ概不負責任何依賴的內容。內容包括任何翻譯材料,BMJ並不保證翻譯的準確性和可靠性(包括但不限於當地法規、臨床指南,術語,藥物名稱和藥物劑量),和不負責任何錯誤或遺漏引起的翻譯和改編或否則。