你在這裏

  • 家
  • 存檔
  • 問題12卷11日
  • 研究開發和內部驗證設計的影響當訓練預後模型使用美國大型觀察醫療數據的回顧性隊列

條文本

菜單條
衛生信息學
原始研究
研究開發和內部驗證設計的影響當訓練預後模型使用美國大型觀察醫療數據的回顧性隊列
  1. 詹娜M代表1,2,
  2. 帕特裏克·瑞恩1,2,
  3. P R Rijnbeek1,3
  1. 1觀察健康數據科學和信息學社區,紐約,紐約美國
  2. 2流行病學,詹森研發有限責任公司,美國力登,新澤西美國
  3. 3醫學信息學係,伊拉斯謨MC,鹿特丹、荷蘭
  1. 對應到珍娜博士M代表;jreps在}{its.jnj.com

文摘

客觀的的內部驗證預測模型的generalisability旨在量化模型。我們的目標是確定的影響,如果有的話,選擇開發和內部驗證設計的內部性能偏差和模型generalisability大數據(n ~ 500 000)。

設計回顧性隊列。

設置初級和二級保健;三個美國聲稱數據庫。

參與者1 200 769患者醫學治療抑鬱症的第一次出現。

方法我們調查的影響開發/驗證設計在21實際的預測問題。歧視和校準評估模型。我們訓練有素的套索邏輯回歸模型使用美國聲稱內部數據和驗證模型使用八個不同的設計:“沒有測試/驗證設置”,“測試/驗證設置”和交叉驗證三倍,5倍或10倍,沒有一個測試集。然後我們外部驗證每個模型在兩個美國新數據庫。我們估計的內部驗證偏差/設計經驗比較之間的差異估計內部績效和外部績效。

結果模型之間的差異最大的內部估計性能和外部表現為“沒有測試/驗證集的設計。這表明即使大數據“不測試/驗證設置”的設計使模型overfit。七個替代設計包括一些驗證過程選擇hyperparameters和公平估計內部性能測試過程。這些設計有類似的內部性能評估和執行類似的外部驗證時兩個外部數據庫。

結論即使有大數據,重要的是要使用一些驗證過程選擇最優hyperparameters和公平評估內部驗證使用測試集或交叉驗證。

  • 預防醫學
  • 統計數據和研究方法
  • 衛生信息學

數據可用性聲明

數據可能會從第三方獲得,不公開。IBM MarketScan商業索賠,IBM MDCD和IBM MDCR數據支持本研究的發現可以從IBM MarketScan研究數據庫(聯係人:https://www.ibm.com/products/marketscan-research-databases/databases),但限製隻適用於這些數據的可用性,這是下使用許可在當前的研究中,所以沒有公開。

http://creativecommons.org/licenses/by-nc/4.0/

這是一個開放的分布式條依照創作共用署名非商業性(4.0 CC通過數控)許可證,允許別人分發,混音,適應,建立這個工作非商業化,和許可他們的衍生產品在不同的協議,提供了最初的工作是正確地引用,給出合適的信用,任何更改表示,非商業使用。看到的:http://creativecommons.org/licenses/by-nc/4.0/。

http://dx.doi.org/10.1136/bmjopen - 2021 - 050146

來自Altmetric.com的統計

    請求的權限

    如果你想重用任何或所有本文的請使用下麵的鏈接,這將帶你到版權稅計算中心的RightsLink服務。你將能夠獲得快速的價格和即時允許重用內容在許多不同的方式。

    本研究的優點和局限性

    • 我們開發和外部驗證840預測模型使用8種不同的開發/內部驗證設計在21預測問題。

    • 我們專注於一個目標人口大約500 000名患者,並預測各種珍奇的21個不同的結果。

    • 我們發展的影響進行實證分析/內部驗證設計內部歧視估計偏差和模型generalisability大數據。

    背景

    預後模型旨在使用病人的當前醫療狀態,如他的病史和人口統計、計算個性化估計未來醫療事件的風險。如果一個模型可以準確的預測,它可以用來幫助個性化醫療決策。1大觀察醫療數據庫可能提供一種方法來觀察和遵循大高危患者樣本,可以用來開發預測模型。2使用這些數據集時第一步學習預後模型創建標簽數據,可以使用二元分類器。標簽數據包括對每個病人的特性和結果類高危病人樣本。

    二進製分類是一種機器學習的標簽數據是用於學習模型,可以區分兩類(如健康與不健康或將開發癌症vs將是免費的)使用病人特征如年齡、身體質量指數或疾病(也稱為屬性,預測或協變量)。在醫療保健的預後模型,模型使用電流特性的高危病人為病人來預測未來的健康狀態。希望學會使用標簽數據模型從高危人群的樣本將推廣到任何新的危險的人。不幸的是,有時候一個模型不正確的錯誤噪聲樣本的標簽數據模式。這就是所謂的“過度擬合”,導致模型似乎表現得非常好標簽的樣本數據,但應用於新數據時表現更糟。3這意味著該模型使得錯誤的預測可能是危險的。解決過度擬合問題的一種方法在開發一個模型是“堅持”的一些標簽數據當學習伸出的模型,然後對模型數據。這個過程模擬評估模型在新數據,但降低了標簽的大小數據用於學習模型。另外,過度擬合的數量可以被量化的基礎上穩定模型的性能是如何在不同的標簽樣本數據用於開發模型。這個過程被稱為引導。4使用正確的內部驗證設計是很重要的,因為它導致更可靠的性能估計和模型可以評估預後模型。研究表明,引導的方法是最合適的在小數據集(< 10 000名高危患者和< 100功能)5個6但目前還沒有研究的影響與大高危樣本驗證設計數據(n)和許多功能(大p),醫療數據集在增長,增加風險樣本用於模型開發,和見解的研究發現在較小的數據可能不推斷大n和p的數據。研究開發/驗證設計的影響,大數據是必要的,以確保最優的模型正在開發或特定設計的局限性。

    引導是最好的方法相當評估邏輯回歸模型與小數據由於“伸出”數據小,估計是不確定的。在大n和p的數據,訓練模型通常是一個緩慢的過程。先進的機器學習方法,如深度學習需要幾天或幾周訓練。這使得引導方法不合適,因為它需要訓練一個100年代的模型。此外,在大n數據,開發和“伸出”數據都大,這可能克服較小的數據估計的不確定問題。然而,隨著特征數量的增加(p)和更複雜的分類器訓練,過度擬合的機會增加,所以問題可能仍然發生在大數據。分類器往往hyperparameter控製的複雜性。例如,主旨是邏輯回歸模型有一個hyperparameter,增加了成本的特性(或係數的大小)。這使得它們適合學習大p的數據,但最優hyperparameter需要確認。確定最優hyperparameters需要比較hyperparameter性能在某些標簽數據沒有用於開發模型,否則過度擬合可能偏見hyperparameter評估。 This means developing models in big p and big n data requires three data splits: the development data used to train the model, the validation data used to select the optimal hyperparameter and the test data that is held out and used to fairly evaluate the model.

    數據用於開發一個模型越大,就越不可能模型將overfit和更大的“伸出”數據用來評估一個更穩定的性能估計模型。這提示交叉驗證(CV)的想法。簡曆需要把標簽數據分成N個獨立的子集(N次),然後遍曆的子集,子集,開發模型使用N - 1的結合其他數據子集。然後伸出數據集用來評估模型。這導致N性能估計聚合提供一個估計的性能。這提供了一個公平的方式來評估模型,同時增加數據的大小用來開發模型。簡曆通常用於選擇最佳hyperparameters。在大n和p的數據是否使用了數據集的選擇(測試集),是否使用驗證設置或簡曆,折疊使用多少的簡曆。共同設計用於大數據顯示在圖1。

    Possible development and internal validation design strategies for big data. The options include whether to use a test set (hold out some data from development that is used to fairly assess performance) and whether to use cross-validation (where the data are partitioned, and each partition is iteratively held out while the rest of the data are used to develop the model).
    " data-icon-position="" data-hide-link-title="0">圖1
    圖1

    可能的發展和內部驗證為大數據設計策略。選項包括是否使用一個測試集(伸出一些數據從開發用於相當評估性能)和是否使用交叉驗證(數據分區,每個分區迭代地伸出,其餘的數據是用於開發模型)。

    在本文中,我們比較的影響模型開發設計主旨是邏輯回歸在大數據的表現。我們專注於數據與約500 000例,> 86 000特性和調查性能估計21預測問題具有不同的結果事件計數稀薄。我們實現了八個不同的開發設計/預測問題。我們多次重複每個設計不同的分裂(折疊或測試集)來估計如何穩定和無偏估計性能。然後我們調查時的性能設計影響模型的選擇是否外部驗證模型在兩個新的數據庫中。

    方法

    我們使用OHDSI PatientLevelPrediction框架7和R包開發和評估預測模型的研究。

    數據

    我們開發的模型使用一個數據庫,IBM MarketScan商業索賠,包含保險索賠數據為個人參加我們讚助保險的健康計劃。數據包括裁決醫療保險索賠(如住院,門診,門診藥房)以及招生數據從大型雇主和健康計劃提供私人醫療保險的員工,他們的配偶和家屬。這個數據庫中的患者65歲以下。數據庫包含記錄大約1.53億名患者在2000年1月和2019年12月之間。

    模型外部驗證使用:

    1. IBM MarketScan醫療保險補充數據庫(MDCR),美國聲稱數據庫表示衛生服務的退休人員(65歲以上)在美國主要通過私人保險費用或醫療補充保險),point-of-service或定額健康計劃。這些數據包括裁決醫療保險索賠(如住院,門診,門診藥房)。數據庫包含大約從2000年1月至2020年1月1000萬例。

    2. IBM MarketScan多國醫療數據庫(MDCD),數據庫包含裁決我們健康保險索賠對醫療補助計劃參與者來自多個國家。數據庫包括出院診斷,門診診斷和程序,門診藥房索賠以及種族和享受“老年醫保”。數據庫包含大約從2006年1月至2020年1月3100萬例。

    病人和公眾參與

    涉及任何病人。

    研究人群

    我們提取的數據為醫學治療的患者第一次出現抑鬱的預測21結果首次發生抑鬱診斷後1天至365天。開發數據隨機抽樣500名從1 964 494 000例治療抑鬱,這導致一係列事件計數大小在1年隨訪結果。在外部驗證數據,我們使用所有可用的數據,這與160年956名患者在MDCD MDCR和539年813。

    結果

    我們使用相同的21 PatientLevelPredicion框架研究使用的結果。7表1列出了21個結果我們預測發生指數直到365天後指數後1天。結果事件的數量在開發數據和驗證數據也報道。我們預計第一次出現的結果,我們排除了結果前抑鬱症患者,這項研究人口每結果略有不同(例如,當預測急性肝損傷我們排除患者急性肝損傷的曆史但當預測缺血性中風患者我們排除缺血性中風)的曆史。

    把這個表:
    表1

    本研究結果預測和邏輯用於定義數據的結果

    候選人預測

    我們使用一個炎熱的編碼對於任何醫療事件,藥物,手術,觀察或測量記錄前1年內,或,指數(抑鬱症)日期。這意味著我們有一個二進製預測/醫療事件/藥品/程序/觀察/測量記錄任何病人在我們之前1年內發展研究人口指數。例如,如果一個病人的記錄“2型糖尿病”指數,前80天的值預測2型糖尿病1年之前的1。如果病人沒有2型糖尿病記錄,其價值的預測2型糖尿病1年之前的會是0。我們還創建了一個炎熱的編碼變量對於任何醫療事件,藥物,手術,觀察、記錄或測量前30天內,或在索引。此外,我們添加了一個炎熱的編碼變量對年齡在5年組(0 - 4、5 - 9…,95 - 99),指數月(季節性),民族、種族和性別。最後,前30天的訪問數量也用作候選預測。這導致了約86 000個候選預測。在本文中,我們關注的影響研究設計內部驗證評估,因此不存在最後的開發模型。

    模型開發設計

    我們研究開發和內部驗證至少絕對收縮和選擇算子(套索)邏輯回歸模型8使用設計表2。套索邏輯回歸是一個廣義線性模型,添加一個懲罰項處罰僅包含弱相關的預測類標簽。這有效地執行特征選擇在模型訓練和由於使用> 86 000個候選預測是必要的。由於懲罰項,隻有很小的選擇預測最終被包括在最終的模型。這使得模型overfit的可能性較小。罰款金額是hyperparameter訓練模型時需要確定。

    把這個表:
    表2

    在這個研究相比,不同的設計。

    我們比較估計內部驗證開發模型時使用:

    • 沒有測試/驗證設置:hyperparameters,最後使用的所有數據模型和性能決定。這有很高的高估的風險表現,包括最壞的情況。

    • 測試/驗證設置:選擇hyperparameters使用驗證數據,模型是適合使用訓練數據和使用測試集性能估計。這是最快的設計除了沒有測試/驗證集。

    • n次簡曆:簡曆上的所有數據是用來選擇hyperparameters和估計性能。最後一個模型是適合使用的所有數據。

    • 與測試集n次簡曆:簡曆在訓練數據是用來選擇hyperparameters和模型是適合使用的所有訓練數據。使用測試集性能估計。

    總結了設計表2。我們調查的影響,折疊的數目(N是3、5或10)當執行簡曆。所有設計,使用簡曆選擇最優hyperparameters使用相同的hyperparameter網格搜索。測試/火車分裂進行分層的結果,因此,%的人在測試/火車數據與結果是相同的。

    評價模型

    歧視:接收機操作曲線下的麵積(AUROC)和精密召回曲線下的麵積(AUPRC)被用來評估區別的性能(如何排名基於預測風險)。AUROC是測量範圍在0和1之間,與相應值小於0.5的歧視比隨機猜測風險(例如,病人將經曆結果分配風險低於患者不會經驗結果),值為0.5時對應隨機猜測和價值巨大的風險比0.5對應比隨機猜測。AUROC越接近1,歧視就越好。AUROC估計使用N次簡曆我們有N的估計AUROC(每折)。我們用公式計算95%置信區間的意思是- 1.96 * SD N的估計。為測試集AUROC我們計算使用基於Mann-Whitney SD的95%可信區間統計。AUPRC是測量影響的歧視是多麼罕見的結果。它是代表精密曲線下的麵積(病人概率預測的結果在未來將有結果)召回的函數(即sensitivity-proportion病人將經曆的正確預測的結果)。AUPRC也範圍在0和1之間,1代表完美的歧視和0可憐的歧視。然而,一個‘好’AUPRC價值取決於結果比例,這是預測特定的任務。

    校準:測量模型的校準我們計算平均E-statistic。9這個值對應於平均絕對校準誤差(區別觀察到的風險使用黃土功能和預測風險)。一個更小的值表示更好的校準,值為0時表示完美的校準。E-statistic影響結果稀薄,作為一個模型預測一個罕見的結果往往會降低風險,這將導致預測的平均誤差小。

    模型generalisability

    調查一些開發/驗證設計是否更有可能導致模型overfit(導致樂觀的內部性能評估和減少generalisable)我們在兩個數據庫外部驗證了模型。兩個外部數據庫不同於開發數據庫,因此我們預計一些模型的差異歧視和校準,當外部驗證模型。MDCR數據庫包含一個老年人和MDCD數據庫包含患者較低的社會經濟地位。

    盡管我們預計一些不同的內部和外部性能由於數據差異,非常大時減少性能模型是應用外部可能表明該模型overfit。調查,我們計算內部性能之間的差異與外部表現。AUROC / AUPRC歧視的更高的價值度量意味著更好的歧視,所以overfit模型有更高的內部AUROC / AUPRC然後外部AUROC / AUPRC。的區別,內部AUROC / AUPRC-external AUROC / AUPRC,指示了一個模型是否overfit發展數據集,在接近為零或小於零的值表示generalisability優秀模型。E-statistic一個較低的值校準規意味著更好的校準,所以積極的內部E-statistic-external E-statistic值顯示更好的校準外部驗證。

    結果

    開發和驗證研究的特征數量顯示在表3。MDCR數據年長患者並發症多於發展數據。MDCD數據稍微年輕患者,並發症略高於發展數據。性別比例是相似的在數據集~ 70%女性。意味著之前觀察(天數病人之前一直活躍在數據庫索引)> 1200天(> 3年)在所有數據庫。

    把這個表:
    表3

    研究人群的特點

    圖2一個顯示AUROC結果值和95%可信區間設計五聲譽的使用一個測試組內部驗證設計使用簡曆(紅點)和內部驗證或所有數據(藍色點)。行對應使用的折疊的簡曆數量和列對應21個不同的結果。最稀有的結果是在左邊,最常見的是在右邊。性能當簡曆不是用於選擇hyperparameters第一行(沒有簡曆)。在這一行沒有測試/驗證組設計(藍點)沒有驗證或測試集,但“測試/驗證設置”設計(紅點)有一個驗證組選擇hyperparameter和一個測試集。藍點代表AUROC表演設計,所有數據(有或沒有簡曆)用於估計內部性能,紅點代表了AUROC表演設計的一組測試是用來評估內部性能和黑色十字架/淺灰色指針代表每個模型的外部驗證在設計。第一行(沒有簡曆)2 - 4不同於行,我們看到“沒有測試/驗證設計”,挑選hyperparameter和符合模型使用所有相同的數據導致高度overfit模型。AUROC性能不同的結果。一般來說,外部驗證MDCR(黑十字)低於所有內部驗證估計,除了三個結果(性欲減退,禿頭症和甲狀腺功能減退)。外部驗證MDCD(淺灰色指針)顯示外部內部AUROC AUROC波動。內部驗證估計使用一個測試集和簡曆似乎也有類似的結果和外部驗證的表演常常等效設計。 The number of folds used in CV (3, 5 or 10) does not appear to impact the internal or external validation estimates, except for rare outcomes where the CIs are wider. Similar trends were observed when considering the AUPRC and E-statistic, see圖2 b, C。

    The AUROC/AUPRC/E-statistic performance estimates for five repetitions per design per prediction task. The columns represent the prediction task, with the number representing the number of patients with the outcome during the time at-risk. For example, the first column corresponds to a prediction task where 174 patients had the outcome, whereas the last column corresponds to a prediction task where 20 806 patients had the outcome. The rows correspond to whether CV was used by the design (top row does not use CV) or the number of folds (3, 5 or 10). The internal validation performances of the designs that used a test set are coloured in red, and those not using a test set are blue (dots with vertical lines indicating the 95% confidence interval). The external validation performances for a model are the light grey pointers (MDCD) and black crosses (MDCR) that have the same x-coordinate and fall within the same row/column. AUPRC, area under the precision recall curve; AUROC, area under the receiver operating curve; CV, cross-validation; MDCD, Multi-state Medicaid Database; MDCR, Medicare Supplemental Database.
    " data-icon-position="" data-hide-link-title="0">圖2
    圖2

    AUROC / AUPRC / E-statistic性能估計五重複/設計/預測任務。列表示預測任務,代表的數量結果期間高危患者。例如,第一列對應於一個預測任務,174名患者的結果,而最後一列對應於一個預測任務20 806名患者的結果。使用的行對應的簡曆是否設計(上麵一行不使用簡曆)或折疊的數量(3、5或10)。內部驗證性能測試使用的設計,設置顏色為紅色,和那些不使用一個測試集是藍色的(點與垂直線表示95%的置信區間)。模型的外部驗證表演是淺灰色的指針(MDCD)和黑色的十字架(MDCR)有相同的坐標和屬於相同的行/列。AUPRC精密召回曲線下的麵積;AUROC接收機操作曲線下的麵積;簡曆,交叉驗證;MDCD,多國醫療數據庫; MDCR, Medicare Supplemental Database.

    調查一些開發/驗證設計是否更有可能導致內部有識別力的樂觀估計我們計算的區別內部驗證性能和外部驗證MDCD和MDCR對於每個模型的性能。圖3顯示框塊內部績效和外部績效之間的差異在x軸和y軸代表設計用於開發/驗證每個模型。紅盒子情節差異當外部驗證MDCD和藍色盒子裏情節差異在MDCR外部驗證。AUROC, AUPRC E-statistic性能指標差異顯示。結果表明,“沒有測試/驗證設計”導致樂觀AUROC AUPRC,兩個數據庫的差異大。設計也導致更糟糕的外部校準。其他的設計類似的差異分布圖3和類似的表演圖2。

    Box plots showing the internal performance estimate minus the external performance estimate per design and external database. The left side shows the AUROC differences, the centre shows the AUPRC differences, and the right side shows the E-statistic differences. For the AUROC, values near 0 indicate that the internal validation AUROC estimates were accurate as the external validation AUROCs were similar. For AUPRC and AUPRC values less than 0 indicate that the performance was better externally, values greater than 0 indicate the performance is worse externally. For the E-statistic, values less than 0 indicate worse calibration when the models were externally validated. AUPRC, area under the precision recall curve; AUROC, area under the receiver operating curve; CV, cross-validation; MDCD, Multi-state Medicaid Database; MDCR, Medicare Supplemental Database.
    " data-icon-position="" data-hide-link-title="0">圖3
    圖3

    箱形圖顯示內部性能評估-外部性能估計每設計和外部數據庫。左邊顯示了AUROC差異,中心顯示了AUPRC差異,右邊顯示E-statistic差異。AUROC,值0附近表明內部驗證AUROC估計準確的外部驗證AUROCs是相似的。AUPRC和AUPRC值小於0表明,性能更好的外部,值大於0表示外部表現更糟。E-statistic,值小於0顯示校準模型外部驗證時還要糟糕。AUPRC精密召回曲線下的麵積;AUROC接收機操作曲線下的麵積;簡曆,交叉驗證;MDCD,多國醫療數據庫;MDCR、醫療保險補充數據庫。

    這些結果是否一致的不同結果,我們也包括不同分布預測任務分解的結果數不到1000,結果數在1000年和5000年之間和結果數5000或更多,明白了在線補充數據1 - 3)。在所有三個指標差異分布相似。圖2一個結果顯示,當數< 1500,AUROC性能波動每複製所有的設計除了overfit“沒有測試/驗證設置”設計。

    討論

    在小數據,它已經表明,設計用於開發和內部影響內部性能估計偏差模型進行驗證。在這項研究中使用大n(500 000)和p(> 86 000)數據開發套索logistic回歸模型表明,設計的影響微不足道的影響如果一些公平的驗證過程實現選擇最優hyperparameter和一些公平的實現過程估計內部表演。唯一的設計在這項研究中,導致高度偏見內部性能估計是沒有測試/驗證設計導致overfit模型即使大數據。預後的估計性能模型,開發使用沒有測試/驗證設計不能信任,和這個設計應該避免。

    有趣的是,在這項研究中,所使用的折疊的簡曆的數量似乎微不足道的對模型的內部和外部的影響在大數據的表現。這是一個有用的結果,因為增加褶皺的數量使模型開發更複雜,可以減緩模型發展。

    我們取樣500 000年目標從開發數據庫,以減少病人的低價值結果計數範圍在21日的結果。這使我們能夠洞察低結果依靠內部性能的影響估計每設計。結果的數量模型性能的影響。10我們可以看到從圖2分割用於創建數據用於選擇hyperparameter和評估模型影響內部AUROC估計結果數< 1500時穿越值不同的複製。這表明,即使在大數據(n = 5 00 000)和使用一個適當的設計,如果結果是罕見的(< 0.3%)的內部驗證會有一些錯誤。簡曆使用的設計,而不是一個測試集估計內部性能更穩定時,結果是不太常見的。這是有道理的作為測試集堅持數據減少了用於開發模型的數據量,這將對性能產生影響,如果結果數很低。

    AUROC並不影響結果稀薄,所以不同的內部和外部AUROC代表的差異區別的能力模型的發展數據和外部數據庫。AUPRC和E-statistic影響結果稀薄,所以不同的內部和外部表現這些指標是影響結果的差異率在開發數據和外部數據。這就解釋了為什麼AUPRC往往是更大的模型應用到外部數據時。

    本研究的主要優勢是,我們可以研究開發/驗證設計的影響在大量的結果。總的來說,我們調查了8設計沒有測試/驗證設置,測試/驗證集和三倍、5倍、10倍的簡曆有/沒有一個測試集,21個結果和5個重複,導致840年模型的開發(21 8××5)。此外,我們外部驗證這些模型在兩個不同的數據庫。研究人口的百分比經曆每個結果介於~ 0.04% ~ 4%之間,使我們能夠研究開發/驗證設計的影響在大數據結果數大小。

    本研究的局限性包括隻調查模型開發的一個美國聲稱數據和未來的工作將是有用的重複這項研究使用更多的數據,看看結果。同樣的,我們隻使用一個目標人群,患者最初治療抑鬱症,和未來的工作應該調查結果是否在不同的研究群體和結果。最後,我們隻有調查的影響開發設計在開發一個套索邏輯回歸模型。我們的結果可能不適用於所有所有二元分類器。

    結論

    我們的研究是第一個調查的影響模型開發/驗證設計內部歧視/校準估計的準確性和外部驗證性能在使用大數據(n = 500 000)。我們設計相比,使用(1)所有數據來開發和驗證一個模型(沒有測試/驗證設置),(2)一套培訓/測試/驗證(檢驗/驗證集),(3)CV測試集和(4)簡曆隻估計內部歧視表現在21預測問題。結果表明,“沒有測試/驗證設置”設計導致overfitted模型內部歧視估計偏高,但其他的設計能夠限製過度擬合等價。這些結果表明,即使在大數據使用一個貧窮的設計開發套索邏輯回歸模型的準確性會影響內部驗證和模型generalisability妥協。一個有用的設計要求:(1)一個公平的過程選擇任何hyperparameters(如驗證設置或簡曆)和(2)一個公平的過程評價模型內部(例如,一個測試集或簡曆)。

    數據可用性聲明

    數據可能會從第三方獲得,不公開。IBM MarketScan商業索賠,IBM MDCD和IBM MDCR數據支持本研究的發現可以從IBM MarketScan研究數據庫(聯係人:https://www.ibm.com/products/marketscan-research-databases/databases),但限製隻適用於這些數據的可用性,這是下使用許可在當前的研究中,所以沒有公開。

    倫理語句

    病人同意出版

    倫理批準

    使用IBM MarketScan商業索賠,IBM MDCR和IBM MDCD經過新英格蘭的機構審查委員會(IRB),決心被免除廣泛IRB的批準。隻有鑒定數據是如何使用的,和知情同意是不適用的。

    引用

    1. ↵
      1. Steyerberg電子戰,
      2. 衛星KGM,
      3. van der Windt達,等
      。預後研究戰略(進步)3:預後模型研究。科學碩士2013年;10:e1001381。doi: 10.1371 / journal.pmed.1001381pmid:http://www.ncbi.nlm.nih.gov/pubmed/23393430
      OpenUrl CrossRef PubMed
    2. ↵
      1. 戈爾茨坦英航,
      2. 納瓦爾我,
      3. Pencina喬丹,等
      。機遇和挑戰發展與電子健康記錄的風險預測模型數據:係統回顧。J是通知協會2017年;24:198年- - - - - -208年。doi: 10.1093 /地點/ ocw042pmid:http://www.ncbi.nlm.nih.gov/pubmed/27189013
      OpenUrl CrossRef PubMed
    3. ↵
      1. 應X
      。過度擬合的概述及其解決方案。物理學雜誌》:會議係列2019年;1168年:022022年。1742 - 6596/1168/2/022022 doi: 10.1088 /
      OpenUrl CrossRef
    4. ↵
      1. 埃夫隆B,
      2. TibshiraniRJ
      。介紹了引導。CRC的新聞,1994年。
    5. ↵
      1. Steyerberg電子戰,
      2. 哈勒爾菲,
      3. BorsboomGJ,等
      。內部驗證預測模型:一些程序邏輯回歸分析的效率。中國論文2001年;54:774年- - - - - -81年。doi: 10.1016 / s0895 - 4356 (01) 00341 - 9pmid:http://www.ncbi.nlm.nih.gov/pubmed/11470385
      OpenUrl CrossRef PubMed 網絡的科學
    6. ↵
      1. Steyerberg電子戰,
      2. 哈勒爾菲
      。預測模型需要適當的內部,內部和外部驗證。中國論文2016年;69年:245年- - - - - -7。doi: 10.1016 / j.jclinepi.2015.04.005pmid:http://www.ncbi.nlm.nih.gov/pubmed/25981519
      OpenUrl CrossRef PubMed
    7. ↵
      1. 代表JM,
      2. Schuemie喬丹,
      3. Suchard馬,等
      。設計和實現一個標準化的框架來生成和評估患者的立場使用觀察醫療數據預測模型。J是通知協會2018年;25:969年- - - - - -75年。doi: 10.1093 /地點/ ocy032pmid:http://www.ncbi.nlm.nih.gov/pubmed/29718407
      OpenUrl PubMed
    8. ↵
      1. Suchard馬,
      2. 辛普森SE,
      3. Zorych我,等
      。大規模並行連續複雜的廣義線性模型的推理算法。ACM第一版一起反式模型2013年;23:1- - - - - -17。doi: 10.1145/2414416.2414791pmid:http://www.ncbi.nlm.nih.gov/pubmed/25328363
      OpenUrl PubMed
    9. ↵
      1. 哈勒爾菲
      。回歸建模策略:應用線性模型,邏輯回歸和生存分析。紐約,紐約:斯普林格出版社,2001年。
    10. ↵
      1. 約翰韓,
      2. Kors晶澳,
      3. 代表JM
      。我們需要多少數據預測患者的立場?arXiv預印本2020年:2008.07361。

    補充材料

    腳注

    • 貢獻者JMR和公關的概念和設計工作,JMR分析實現。JMR、公關、PRR導致數據的解釋工作,起草、修訂和批準最終的版本。JMR擔保人。

    • 資金這項工作是支持的創新藥物計劃2合營企業(JU)贈款協議沒有806968。JU收到支持歐盟的地平線2020研究和創新計劃和EFPIA。

    • 相互競爭的利益JMR和公關報告和詹森的研發和員工是強生公司的股東。PRR報告從創新藥物計劃撥款,撥款從詹森的研究和開發,在進行這項研究的。

    • 病人和公眾參與病人和/或公眾沒有參與設計,或行為,或報告,或傳播本研究計劃。

    • 出處和同行評議不是委托;外部同行評議。

    • 補充材料此內容已由作者(年代)。尚未審查由BMJ出版集團有限公司(BMJ)和可能沒有被同行評議。任何意見或建議討論僅代表作者(年代)和不了BMJ的支持。和責任起源於BMJ概不負責任何依賴的內容。內容包括任何翻譯材料,BMJ並不保證翻譯的準確性和可靠性(包括但不限於當地法規、臨床指南,術語,藥物名稱和藥物劑量),和不負責任何錯誤或遺漏引起的翻譯和改編或否則。