條文本
PDF
文摘
目標比較英國醫學生的預測效度達到A級成績和老師預計為本科生和研究生水平的結果。老師預計a - level考試成績是一個似是而非的代理teacher-estimated成績,取代了英國2020年考試的結果COVID-19大流行。研究還模型未來的可能影響英國醫學院取代公共a - level考試成績與老師預計成績。
設計縱向觀察研究使用英國醫學教育數據庫數據。
設置英國的醫療教育和培訓。
參與者數據集1:81 202醫學院申請者與預測在2010 - 2018年達到a級成績。數據集2:22 150 18歲的醫學院申請者與預測在2010 - 2014年達到a級成績,其中12評估結果和1340年600年醫學院研究生結果可用。
結果測量本科生和研究生體檢結果與達到和老師預計a - level考試成績。
結果數據集1:老師預計成績準確的48.8%水平,overpredicted在44.7%的情況下,低估了在6.5%的情況下。數據集2:本科生和研究生與老師預計結果顯著相關,達到比a - level考試成績。模型表明,使用teacher-estimated成績而不是取得成績將意味著2020年進入者更有可能underattain與前幾年相比,13%獲得相當於最低性能等分和減少16%達到相當於目前的統計,對研究生培訓連鎖效應。
結論更換達到a級考試成績以teacher-estimated成績結果COVID-19大流行可能導致2020年醫學院的參賽者有低學業成績與前幾年相比。醫學院校可能需要考慮額外的教學為那些掙紮的參賽者或可能需要額外的支持,錯過了a級教學的各個方麵。
- COVID-19
- 醫學教育和培訓
- 教育與培訓(見醫學教育和培訓)
數據可用性聲明
合理的請求數據。研究人員希望re-analyse在這項研究中使用的數據可以通過UKMED申請訪問相同的數據集(www.ukmed.ac.uk)。
這是一個開放的分布式依照創作共用署名4.0條Unported (4.0) CC許可,允許他人複製、分配、混音、轉換和發展這項工作為任何目的,提供了最初的工作是正確地引用,執照的鏈接,並表明是否變化。看到的:https://creativecommons.org/licenses/by/4.0/。
來自Altmetric.com的統計
本研究的優點和局限性
這是第一個比較老師預計的預測效度,達到a級成績在本科生和研究生的表現評估5 - 8年。
英國所有的大樣本大小醫療申請從2010年到2018年提供了足夠的統計能力,和完整的人口數據意味著結果不太可能有偏見。
老師預計的成績是學校所提供的大學應用程序的一部分,並可能形成一個良好的代理“centre-assessment成績”,引入的資格和考試監管辦公室COVID-19危機期間的2020年。
本研究僅與醫學院的申請人,因此generalisability學生在其他大學課程是不確定的;然而,overprediction醫學院申請者的成績我們找到類似的其他地方發現大學申請者。
背景
……考試大廳是一個公平競爭的能力,種族和性別的成績,他們真正努力和真正的匿名(主考官標記不認識你)。(…現在我們)獲得的成績僅僅基於預測。婭斯敏·侯賽因,信《衛報》,2020年3月29日1
(讓我們)老實說,今年集團永遠是不同的…戴夫•湯姆森博客FFT教育實驗室2
一個校長評論說,“大學教師入口估計可能充滿了無法想象的困難”。…如果有在未來相當強調學校評估,一些工作的校準是命令式地呼籲。業詹姆斯蝕刻,1964年12月。3
英國學校關閉了2020年3月20日在回應COVID-19大流行,和關鍵階段5(3級)等公共考試水平和蘇格蘭資格權威(SQA)評估為2020年夏季被取消,取而代之的是一個複雜的係統,涉及教師評估成績的學生將獲得他們的考試。水平和SQA評估,就像其他國家考試在英國,通常設置在匿名標識檢查董事會完全分開的學校,和老師通常沒有參與這個外部評估過程。一個大學水平良好的預測性能4在醫學專門學校。5個6在這種背景下,本文比較成績a - level考試成績與老師預計,特別是考慮它們的相對預測英國醫學院教育成果的有效性。描述的分析最初是在2020年5月,作為預印本出版7雖然事件仍持續和結果還不清楚。本文認為大部分的結構,而主要是期待從2020年開始,也在某種程度上看起來從2021年的角度來看,這意味著過去、現在和未來的時態兼而有之。
2020年4月3日,資格和考試監管辦公室(Ofqual)在英格蘭宣布一個級別,普通中等教育證書(GCSE)和其他在其權限範圍內的考試將會取而代之計算成績的核心,是教師的估計成績,學生將獲得(稱為中心評估成績(cag)),它將由Ofqual使用計算機算法,包括學校的性能之前出席了候選人(詳見成績分段計算)。SQA和其他國家機構也宣布了類似的考試過程。計算不可避免的是,宣布考試成績導致混亂和不確定性的候選人,尤其是那些需要水平或SQA先進更高,因此他們將用於2020名申請者;先進的高將不可用,估計)來滿足條件提供了2020年秋季進入大學。大學還為學生選擇麵臨的一個重大問題,有水平帶走,這是最重要的信息(用於選擇)。8
的一些緊張關係隱含在計算成績很優思明侯賽因在上述報價,一個普通中等教育證書考試的學生在伯明翰,有著明確的強調,當前考試係統的一個重要力量,如普通中等教育證書,類似的水平和資格,是他們的匿名和外部性與陪審員一無所知的學生的標誌。相比之下,實際考試成績達到大廳的替換與侯賽因所說僅僅是預測提出了一大堆問題,至少不被偏見的可能性時,判斷是由教師。
上下文的當前寫作的紙和當時的情況
COVID-19出現以來,在歐洲2020年初,情況一直現在仍然是快速變化的。如前所述,本文最初編寫2020年5月,但修改後再提交給《華爾街日報》,本質上的預印本但有些增加,2020年11月在歐洲的“第二波”,英格蘭,威爾士,蘇格蘭和北愛爾蘭,在另一個國家的封鎖。本文花了近6個月了,被請求修改隻有在2021年5月與英國第三國家封鎖仍未結束。幫助讀者將當前的紙,我們簡要解釋這裏考試的情況在英國從2020年4月至8月,在第一節postscript中提供更多細節在線補充信息。
大學入學選擇在英國在2020年10月開始在秋天,與醫學院申請者提交由10月15日的大學和學院招生服務(UCAS)申請四個醫學院。選擇,其中可能包括麵試和其他評估,通常是在3月底前完成,與學生被告知提供或拒絕。提供通常是水平和其他資格條件是今年5月,8月公布的結果。2020年春天,英國大學進入最後階段的學生的年度學術循環選擇,本文認為使用teacher-estimated成績的潛在的問題,如計算成績Ofqual提出的,而不是通常的方式取得的成績獲得通過考試。2020年5月的預印本流通主要是醫學院招生導師的信息。2020年8月,一些直接影響選擇顯示當監管機構所使用的算法導致許多學生,尤其是那些從曆史上表現欠佳的學校,自己的預期結果向下調整。這迫使蘇格蘭政府,然後再由英格蘭和威爾士政府,要麼接受teacher-estimated cag沒有節製的算法,或者計算成績,哪個是較高的。
如預期在預印本,鑒於teacher-estimated成績被發現是高於成績達到a級,算法的取消導致成績與2019年相比顯著增加(https://ffteducationdatalab.org.uk/2020/08/gcse -和a級-結果- 2020 -成績-有-如何改變————每一個——subject/),直接影響學生的數字會議大學條件提供。長期影響仍有待觀察,可能導致teacher-estimated預測效度較低的成績,和表現不佳可能增加學生在醫學學校和研究生培訓。
醫學院錄取
本文主要集中於醫學院應用程序。英國醫學教育有一係列有用的教育措施,包括招生測試中選擇,結果本科訓練結束時,通過英國醫學教育數據庫(鏈接在一起UKMED,https://www.ukmed.ac.uk/)。UKMED為評估預測效度提供了一個複雜的平台在多個條目軍團在本科生和研究生培訓。9當前報紙還應該閱讀與第二項研究從當前團隊的一些成員評估態度和認知計算成績和其他的變化選擇當前醫學院的申請人在英國醫學申請者隊列研究(UKMACS)。10 11
基本問題在2020年選擇有關的可能性質計算成績和在多大程度上他們會預測結果目前一樣在相同的程度上實際或獲得的成績。討論將涉及實際的成績,然後四種teacher-estimated成績:預測成績(送到UCAS申請大學),cag(2020年由學校Ofqual提交),計算分數(cag調整使用一種算法)和預測a - level考試成績(教師考試委員會提交的2015年以前的質量檢查實際考試成績)。這些相關但不同的評估總結箱1和最後的成績,成績最終接受UCAS,更高的年級或計算中心的評估等級。應該注意的是,我們試圖用老師預計的成績隻參考成績包括正常UCAS過程的一部分,而這個詞teacher-estimated成績在更一般的意義上使用。
a - level考試成績:實際,預測,評估中心,計算,最後,預測和teacher-estimated成績
實際或獲得的成績
考試的成績獲得董事會/授予組織基於書麵和其他設置和明顯的外部評估。通常坐在每年的5月和6月13日嗎,公布的結果8月中旬。
預測成績
老師的估計可能達到等級的候選人,UCAS的提供每年的第一個任期內13,通過10月15日醫療和其他申請人。
中心評估成績
用於計算的成績(進一步)的生產。由考試中心(通常是學校)提供1至2020年6月12日,由teacher-estimated成績和候選人排名在考試中心。
計算成績
最終成績為候選人提供由考試委員會2020年夏季評估,在沒有獲得成績。根據cag,最後計算成績涉及標準化/調整考試委員會使用一種算法。計算成績將地位平等的成績獲得其他年份,應該以這種方式對待大學,學院和雇主(Ofqual)。這些等級通常是稱為“算法的分數”,2020年8月被英國政府放棄了。
最後的成績
UCAS所使用的成績在2020年招生周期——老師估計的更高年級或CAG
預測成績
2015年之前,老師,年5月13日,提供考試委員會的預測可能的候選人的成績以及排名。預測成績因此發生後在學術周期比預期的成績,接近考試實際上是坐的時間。
Teacher-estimated成績
通用的術語在本文中引用的成績估計老師;包括預測成績,中心評估成績,成績和預測計算成績。
計算成績
計算分數的狀態被Ofqual明確表示2020年4月:
成績授予學生有平等的地位其他年份的分數,應該以這種方式對待大學,大學與雇主。結果和證書,成績將以同樣的方式報道前幾年(Ofqual p6)。12
Ofqual的決策支持的部長聲明,因此大學和其他機構別無選擇但遵守它們,盡管這並不意味著其他因素可能不需要考慮在某些情況下,經常發生在申請人沒有達到條件提供的成績。
上述意味著計算成績將相當於常規獲得成績。成績不會實際計算是取得了成績;他們很可能不同於獲得的成績,他們實際上測量的條款不獲得的成績,盡管在行政甚至在法律方麵,通過法令,他們必須被視為等價的。從教育研究的角度來看,關鍵的問題是計算成績會在多大程度上也可以表現在一個相同的方式獲得成績。
2020年4月,Ofqual發布指導如何為候選人提供計算成績來說,考試已經取消了。從本質上講,教師需要對單個候選人中個別科目候選人評估中心(通常是一個學校),來估計等級候選人,然後等級次序候選人在成績,產生cag。統計標準化過程將進行集中使用計算機算法。排名是必要的因為標準化的需要更細粒度的信息比獨自品位的12(28日),大概是為了打破關係在年級邊界發生因為標準化。標準化,生產計算成績,將使用一個算法考慮的典型分布結果,中心主題的前三年,隨著聚合數據中心標準評估測試(sat)和以前的考試成績在普通中等教育證書。(它是標準化的過程,政府推翻了2020年8月抗議後計算成績。)這種方法與Ofqual標準設定的方法是一致的。後Cresswell13,戰認為,在評估變化的時代,也許更一般的,應該有一個從“可比性能”(即criterion-referencing),並有一種“道德約束”使用“可比的結果”(即norm-referencing)最小化優缺點第一組采取一個新的評估,也許也為後來軍團教師改善教學新評估。14
Ofqual說,cag的核心計算成績,”是不一樣的…預測成績提供給UCAS支持大學應用程序的,15(28日)。預測成績特別是由學校提供每年的10月13和cag在每年的5月/ 6月13日,7個月後,當Ofqual說,教師還應該考慮做的功課,根據書籍的研究,作業、模擬考試,以前考試比如水平(隻有少數候選人現在)但應該不包括GCSE成績或任何學生工作在3月20日進行。cag,還是計算grades-CAGs主持的算法完全不同於預測的成績最終是一個實證問題,應負責2020年當UCAS數據可用於醫學院UKMED申請者。與此同時,和這是一個核心和一個合理的假設cag,因此計算成績可能與早期預測成績緊密相關,除了一小部分候選人從2019年10月到2020年3月,有顯著改善。預測成績,已收集了幾十年,應該作為一個合理的代理cag研究方麵,因此計算成績,尤其是在沒有任何其他信息。
理由在選擇使用a - level考試成績
稍稍後退一步,就有必要回顧一下水平存在的原因以及為什麼大學在選擇使用它們。水平評估至少三件事:學科知識、知識能力和責任心等學習習慣。16化學知識和理解,說,可能是必要的高級醫學科學和醫學研究,它提供了基礎,沒有這樣的知識和經驗表明,學生可能有問題。水平還提供證據為擴展學生的知識能力和能力研究在一個較高的水平。水平被視為“黃金標準”資格的嚴格性和客觀性的設置和標記(見,例如,Ofqual可靠性計劃的17)。因此他們的測量可靠的,假設是,他們也是有效的在某些多感官的詞,18 - 20和結果無偏見的。一個關鍵的假設的預測效度未來的結果,或者大學畢業後更高更好的在那些有更高的或更好的水平,預測中兩個學位課程4 21日22尤其是和醫學院的性能。5日23還有一個假設的增量的有效性,一個水平更好的預測比其他措施。6在另一個極端,可能將在概念上與水平,說,僅僅由一個朋友或同事斷言,“哦,是的,他們知道很多化學”。可能都是可靠的,有效的和公正的,因此是一個賤金屬與金標準的水平。連續體上的實證問題因此從黃金到賤金屬謊言計算成績和老師預計成績。
預測效度的問題已經被小計算成績的關係進行了討論,但在一個時代教育的補充調查的教師,有評論的預測和人員評估不會有相同的有效性作為一個考試”,這樣的預測,過去的評估數據和模擬數據是不夠的,而且永遠不會打敗的真實準確性”。24大學選擇的變化不可避免地意味著艱難的政策決定需要由大學和醫學院。即使沒有直接、高質量的證據,政策製定者仍有義務做出決定,,因此認為,必須把理論,相關證據等等。25本文還提供了其他證據的審查和結果預測成績的相關問題,它將被認為有可能表現的方式類似於計算成績。
回顧文獻預測和預測成績
預測成績在大學選擇
英國大學的一個顯著特征是,選擇主要發生在水平或同等資格坐,所以提供了基本條件後獲得的成績。因此,UCAS申請表,自1964年開辦,包括預測成績估計,a - level考試成績的老師一個學生可能會實現。招生導師也使用條件提供其他信息。大多數申請人在英國,13年申請進入大學18歲,將在今年已經16歲的普通中等教育證書11;幾個仍然采取水平12年;一些學生提交一個擴展項目資格(EPQ);和UCAS形式也包含候選人陳述和學校引用。醫學院申請者大多也參加入學考試,如U (K)貓或生物醫學招生測試(BMAT)年初13日,許多人將參加麵試(見的或多個訪問相同的說辭https://www.medschools.ac.uk/studying-medicine/making-an-application/entry-requirements)。
預測成績一直是有爭議的。2019年下議院簡報指出,英國是不尋常的高收入國家中使用預測成績(https://www.bbc.co.uk/news/education - 44525719,並表示
使用預測成績對大學招生已經質疑了很長一段時間。許多批評者認為,預測成績不應該用於大學入口因為他們不夠準確,有人建議,特別是弱勢群體學生失去在這個係統。26(第四頁)
也有人認為,作為“偏見”,“a - level考試成績顯然是一門不精確的科學預測”27(帕斯)。有重複建議多年來,還沒有一個成功,預測成績應該取代postqualification應用係統。正如尼克希爾曼所說,
我們係統的古怪與其說是人們應用之前接收他們的結果;奇怪的是,巨大的重量放在預測成績,這是出了名的不可靠。…PQA可以解決這個…(https://www.hepi.ac.uk/2019/08/14/pqa-just-what-does-it-mean/)。
預測係統的成績確實很奇怪,而且奇怪的是稀疏的學術研究預測成績。最重要的問題,似乎幾乎從不問,當然也不回答,基本是一個預測的成績還是實際成績更好的預測結果。Petch,3在他1964年的論文,這是第一個認真的討論這個問題,認為預測和實際成績可能是完全不同的,也許是互補的,而不是矛盾的(29頁),一個是關於學術態度和其他考試能力,主要是因為“學校知道候選人作為一個學生,知識無法獲得考官的。業的蝕刻,零相關或完美的預測和實際成績之間的相關性問題,後者也許暗示實際成績被視為冗餘(六年級)。
Ofqual的計算成績的出現,實際上預測成績由教師以一種稍微不同的方式,意味著有一個嚴重的需要知道如何有效的預測2020年成績可能代替達到a級成績,和同樣的問題將在2021年,Ofqual teacher-estimated等級實施不同的模型(https://www.gov.uk/government/publications/awarding -學曆-夏天2021/awarding資格的——在夏天- 2021)。實際上是老師預計成績出了名的不可靠,隻是預測,或者他們有相同的預測效度達到分數?
研究文獻預測成績
第一節的一部分在線補充信息本文,我們有一個更詳細的概述的研究預測成績。在這裏,我們隻會提供一個簡要的評論。
大多數研究看看預測個體層麵的考試科目,這從E水平分級,從2010年開始,從E *。最豐富的數據顯示所有的組合預測的成績取得的成績,和圖1醫學院申請者給出一個示例。然而,許多評論家隻看overpredictions(樂觀)和underpredictions(“悲觀”)。圖2從五個大學申請者的研究總結數據。準確的預測發生在52%的情況下,當一個最大的年級和17% *時最大的年級(和更多的分類精度可能會更低)。成績大多overpredicted,在2010年前42%的病例和73%的2010後,以前underprediction罕見病例的7% - 2010%,10%的2010後。大量的研究報道,underprediction是更常見的在低社會經濟群體,非白人申請者,申請者從公立學校或進一步的教育。28 - 30一個統計問題意味著這種差異並不容易解釋,作為一個學生預測*不可低估,因此低估必然會更頻繁的在實現組織總體水平較低。這一問題進行了探討和分析在第五節的長度在線補充信息與申請者來自私營部門的學校。
預測和達到a級等級個體受試者在英國申請醫學院。準確的預測是粗體;黃色表示偏高於一年級;橙色表示高估了2 +的成績;綠色表示低估一個年級;藍色表示低估2 +的成績。(一)計數和(B)獲得的成績百分比在預測成績。
高估,低估了在各種研究的成績和準確的預測。黑色字體:預測成績;紅色字體:預測成績;黃色背景:2000年以前;藍色背景:2010年以前;大膽的,強調:2000年後的平均結果。
一些研究還認為成績預測,為三年級成績最好的總和達到主題,得分* = 12,= 10,B = 8,等等。(在一些研究的得分* = 6 = 5,B = 4。12、10、8…得分水平,介紹了加權半級,可能得分= 5,B = 4等(因為沒有*年級的等級)。對於大多數用途* = 12,= 10…相當於在各方麵為* = 6 = 5,等等,除了一個比例因子)。特別是,UCAS的大型研究31日表明申請者“丟失他們的預測”(即他們overpredicted)傾向於預測成績較低;降低GCSE成績;更有可能采取了物理、化學、生物學和心理學;和來自弱勢領域。在某種程度上,應用相同的統計問題的解釋與分析個體層麵的考試科目。許多年來,UCAS分數隻提供預測,包括多樣的數據分析如下。
預測成績是什麼,他們是怎麼做成的呢?
UCAS說,預測成績的年級資格申請人的學校或學院相信他們可能實現積極的環境”(https://www.ucas.com/advisers/managing-applications/predicted-grades-what-you-need-know,2020年4月13日)訪問。後來,文檔說預測的成績應該在申請者的最佳利益學院或大學,成就和成功是最終目標”和“夢寐以求但可以實現的——延伸預測成績對學生動機,高不可攀預測成績不是“在原始(重點)。預測成績應該是專業的判斷和數據驅動,包括使用“過去的2級和3級性能,和/或內部考試通知…預測”。
很少有實證研究問老師估計成績,沒有多大進展業自1964年蝕刻說,“似乎知之甚少而采取的措施,學校規範的評價學生3(28日)。兩個重要的例外是研究兒童和威爾遜322015年,吉爾332018年5月,隻有後者出版。吉爾派問卷選擇牛津、劍橋和皇家藝術協會的考試委員會考試中心有關化學、英語文學和心理學考試。老師說最重要的信息用於在模擬考試預測成績表現,觀察的工作質量和承諾,口頭報告,其他老師的意見在同一主題在其他科目,和部門的負責人。一些老師擔憂缺乏高賭注的模擬考試,這意味著一些學生沒有認真對待他們。平坦的成績是一個重要的援助進行預測,有損失的擔憂的水平來幫助預測,也提到在其他地方,34這是有關2020年大多數候選人將不作為的水平。
研究認為到目前為止幾乎完全關心老師預測的a - level考試成績,因為它們是重要的大學錄取。更普遍的是,研究更廣泛的老師估計,往往在年輕孩子,找到一個傾向於高估一係列技能,35判斷常常被係統地降低被邊緣化的學習者。36一個不同的位置在一個基因告訴雙胞胎的研究中,這意味著,在一份措辭強烈的結論,這的老師能可靠和有效監控學生的進步,能力和傾向。…由於這些原因,我們建議老師評估可以取代一些或全部,高風險的考試”。37然而,這項研究隻使用關聯精度的措施,不能評估高估或低估。同時,教師評級隻有7歲,11和14日的同時進行標準化測試,但沒有用於16歲的普通中等教育證書,或18歲和大學入學水平,和同樣不是信息為本研究的目的。
預測成績在其他關鍵階段5資格水平
幾乎所有的研究預測成績都認為是一個水平,偶爾有幾個例外看普通中等教育證書。我們知道沒有研究的EPQ在英格蘭,蘇格蘭高和先進的高,或任何其他條件。第三節的在線補充信息包括數據EPQ和SQA考試。
預測成績
直到2015年,教師在5月13學年授予組織提供了預測成績,這些預測在一定程度上導致了成績的質量控製董事會。因為預測成績預測的成績是5到7個月後,和接近考試的日期,他們可能會比預計的更精確的成績,是基於更好的和最近的信息。預測成績是很重要的,因為他們比預測更相似的成績提出了計算成績的計算方式,並指出,“他們可能會有所不同從預測成績送到UCAS大學申請過程的一部分。38為候選人三個正式的分析,在2009年,392012年40到2014年,38和其他四個研究從1940年開始,411963年,31977年42和2018年33也可以,2000年的一項研究之前介紹了*成績和三個之後(圖2)。Petch41還提供了一個早期的描述預測成績,看教師通過或失敗的預言在1940年學校證書考試,overprediction也顯示清楚。
預測a - level考試成績是相似的預測精度等級2010年以前(42% vs 52%),但不太準確的post - 2010 (47% vs 17%),部分原因在於預測精度下降成績*成績時是可用的。盡管存在沒有抱負的動機原因老師overpredict預測成績,特別是在1977年和2018年的研究中,overprediction不過仍然是頻繁與預測成績(pre - 2010: 39%, 2010後:37%),仍然比underprediction更常見(pre - 2010: 20%, 2010年16%)。總的來說,也許可能計算成績可能比預測更準確的成績,但是成績預測廣泛出現在他們的行為預測的成績。兩套預測成績可供普通中等教育證書,43 44他們顯示類似比例的overprediction underprediction一樣結果的水平。Overprediction似乎是所有預測的老師的一個特性。
三個非官方預測的研究成績也要求教師等級次序候選人,這一過程是包含在計算成績。1963年的數據3找到一個值的相關性和考試成績在學校排名為0.78,1977年的數據42相關性為0.6642以及最近的2018年的數據33約0.82的相關性。三個估計(平均r = 0.75)比整合稍高的估計為0.63 (SE = 0.03)教師能力預測學業成績。45
吉爾研究33也感興趣的一個老師評論的困難提供排名260名學生坐在一個考試,和作者指出,“這是小中心更容易做出預測,因為他們知道個別學生更好的(p.42),它也被反應問卷的情況更有可能來自小中心。1963年的研究業的蝕刻,3以及評論的相當大的分歧…在評估的方法(p.27),如變量的模擬考試的重視程度,也補充說,一些學校的評論暗示,有時可能會有道德因素潛伏的估計”(p.28)。
總的來說,似乎可能但不計算成績可能比預計的更準確的成績,但他們也明確顯示的問題教師排名和評分的候選人。可能還考察董事會擁有更廣泛的和未發表的數據預測成績,他們打算使用在評估可能的效果計算成績。
申請人醫學院
到目前為止,綜述部分對大學申請者已經完全在所有科目和整個範圍的a - level考試成績。隻有少數研究看著預測在醫學院的成績申請。
Lumb和維爾強調老師預計成績的重要性,因為他們決定在很大程度上名單如何發生。461995年的一項研究,申請者,他們發現52%的預測是準確的;被高估了41%;和被低估了7%,46值非常類似報道在大學選擇(圖2)。
之一,目前的研究團隊使用路徑模型來評估因果GCSE成績的相互關係,預測成績,收到報價後,達到A級成績在醫學院和驗收。47預測成績相關GCSE成績(β= 0.89),和達到a級成績預測的GCSE成績(β= 0.44)和預測的a - level考試成績(β= 0.74)。研究支持聲稱教師很可能是使用普通中等教育考試中的成績提供一部分預測成績,這可能是不合理,考慮到明顯的相關性。
理查森等,48在一個重要和看似獨特的研究中,看著預測的相對預測效度,而達到a級成績。使用綜合臨床表現的結果,他們發現,有一個最小以預測成績相關性(r = 0.024)與相關性為0.318 (p < 0.001),達到a級成績。據我們所知,這是唯一的任何形式的研究評估預測的預測效度與達到a級成績。
本研究
雖然計算成績的小說和未經檢驗的細節,預計成績已經存在了半個世紀,,還有一個小文獻預測成績。本文將試圖回答關於預測成績的幾個經驗問題,數據在UKMED現在可用。預測成績將被使用,越來越站得住腳,推斷可能的結果使用計算成績。
經驗需要解決的問題
預測和獲得之間的關係在醫學院的成績申請
一些先前的研究詳細地看著這個高水平組學生。我們還將提供簡短的結果在蘇格蘭高和先進的高,和EPQ,既不討論其他國家對我們的知識。
預測效度的預測成績相比,獲得的成績
關於計算成績的基本問題是老師預計的成績是好是壞在預測結果比實際的A - level考試成績。預計的成績和實際成績之間的關係不能回答這個問題。相反,重要的是相對的性能預測和實際成績預測後續結果的本科或研究生的訓練。隻有相對較小的研究在醫學生這我們都知道48發現隻有實際成績預測效度。
方法
這裏提供的方法是短暫的。更全麵的描述包括一個詳細的表的措施可以發現在第二節在線補充信息。總的來說,這個項目UKMEDP112,UKMED批準的研究小組在2020年5月,數據來自兩個獨立但UKMED相關項目,包括預測的成績。
項目UKMEDP089,“英國醫學申請人隊列研究:應用程序和結果研究”,批準了2018年12月7日,與凱瑟琳·伍爾夫作為首席研究員,教授是一個持續的分析醫學生選擇作為UKMACS的一部分(https://ukmacs.wordpress.com/)。2020年1月21日的數據上傳包括來自UCAS的詳細信息和高等教育統計局有限(HESA)申請從2007年到2018年。
項目UKMEDP051比較BMAT的屬性,GAMSAT和UKCAT”, 2017年9月25日批準,與保羅教授午餐作為首席研究員,是一個持續的預測效度的分析入學考試和其他選擇方法如水平和中等教育考試與本科和研究生水平。目前的分析使用了下載文件日期為2019年5月13日(UKCAT51_APP_ALL_DATA_13052019_FILE1。幹臘腸和UKCAT51_APP_ALL_DATA_13052019_FILE2.SAV)。UCAS數據包括,盡管目前的分析開始時,文件還沒有包括在UKMEDP089 subject-level詳細信息。(一個上傳多樣的2020年4月20日,但不包括在當前分析。)廣泛多樣的數據集的結果數據,特別是本科發展數據包括,如UKFPO教育績效測量(EPM)和態勢判斷測試(SJT)和處方安全評估(PSA),以及表現在一些研究生考試(加入皇家醫師學院(MRCP檢查)第1部分和加入皇家外科學院(mrc)部分)。
數據來源同上,因此UKMED報告需要使用他們的舍入和抑製標準(https://www.hesa.ac.uk/about/regulation/data-protection/rounding-and-suppression-anonymise-statistics),這些標準被用於所有UKMED數據。特別是,存在零個或一個百分比的缺席可能並不總是意味著沒有個體細胞的表,和所有整數四舍五入為最接近的5。
結果
更全麵的描述可以在第三節的結果在線補充信息。
預測和實際之間的關係在醫學院的成績申請
預計的和實際的a - level為個體a - level考試成績
圖1顯示了預測之間的關係,達到A級考試成績為237 030從2010年到2018年(即評估包括*結果)。預測成績,39.3%是*而獲得成績的23.7%。圖1一個顯示預測成績與取得的成績,對準確預測,粗體underprediction綠色和藍色陰影,overprediction橙色和紅色的陰影。總體而言,48.8%的成績預測是準確的,這是高於大學應用(見圖2),反映了高比例的A和A * (69%)。Overprediction發生在44.7%的情況下,和underprediction發生在6.5%的病例。圖1 b顯示了數據為百分比。半*預測結果的獲得一個年級,和超過三分之一的預測成績導致B級或更低。預測和獲得的成績皮爾遜相關性(r = 0.63。
學科之間的差異
幾乎沒有在文獻中對不同學科的程度可能有所不同在他們的預測的準確性,可能與不同程度的偏見或相關性。在第三節的詳細結果在線補充信息。總的來說,生物學、化學、數學和物理非常相似的overprediction以實際成績和關聯。然而,一般的研究尤其高估了與其他科目相比。
預測的可靠性,達到a級成績
考慮最好的三a級成績,總分的可靠性可以從個人的相關性計算科目。66年006名候選人至少有三個配對預測和實際成績,克倫巴赫α為0.827的實際成績0.786,預測成績,有高度顯著性差異。可能在一定程度上反映了更高比例的區別*成績的預測比實際的成績,因此更大的天花板效應,但是也反映了更大的測量精度在標記的實際水平。
達到a級成績有多可靠?
達到a級成績,像任何行為測量,不完全可靠的,在這個意義上,如果一個候選人了並行測試包含等價但不同的物品,這是極不可能的,他們將得到完全相同的馬克第一次嚐試。舉例來說,他們可能會一直幸運或不幸的在他們的第一次嚐試,被問到問題的話題他們研究或者修訂更少(或修訂),等等。可靠性是一個技術主題(見https://www.gov.uk/government/publications/reliability-of-assessment-compendium發布的一係列重要文件委托和Ofqual)有許多不同的方法。49個50連續測量的原始分數,可靠性可以表示為一個係數,如α(在2011年的一個a - level數學考試,α為完整的測試是0.97,51盡管建議值是異常高)。董事會雖然不報告原始分數,而是獎勵等級規模等*大腸的分類精度等級是難以估計,用更少的年級大點,更廣泛的年級間隔和廣泛的候選人的能力。51似乎有一些發表的分類精度估計的水平,盡管他們確實存在普通中等教育證書和修。51
估計目前的分類精度high-attaining群醫學院申請者並不容易。任何申請人的基本限製,預測成績不可能預測實際成績比獲得成績預測自己(的可靠性或分類精度)。不過,考慮到相關的三個最佳預測和實際成績,目前這種限製已經不太可能。實際與預測的相關成績是0.585,和0.827的alpha可靠性實際成績為0.786,預測成績(見以前的討論)。因此disattenuated相關性預測和實際成績0.585 /(√(0.827×0.786)= 0.726,大大小於1,以預測成績隻占一半的真實方差出現在實際成績。如果disattenuated相關性接近1,那麼它可能是認為預測成績所做的以及他們可能做的,鑒於取得的成績並不完全可靠,但這顯然是遠。
真正的實際分數和分數
從理論、心理的角度來看,可以認為它既不實際也不預測成績為申請者需要估計,但其“真正的得分能力”,或“潛在的分數”,使用技術表達式,預測和實際成績但不完美的估計。在一個理想的世界裏,就這樣,一個良好的考試試圖得到盡可能接近真實的成績。然而,它是不可能知道真正的成績(如果它是董事會將提供選擇器與分數)。選擇本身不真實的成績但實際工作成績寫下來的老師預測的成績和分數在考試成績證書由董事會。它們的貨幣交易時進行選擇,以便預測成績低於一定水平意味著候選人不會得到一個條件,也同樣低實際成績意味著候選人持有有條件的報價將被拒絕。出於這個原因,它不是嚴格意義上的預測和實際成績的相關性問題,這兩個指標被視為對稱的,但遠期預測實際成績的預測成績,也就是說,實際的成績取決於預測成績(如所示圖1 b)。
預測效度的預測,在醫學生的成績達到a級
在UKMEDP051預測效度
這裏使用的版本多樣的數據完全由申請人申請醫學院,但是也有後續的本科生和研究生培訓。UCAS應用程序預測a - level考試成績隻有2010 - 2014年的周期(即申請進入大學2009年10月,2010/11學年,等等),包括一個在4-36範圍分,基於三之和最高預測分數,得分* 12 =,= 10等。38 965名申請者的模態分數為30(相當於AAA級;意味著= 31.17;SD = 3.58;值= 32;5日,25日,第75和第95百分位數= 26日,30日,34和36)。為簡單起見,這項研究僅限於申請人今年18歲的應用預測和達到的水平,這也確保了樣品隻包含第一次申請不需要大學文憑課程,從候選人沒有pre - 2010 A級,當一個*成績並不可用。總的來說,22 955申請者進行了研究。其他措施包括選擇普通中等教育證書(意味著最好的八年級的成績),以及U (K)貓BMAT分數,根據最近嚐試的情況下也第一次嚐試。為簡單起見,我們使用了四部分的得分的U (K)貓,和總截麵1和2為BMAT分數。
後續的複雜應用程序隊列進入醫學院在不同年份和分散時間通過醫學院和培訓。圖3使用一個Ibry圖表52-55顯示典型的18歲的醫學院的教育發展進入者,到研究生資格。然而,有許多變體這一主題。橫軸表示學術年(September-August)和培訓(August-July),職業階段,關鍵事件和措施用在縱軸上,用彩色的盒子顯示典型的學生,盡管有許多變體條目和進展。藍色的框顯示典型的學生5年進入醫學院的課程在2010年10月18歲。他們會采取普通中等教育證書2008年6月在學校11年,在2007/2008學年,有些會作為2009年6月的水平。申請人將在13學年已經能力傾向測試,大多數采取U (K)貓或BMAT但一些測試。U (K)貓會被2009年7月和9月至2009年11月BMAT。10月UCAS應用程序提交,與教師提供teacher-estimated成績。注意,U (K)貓結果已知UCAS應用程序之前,但是BMAT結果是未知的,直到應用程序。水平是在2010年5月- 6月,結果在2010年8月,2010年10月成功申請者進入醫學院。 Students on a 5-year course would start the second medical school year in October 2011, the third and fourth years in 2012 and 2013, and during their final year beginning in October 2014, they would take the SJT and PSA tests and be awarded an EPM score, with graduation in May 2015. The first of the two foundation years starts in August 2015, and core or specialist training begins in August 2017. Medical students at some schools take an optional or a compulsory intercalated BSc (iBSc) between years 2 and 3. As a result, they are then a year later in progressing to the later stages and are shown by the green boxes in圖3。雖然年大致分為基礎醫學和臨床階段,一些醫學院校課程更加綜合。56
一個Ibry圖表說明2010 - 2014年醫學院的發展進入軍團通過中學教育,應用醫學院,本科和研究生培訓,與關鍵事件的時間。看到文本為進一步的細節。ALEV水平;EPM,教育工作指標;mrc加入皇家外科學院;PSA,處方安全評估;SJT、態勢判斷測試。
上述描述了18歲進入2010年進入隊列。目前的研究包括2010 - 2014年進入軍團(如圖所示的固體左下的黑盒圖3)。為簡單起見,最後的軍團是唯一的另一個,2014名參賽者在紅框顯示發展的5年課程和橙色6年的課程包括一個iBSc。應該反複強調的是,所有的職業生涯軌跡都是理想化的,在現實中,學生和醫生有多種多樣的訓練軌跡。
數據直到2018學年,年後,因此顯示灰色圖3。盡管所有軍團數據了EPM、SJT和PSA,後來進入軍團不太可能研究生資格。
本科結果措施為簡單起見限製的十分位數UKFPO EPM, UKFPO SJT和原始分數的分數相對於通過PSA的標誌,首次嚐試。醫生相對較少,大多來自早期的軍團,已經發展到研究生評估,但足夠數量分析在場MRCP檢查(英國)第1部分和mrc的一部分,在第一次嚐試與成績分析。應該注意的是,雖然U (K)貓,BMAT、PSA、SJT和研究生評估全國標準化,EPM十分位數是本地標準化在醫學院校。
按照項目是一個複雜的測量總結學術進展通過的第一個4年醫學院與個別醫學院決定什麼樣的措施包括,57和表示十分位數在每個學校和畢業群組。這裏使用EPM作為主要本科測量結果。EPM十分位數是令人困惑,因為UKFPO分數他們傳統的反向順序,第一等分最高的性能和第十最低的(https://foundationprogramme.nhs.uk/wp content/uploads/sites/2/2019/11/ukfp - 2020 epm -框架-最終- 1. - pdf)。在這裏,為了便於解釋,我們在我們稱之為反向計分revDecile,所以更高的分數表明更高的性能。我們還應該記住,十分位數不平等等距量表(圖4)。
意味著教育績效衡量revDeciles (95% CI)與實際的a - level考試成績(綠色)和預測的a - level考試成績(紅色)。
總結了措施之間的相互關係圖5。大型Ns的差異反映了一些措施在申請使用選擇和其他措施,結果隻是出現在進入者,以及小數量的醫生已經發展到研究生的評估。區別是強調相關性矩陣劃分成三個獨立的部分。相關性的必然選擇和結果測量顯示範圍限製因為候選人被選擇的基礎上選擇措施,和同樣的醫生參加研究生考試可能是自我選擇的早些時候檢查性能。
相關矩陣的選擇措施,本科生結果措施和研究生結果措施(由灰色線清晰)。細胞顯示簡單的皮爾遜相關性(R,藍色),construct-level預測效度(rtPA,紅色)和樣本大小(N,黑色)。EPM,教育工作指標;MRCP檢查,皇家醫師學院的成員;mrc加入皇家外科學院;PSA,處方安全評估;SJT、態勢判斷測試。
圖5有很多感興趣的(見第三節的在線補充信息最重要的問題),但是現在的目的是預測的程度和達到a級的成績(粉紅色和綠色所示圖5)有不同的五項措施,結果預測記住本科選擇結果通常是5或6年之後,和研究生結果7或8年之後的選擇。
達到一個水平預測EPM用一個簡單的皮爾森相關(r = 0.297相比,隻有0.198的相關預測成績(簡單的相關性,r,則顯示為藍色圖5)。N為這些相關性,因此區別很大,使用測試相關的相關性58是非常重要的(Z = 12.6, p < 10−33)。多元回歸(見第三節的在線補充信息)表明,預測成績可能有少量的預測方差不與獲得一個共享的水平。圖4顯示意味著EPM revDecile成績與實際和預測水平。直線的斜率明顯減少預測的水平,顯示不太好預測。同樣清楚的是,獲得成績預測,與* * *進入者平均得分兩個十分位數較高的課程比AAA等級,每個額外的年級平均提高性能通過大約三分之二的等分。相比之下,斜率是減少預測成績,每預測略低於半等分a - level考試成績。廣泛模式的結果是類似的其他本科結果,SJT和PSA的第三節所示在線補充信息。
兩個研究生的結果的措施,MRCP檢查(英國)考試第1部分和mrc的一部分,盡管基於小但仍然大量的醫生,與實際成績關聯仍然重要,更與MRCP檢查(英國)第1部分(r = 0.421)比預測的成績(r = 0.283;Z = 4.54, p = 0.000055)。同樣,實際成績關聯更高度mrc部分(r = 0.421)比預測的成績(r = 0.358;Z = 3.67, p = 0.000238)。
簡單的相關性(r)圖5不可避免的範圍限製為a - level考試成績和預測的a - level考試成績本身也被用作選擇過程的一部分。考慮到範圍限製使用獵人的方法等6 59(參見橫笛等60),用uX預測中,SD的比例不受限製的和受限製的人口,值小於1表明更多的範圍限製。圖5顯示uX(用戶體驗)底部的列,可以看到,它是實際的a - level考試成績遠低於預測的a - level考試成績,這表明實際成績更重要比預計的成績選擇過程。Construct-level預測效度(CLPV)6可以計算,考慮到可靠性的措施,使用0.827達到一個水平0.785,預測水平(見前),與所有其他可靠性設定在0.9沒有更好的估計。注意,計算,不像之前進行,6為簡單起見不考慮審查/上限的影響水平,和更全麵的分析將在別處。CLPV,ρTPa(如圖所示的rTPa圖5),考慮到更大的範圍限製,相對實際的a - level考試成績高於預測的a - level考試成績。CLPV預測EPM為實際的a - level考試成績是0.403與0.251相比,預測的a - level考試成績。預測研究生資格,CLPV MRCP檢查(英國)第1部分和mrc部分是獲得A級成績0.601和0.519與0.360和0.216相比,分別為預測的A - level考試成績。
有建議,預測成績可能不是等價的候選人從公立學校和私立學校,私立學校成績預測更準確。28 29這是第五節的看著在線補充信息,雖然有明確的證據,發現UKCAT-12研究之前,61年私立學校參賽者表現相對於預期基於他們的水平,沒有證據表明預測成績表現不同候選人的私立學校。
實際問題相關計算成績擔憂的程度,在沒有達到A級成績,其他選擇措施如普通中等教育證書,U (K)貓BMAT可以替代的預測方差達到A級成績。將考慮按照樣品尺寸大的地方。取得成績僅給r = 0.297,預測成績僅為r = 0.198,占不到一半的結果差異。普通中等教育證書添加到一個回歸模型包括預測成績增加多個R 0.225,也包括U (K)貓和BMAT增加至0.231,盡管仍大大低於0.297僅達到a級。沒有達到A級成績,預測是提高了包括普通中等教育證書和U (K)貓或BMAT,但仍低於預測的實際水平。
造型的影響隻預測成績可供選擇
在2020年大流行的背景下,一個重要的問題是未來結果的程度可能會改變結果的選擇計算成績。計算成績自己當時不知道的研究中,但預計成績可能是一個合理的代理在第一個實例。造型練習因此開展的學生數量不同EPM revDeciles列表與預測在5年級的成績,36分≡一個* * *,34分≡一個* *,32分≡* AA, 30分≡AAA,≤28分≡≤藝術展,與每一等分發現的概率為每個預測A級樂隊。假設選擇結果一般的進入者數量與等級的一個* * *,一個* *,等等,但基於計算的成績而不是實際的成績,學生的預期數字的各種EPM可以找到十分位數。圖6顯示十分位數作為標準UKFPO十分位數(1 =最高),UKFPO得分最高(43 =)和revDeciles(10 =最高)。藍色列顯示的實際比例十分位數基於達到a級成績。注意,由於種種原因,沒有完全相等的比例在10十分位數。(在某種程度上,這反映了一個事實,一些學生,尤其是弱的,給出一個EPM得分,但是總決賽失敗。)基於選擇達到a級成績,有7.2%的學生成績偏差等分,與預期相比,選擇預測成績的比例為8.1%,增加0.9%的百分比,這是一個相對增加13.0%的比例最低的等分,OR為1.141獲得最低的等分。最高分的等分,實際的a - level考試成績的比例從10.1%降低到8.8%,如果預測的a - level考試成績,絕對減少1.4%和13.4%的相對下降的十分位數,或0.853。
預測等分結果如果選擇在預計的a - level考試成績(藍色),而不是實際的a - level考試成績(橙色)。
當然,上述的計算是基於假設的十分位數計算分數的表達與目前相同的標準。結果是restandardised十分位數都是平等,當然在決賽中沒有顯著的性能差異會存在,因為必要的10%仍將在頂部等分,等等。然而,“學術骨幹”仍將存在,和整體性能降低統計將研究生考試嗎62年。
討論
目前的數據明確顯示,下一半的成績預測是準確的,有45%高於獲得的成績,17%是較低的。數據還表明,獲得的成績遠比預計更好的預測醫學院性能等級,隻占三分之一多的結果差異獲得的成績。取得的成績也比預測更可靠的成績。
驗證中使用的所有措施選擇的底線,在目前的情況下,這是驗證與評估5 - 8年從原來的水平,在本科和研究生的評估。是大力支持我們稱之為“學術骨幹”,之前實現提供基礎為以後實現,因此性能在所有階段的訓練有相關性從普通中等教育證書到醫學學位和研究生評估。5
我們的發現與建議,教師整體判斷的預測成績更好的預測結果,因為老師可能知道他們的學生比考官。巨大的努力考試委員會和大量訓練有素的標記來完善教育測量是可喜的,因此,讓人安心。仔細的測量很重要。
一個重要的問題是是否有一些差異預測和實際成績,這是互補的。我們發現,添加成績預測模型預測結果改善了多個相關係數僅為0.05,占隻有一個額外的0.25%的方差。這表明,預測成績可以提供少量的額外信息預測的結果。這些信息可能還不清楚,有可能是它業是蝕刻稱為“學術的態度”。然而,目前值得記住的是,檢查在a - level的成績主要是預測進一步檢查成績的醫學院,盡管按照分數做當然包括正式的評估工作,和實踐和臨床技能。如果其他措施,結果可能與交流,關心或其他非認知技能,那麼預測成績可能顯示出更大的預測價值。
目前的數據不可避免地有一些限製。沒有偏見的可能性,因為完整的人口被認為是樣品,和有很好的統計與大樣本大小。不可避免的是並不是所有的結果都可以考慮,主要是因為通過研究生群體尚未進行充分分析培訓。然而,包括那些研究生的結果顯示統計上實質性的影響是非常重要的。
我們預測成績一直在問問題的實際背景下取消a級評估和他們的替代計算成績,由於COVID-19大流行。假定似乎是合理的,因為文獻預測成績,尤其是在預測成績,成績,計算預測的成績可能會有類似的預測能力,但也許將是一個更有效的將出現在學術周期。這樣的結論將是堅實的地麵上如果考試委員會的預測效度分析了他們收集的數據在預測成績,尤其是相比,預測和實際成績。這些數據可能存在,如果是這樣,那麼他們需要觀察。在他們的缺席,當前可用的數據可能是最好的卻可能的預測效度計算而不是實際成績。
潛在的限製我們的研究,我們不包括計算和最終的成績在2020年申請入學的學生;然而,計算和最終成績2020將在2021年UKMED,自從那一年也會有老師預計成績提交給UCAS,立即問題感興趣的將相關措施的程度,因此老師預計成績是否確實代表計算成績。已經說過,它將不可能計算老師預計和計算成績的預測效度數年,直到通過本科訓練隊列的進展。中期和長期預測效度不可避免地需要時間來獲得,和實際的決策有時必須基於代理和代理措施,老師預計在應用程序UCAS的成績是一個合理的替代。如果是,老師預計成績UCAS和teacher-estimated成績作為計算成績的根本矛盾的一部分,然後會出嚴重的問題一個或另一組的估計。同樣的適用於teacher-estimated成績被用作代替水平在2021年的夏天,這將適用於群申請於2021年進入醫學院。
Underprediction
Underprediction特定風險的情況下老師不知道學生好,或者在某些情況下可能低估自己的能力,因為態度,個人特征或其他因素。有證據表明,teacher-assessed成績與學生人格比在國家考試的成績,63 64盡管影響相對較弱。任何這樣的偏見是傳統解決外部性和國家考試的客觀性。Petch,再次把它好,描述,
實例,在考場,候選人讓主考官相信他們有能力比他們學校說…它將看似矛盾,考官並不總是的權威;一位能幹的叛軍可以找到他的所謂的抽筋的範圍更廣泛的範圍內考試。3(29頁)。
這裏有一個清晰的回聲報的優思明侯賽因本文開始。侯賽因的擔憂並不孤單,2020年4月UKMACS研究發現公平尤為擔憂出現在醫學院的申請者從大眾化的學校,從黑人,亞洲和少數民族申請者,從女性求職者,從那些生活在貧困地區。10
失去了教育的影響
進一步考慮更一般的,問是更廣泛的COVID-19大流行可能對醫學教育的影響。各級學生的教育教學和學習中斷,通常廣泛,也適用於所有的醫學教育階段。2020群申請人/進入者不會是評估正式的水平。以及這意味著他們可能隻有計算成績,可能不準確,他們也將會錯過了大量的教學。2020年英國學生應該采取的a - level考試錯過了學校30 - 40天左右;下麵從他2021年醫學院的進入者將會錯過了大約80天。伯吉斯和Sievertsen,65年使用數據從兩項研究中,66 67估計60失去學校天導致性能降低大約6%的SD,他們說,“重要的”(比較,經驗法則是,學生在學校提高了SD在每個學年的三分之一68年)。這些影響可能會由社會經濟背景也不同,尤其是考慮到變化在家庭教育的有效性。申請人不采取水平也將遭受的損失發生在學習者的增強型學習測試的測試效應”——這一薈萃分析發現影響大小約為0.50,69 70這也是重要的。總體而言,2020年進入醫學院,也許2021年,may-without額外support-perform少在未來由於錯過對教育和適當的評估。
結論
2020年的事件的結果COVID-19大流行是非同尋常的,和前所未有的情況下發生的GCSE和a級考試取消的取消,但一個例子。當前的研究不應被視為批評的回應的Ofqual情況;給定的情況下發現自己,考試取消(Ofqual主席時,羅傑·泰勒建議社會疏遠或推遲考試),Ofqual解決問題有許多明顯的優點。我們開始本文引用一封報紙在2020年3月開始封鎖的一個學生在普通中等教育證書,所以它可能是適當的完成以字母a級學生不同的報紙。寫在a - level的高度危機,2020年8月,這引發了很多微妙,重要且大多被忽視的問題,那些研究人員將需要在未來應對:
Ofqual的分級係統似乎缺乏支持者。言論蒙蔽抗議者稱之為“歧視”算法,也忽略了關鍵的事實。非常清楚的是,教師是令人震驚的壞預測成績;使用老師的預測將會有12%的通脹率更高的成績與去年相比。雖然一些中心預測準確,一些中心預測隻有成績最高的學生。這從政府轉變需要一個巨大的不公的學生有公平和準確的預測,以及對那些在明年參加考試。在大學的零和遊戲應用程序中,這些學生的結果讓他們看起來比他們弱。不負責任的老師的軟件開發學生的結果應該感到羞愧,他們也因此許多年輕人的夢想破滅。這是不太明顯的不讓它看起來不真實。(信《紐約時報》2020年8月19日,Seb鳥,a級學生,布裏斯托爾)。71年
對大多數大學申請者來說,預測成績較前早已存在著秋天UCAS應用程序提交時,但他們會被平均半個等級太高,一樣的現實,也為醫學生是由2019年10月,而計算成績會根據老師的預測在2020年5月,盡管2020年3月以來失蹤幾個月的課程。
2020年5月,我們寫道,生老師預計成績會毀了很多大學規劃,特別是今年來這麼晚,提供了後,接受的數量將不可避免地已經過高。7事實上發生,配額大學條目必須放棄在2020年8月,包括醫學,連帶影響到第一年的大學課程,可能超越。也有風險,預測成績可能是係統地從一些學校高於—那些傾向於叫他們所有的“鵝”“天鵝”——這可能也適用於cag送到檢查董事會和大部分最終接受了2020年8月沒有中央標準化。的後果,不會成為明顯的幾年。
本文提供了證據表明,等級授予醫學申請人2020年夏天可能不會預測未來結果與實際相同的效果,獲得成績,這是一個問題,大學和醫學院和研究生parish),可能多年來隨著2020年隊列通過係統工作。似乎因此,湯姆森說,“…今年集團永遠是不同的…。2
數據可用性聲明
合理的請求數據。研究人員希望re-analyse在這項研究中使用的數據可以通過UKMED申請訪問相同的數據集(www.ukmed.ac.uk)。
倫理語句
病人同意出版
確認
我們感謝Paul Garrud吉爾Wyness,保羅•牛頓科林·梅爾維爾和基督教伍德沃德的評論早期版本的手稿,喬恩·道爾,彼得•唐瑞秋就是表麵和UKMED研究小組的其他成員和顧問委員會協助快速的預印本,和他們的評論。我們也感謝蒂姆·吉爾為我們提供一個未發表的手稿。
引用
補充材料
-
補充數據
僅這個web文件已經由英國醫學雜誌出版集團從一個電子文件提供的作者(年代)和沒有對內容進行編輯。
腳注
推特@kathwoolf, @kyfcheung
貢獻者DTS準備提取的數據,提供詳細信息來源和日期變量定義要求和評論的草稿。ICM起源的想法在整個項目中研究並討論了它與其他作者,寫了初稿的手稿。千瓦,DH,帕特,LWP KYFC和DTS閱讀、審查和評論早期的草稿和貢獻的想法,以及批準了最終稿,預印本和摘要。ICM的擔保人。
資金千瓦是國家衛生研究所(NIHR)職業發展的(NIHR提供- 2017 - 10 - 008),英國醫學首席研究員申請者隊列Studyand UKMEDP089 NIHR資金支持的項目。DH由NIHR格蘭特提供- 2017 - 10 - 008千瓦。帕特的研究支持一個NIHR職業發展獎學金(CDF 2015-08-11),和帕特也UKMEDP051項目首席研究員。LWP NIHR格蘭特提供支持的部分是2015-08-11帕特,和他的研究的一部分時間是由UCAT董事會。
免責聲明千瓦和DH狀態,出版介紹獨立研究由國家衛生研究所(NIHR)。作者的觀點是,不一定NHS, NIHR或衛生部和社會關懷。帕特州支持這項研究由NIHR職業發展獎學金(CDF 2015-08-11)。介紹了獨立研究部分由NIHR資助。作者的觀點是,不一定NHS, NIHR或衛生部和社會關懷。KYFC采用劍橋大學的標誌和結果評估英語。作者的觀點是,不代表劍橋大學評估的觀點。DTS受雇於GMC是數據分析師在英國醫學教育數據庫
(UKMED)項目。這裏的觀點是他的觀點,而不是觀點的GMC。數據來源:UKMED UKMEDP051數據提取生成的2019年5月13日。UKMEDP089提取生成2020年1月21日。UKMEDP112項目,使用UKMEDP051和UKMEDP089數據,通過2020年5月29日出版。我們感謝UKMED使用這些數據。然而,UKMED熊不負責他們的分析或解釋。UKMEDP051收集的數據包括信息來源於高等教育統計局有限(HESA)和提供給GMC (HESA數據)。來源:HESA學生記錄2002/2003到2014/2015。高等教育統計局版權限製。 The Higher Education Statistics Agency Limited makes no warranty as to the accuracy of the HESA Data, cannot accept responsibility for any inferences or conclusions derived by third parties from data or other information supplied by it. UKMEDP051 and UKMEDP089 include Universities and Colleges Admissions Service (UCAS) data provided to the GMC (UCAS data). Source: UCAS (application cycles 2007 to 2018). Copyright UCAS. UCAS makes no warranty as to the accuracy of the UCAS Data and cannot accept responsibility for any inferences or conclusions derived by third parties from data or other information supplied by it. All data from HESA are required to be reported using their rounding and suppression criteria (https://www.hesa.ac.uk/about/regulation/data-protection/rounding-and-suppression-anonymise-statistics),我們有這些條件適用於所有UKMED-based表和值報告。
相互競爭的利益ICM UKMED研究小組的一員,UKMED顧問委員會和英國醫學也在申請人隊列研究谘詢小組。帕特是UKMED研究小組的一員。帕特曾收到ESRC研究經費,EPSRC,衛生部對英格蘭,UCAT董事會和GMC。此外,帕特曾執行顧問工作代表他的雇傭大學UCAT董事會和工作心理學小組和已經收到了旅行和生活費用出席UCAT研究小組。KYFC UKMED研究小組的一員,劍橋的員工評估、一群生物醫學招生考試委員會,擁有並管理測試,英國普通中等教育證書和水平,國際gcse和a級。DTS UKMED研究小組的一員,UKMED顧問委員會,受雇於GMC UKMED項目數據分析師的工作。
出處和同行評議不是委托;外部同行評議。
補充材料此內容已由作者(年代)。尚未審查由BMJ出版集團有限公司(BMJ)和可能沒有被同行評議。任何意見或建議討論僅代表作者(年代)和不了BMJ的支持。和責任起源於BMJ概不負責任何依賴的內容。內容包括任何翻譯材料,BMJ並不保證翻譯的準確性和可靠性(包括但不限於當地法規、臨床指南,術語,藥物名稱和藥物劑量),和不負責任何錯誤或遺漏引起的翻譯和改編或否則。