條文本
PDF
文摘
目標引入能力培訓需要陪同評估機製的開發和實現。過程評估(pba)享有單位評估的一個示例,用於檢查焦能力在工作場所。的主要目的是了解外科實習生的視角PBA的價值。
設計半結構式訪談10外科實習生分別采訪了探索他們的觀點。麵試是audio-recorded和轉錄;在這之後,他們開放和軸向編碼。專題分析被執行。
結果半結構式訪談了一些局部和反複出現的主題。學員的經驗,pba作為總結性工具的使用限製了他們的教育價值。學員的報道缺乏支持老年人和變化的有用性的工具基於階段培訓。關注有關pba的有效性評估學員的性能與報告”遊戲的係統和學員完成自己的評估。學員在確定pba的重要價值,正確使用。好處包括額外的學習機會的識別,標準化的評估和他們的角色在提供一定程度的進步。
結論英國外科實習生麵試確定pba限製和好處;然而,我們認為基於他們的反應和我們的經驗,他們作為總結性工具限製了他們形成作為一個教育的機會。pba應該專門用來支持學習或者僅僅作為一個總結性的工具;如果是這樣,需要進一步審核、驗證和標準化這一目的。
- 醫學教育和培訓
- 教育與培訓(見醫學教育和培訓)
- 手術
這是一個開放的分布式條依照創作共用署名非商業性(4.0 CC通過數控)許可證,允許別人分發,混音,適應,建立這個工作非商業化,和其派生作品在不同的條款進行許可,提供了最初的工作是正確地引用和非商業使用。看到的:http://creativecommons.org/licenses/by-nc/4.0/
來自Altmetric.com的統計
本研究的優點和局限性
本研究采用半結構式訪談;這有很多優勢的一種調查方法,比如避免表麵反應和提供後續的靈活性和尋求細節和澄清要點。
有一個麵試官(JS)所有的半結構式訪談主題的理解和研究。
這項研究受限於單一的數據收集方法,即轉錄和編碼的半結構式訪談。
可能存在選擇性偏差的結果四個過程的評估學員帶來了半結構式訪談。
進一步從樣本選擇偏差可能導致的潛在來源;然而,這項研究並沒有主張的基礎上代表性或generalisability在學員的數據,而是旨在提供深入了解學員的意見。作者的觀點和解釋的定性研究(r)美國不應力求客觀、尋求新的方式,以減少偏見。相反,他們需要麵對的主觀性質的作用的。
介紹
外科培訓已經發展多年,不斷變化的環境和期望的結果在醫療保健,和為了滿足大量的政治、經濟、社會、技術、法律和環境挑戰。1 - 4引入能力培訓需要的配套機製的製定和實施評估和成就的簽字(或不)規定的能力。機製中引入的是那些在工作場所檢查焦能力;享有單位評估(wba)。wba被用在一些衛生保健係統包括英國、美國、加拿大、新西蘭和澳大利亞。5為此當前使用的工具包括案例討論、評估方式(PBA) mini-clinical評價運動(mini-CEX),直接觀察的程序技巧和mini-peer評估工具。pba包括索引過程或操作的直接觀察和評論上重要的步驟,任務或技能在術前、術中及術後階段的過程中,被認為是基本的安全和成功完成。pba被選為WBA調查,由於他們的性質和過程評估,他們持有一定程度的固有的表麵效度為學員及其評估。希望外科實習生,因此,能夠與回操作奠定了基礎的評估和與清晰的描述和討論,說明他們的觀點與生動的例子。
它被認為實現了wba外科訓練用於總結性有限的證據支持其使用。6有大量的理論和基於實踐證據支持的教育價值wba的關鍵部件,即真實的評估,7持續的反饋8 - 10和反思實踐,11,12但沒有說服醫生的實際影響的wba上下文。這些工具的廣泛實現之前存在的令人滿意的證據的有效性是無益的,特別是考慮到他們日益增長的對職業發展的影響。
的吸收wba在英國,以驗證wba /培訓生的數量,他們介紹2007年以來穩步增長。這伴隨建立能力訓練的現代化醫療職業研究生醫學培訓計劃。13這種增長在使用可能是由於越來越多的關於wba的教育價值的積極態度。然而,它一直被假設在很大程度上是由於wba成為義務作為一個評估的學習,做一個總結性的判斷告訴發展的決定,而不是發展,形成性評價為學習。此外,目標設置對數字每年所需的wba外科培訓由英國外科聯合委員會(JCST)。有規定關於數量的pba完成和達到的性能水平(以及pba證據這一性能水平)的數量。這個特定的使用基於研究pba的萬豪酒店等;14然而,pba的有效性時用於總結性目的超出範圍的證據基礎。一個形式上的PBA作為在線補充圖S1。
針對這一日益嚴重的使用,本研究旨在為證據基礎的價值通過添加洞察wba英國實習生的角度定量結果和先前的工作主要集中在運動鞋的觀點。通過研究PBA經驗學員的意見,我們希望清楚地強調現有的教育有效的實踐和目前麵臨的挑戰,這些證據可以通知PBA的未來發展。
方法
訪談問卷開發
一個迭代過程進行開發進度問題的半結構式訪談,目的是編製一係列相關,開放式問題有關的關鍵主題:問題集思廣益;分組下標題根據點他們解決;團體的關注的選擇;重複數據刪除;問題改進;時間檢查;進一步細化;針對飛行員與同事半結構式訪談;進一步提煉,最後一組選定的問題。
參與者選擇和招聘
入選標準是:(1)英國外科實習生;(2)誰給書麵知情同意參加;(3)注冊和使用校際手術課程計劃(ISCP) > 1年,因此開發了正式wba研究生手術培訓的經驗。外科實習生有評估麵試官(JS)和外科實習生評估麵試官被排除在研究之外。本研究招聘是通過電子郵件發送到英國外科醫生協會的成員在培訓。有目的的樣本10使用pba入選學員的經驗,在此基礎上,他們將提供豐富的信息和有用的洞察這方麵的訓練。15目的不是實現理論飽和度但獲得深入洞察10學員的獨特經驗,以更好地了解學員感知和理解的pba他們都必須完成。16
數據收集
定性研究方法來解決研究問題。半結構式訪談完成後通過JS的目的建立外科實習生的觀點與pba和他們的使用。半結構式訪談指引的麵試安排(圖1),限製在一個小時時間,後續問題是允許的。麵試是數字audio-recorded和轉錄。學員要求把兩個pba,他們覺得幫助他們開發實踐,和兩個pba,他們覺得沒有。這些作為刺激材料的麵試。
PBA半結構式訪談計劃。PBA的評估方式。
結果與討論
十外科實習生參加2014年2月和4月之間的半結構式麵試過程總計超過374分鍾;總結了外科實習生的特點表1。
係統分析的主題上編碼的訪談記錄68年啟用識別主題,這是進一步分類5歲以下主題(見在線補充表S2):
使用pba獲得教育價值,
使用pba評估,
培訓師的依賴,
pba的優點和好處,
限製和需要改進的地方。
使用pba獲得教育價值
提出的教育價值觀的pba WBA工具的能力識別困難的學員;20.然而,這未必是學員的經驗研究中:我相信肯定在我最後的位置有次,我是一個失敗的實習,我覺得我沒有得到的一個特定的操作或我的訓練很沮喪但PBA不救我。
ST3普通外科
這個應聘者覺得pba不被用於他們的方式設計和意圖。為了pba有效:(1)教練會觀察這個實習任務過程;(2)教練會給反饋過程;(3)反饋會具體和詳細;(4)反饋會形成,解決這個實習生的缺點與特定的操作,提供有針對性的方向,克服任何技術或非技術實習可能會覺得他們有缺陷。
另一個學員描述所需的挑戰與征收配額pba完成,導致盒子滴答作響,教育無效的經驗;都支持這一觀點所有隨後的受訪者。這些點與500年的調查結果進行的醫學實習生聯合皇家醫師學院的培訓委員會(JRCPTB), 67%的學員表示,wba太耗時,其中很大一部分擔心上司沒有時間完成評估,常常讓學員完成當中寫反饋。21此外,監事會由JRCPTB的一項調查顯示,三分之二沒有發現wba有效識別表現不佳的學員21,許多感覺wba是徒勞的“蜱蟲盒”運動。Bindal等22認為時間壓力是不滿的主要來源,並聲稱wba被學員普遍認為作為一個總結性蜱蟲盒運動與教育價值。23
應聘者10提供實習生的角度來看他們的培訓即將結束,誰需要全球的反饋和集中培訓以滿足獨立實踐的要求。這是教育與pba的逐點詳述的反饋要求:我想要更多的全球評估。的一種總體印象”我幾乎準備顧問實踐嗎?”,而不是一個特定的細節”你這樣做了嗎?是/否”和“你”或在一個特定的點“滿意”或“準備有條件現金轉移支付”。我不知道。我認為他們的任務分解成很多小的組成部分,有時失去全球概述。
ST7一般結直腸手術
事實上,從2013年10月,JRCPTB恢複多個顧問報告提供結構化的反饋學員的整體臨床能力範圍的監事。21評估表現在多個場合的使用,由多個評估,以這種方式允許“三角”的評估,評估可靠性的一個重要因素。20.,23,24應聘者10的願望是評估全球更多的共鳴的問題25,26表示國際能力的引入研究生醫學培訓創造了一個差距的評估特定的能力和實際的臨床實踐,強調專業能力。為了填補這一差距十美食和舍勒認為entrustable專業活動(epa)的使用,這一過程涉及全球績效評估所需的所有能力關鍵的專業活動如運行操作列表或圍手術期護理。25從本質上講,epa評估個人的準備與職業責任委托。
使用pba評估
先前的工作已經證明的有效性pba總結性評估的具體過程和性能與手術相關的經驗。14在此基礎上,JCST建議最低數量的pba展示最低能力在某些指定的程序。然而,pba的總結性作用似乎已經超出此範圍擴大。pba的進一步量化數字可能的意外後果學員查看所有pba總結性評估。分領域關注的數量是由參與者與pba的使用評估。首先,一些學員覺得pba沒有特定的訓練水平。特別是,一位資深學員覺得他們不適合目的作為更高級學員的評估工具,因為他們的逐點的性質,一個全球概覽。第二,一些受訪者的意見,使用pba總結性評估矛盾,阻止他們使用作為一個有效的學習工具。第三,在我們組的經驗,他們的許多培訓師完成pba的還沒有受過正規的培訓,完成自己的pba或告訴學員。這可能減少對造型的PBA結果的有效性或總結性評估。
特別是應聘者5提出了許多有趣的點WBA作為造型的工具的使用反饋,而不是總結性評估和PBA的有效性作為總結性評估工具:而我懷疑,如果這方麵的使用是完全投入,隻是告訴你這是一個純粹的造型的工具為你的利益等等,我懷疑學員會應用它們更像他們設計…所以我仍然從根本上認為一份報告從一個教練在6個月或一年或你的進步和一般能力在多個領域是迄今為止最強大的工具雖然很難量化數值或任何基於工作場所評估。所以我個人觀點是基於工作場所的評估應堅決是造型的工具,幫助教學過程或訓練過程,也許他們可以用作代理參與的過程,但我不認為這應該是作為一個總結性的工具。
ST6將軍(血管)手術
受訪者的觀點5被受訪者支持3方麵的重要性pba為造型的目的:我認為最重要的是對所有這些事情的反饋。這不是你在一天結束的時候。
ST3一般結直腸手術
似乎是有偏差的概念之間的那些發達wba(的使用)和JCST已實現wba(形成性和終結性相結合的目的)。27這句話是一個給出的示例與擔憂pba的實現,而不是主要問題,pba的內容和格式。
矯形外科醫生在最近的一項調查,不到一半的學員和教練收到pba的使用培訓。28有趣的是,53%(67%的顧問和44%的注冊商)確定是否pba有造型的總結性評估的目的,和13%(10%的顧問和15%的注冊商)認為他們是總結性。28文章得出結論的重要提醒,所有用戶應該PBA熟悉,PBA設計是造型的,成功完成各級PBA不構成“營業執照”。28
一些人認為PBA的成功的關鍵是認真實施。29日提供學員收到反饋和評估係統有信心,提高能力。29日,30.然而,這種聯係反饋和實際實踐中沒有得到改善。事實上,據報道,隻有8%的反饋或地區發展確定通過mini-CEX轉化成一個行動計劃。11,31日
目前,教練也為pba履行評估員的角色。許多運動鞋有很少或沒有評估和培訓,雖然訓練可能有助於運動鞋在評估做出更好的判斷,問題依然存在的教練老師和評估員,與潛在的利益衝突。被老師和顧問都是組件的綜合教育計劃,但它是更可取的,教學和總結性評估並不是由相同的評估員。32然而,如果pba被部署在一個純粹造型的方式,培訓師負責實習生的發展可以用pba和反饋和行動點從這些指導今後的培訓(即評估為學習)。
似乎有一個元素“遊戲”的一些學員wba關注保護高點總結性的分數。pba的“遊戲”的一個例子描述了一些學員包括:選擇“鴿派”(更少的關鍵運動鞋/評估)來完成他們的pba;並選擇情況對評估表現特別好(而不是完成的PBA情況下他們的表現,在他們看來,不太好的)。
Munsch, 2009年33英國JCST主席表示,wba是“反饋工具直接指導和培訓,而非總結性能力評估”。27澄清的形成作用wba作為學習的評估,甚至有人建議wba被重新命名為學習享有單位評估。34
培訓師的依賴
八的10個參與者評論從老年人阻塞,或缺乏支持或參與的運動鞋PBA的過程。例如,當質疑pba的底片上,一位被采訪者回答說:主要的障礙或問題我發現從更高的水平,不是我讓他們實現…發現顧問輸入坐下來,經過他們簽署他們是困難…所以很難讓他們…
CT2骨科手術
教師的重要作用wba一直在強調文學,也需要策略來提高他們的參與和培訓。11此外,由於培訓的質量取決於surgeon-teachers在他們的角色作為教育者的有效性和評估者,以及精通專業(外科醫生)服務提供商,這些品質的評價了WBA surgeon-teacher形式的一個重要組成部分。35
有離開的推定所有外科醫生是很好的運動鞋,有實習外科顧問是正確的。本研究的意義之一是強調額外的高級支持學員必須促進wba的使用。
優勢和pba的好處
毫無疑問,pba優點和好處;采訪了pba的教育潛力巨大。一個積極的方麵,評論超過一半的學員,在記錄進展:pba的價值我有谘詢顧問周四說我們所做的操作。我想讓你去準備它。手術,你沒見過我消失和做我的家庭作業有一些最好的培訓我能因為我們那天出現。你做你的家庭作業的操作,它包括什麼,他們有準備的所有步驟和火車你因為他們事先放在一邊。
ST4耳朵,鼻子和喉嚨(ENT)手術
這種方法當然可以被捕獲並鼓勵如果pba的造型的作用是強調。同樣,如果意圖完成PBA宣布提前好,例如,當一個特定的操作列表確定的情況下,這將提高實習生的對齊發展需要提供培訓機會。然而,這不能排除伺機pba的使用,在短時間內,如果覺得一個特定的情況下,例如,緊急程序,提出了反饋的機會,反射和一代的學習的一個行動計劃。
pba被這項研究的另一個好處是他們可以對標準化評估的影響,當他們被要求完成一個初步評估一係列實習方麵的性能:它幾乎可以帶來不同的評估相同的水平。如果你有一個評估員誰不看看整個畫麵,它可以讓他們看了整個畫麵,因為它看著一切。
CT2骨科手術
大多數學員還發現了pba本身可以生成訓練和反射。學員可以使用PBA促使高級訓練煽動。大多數外科訓練是“在職”和自發的。pba提供納入這種學習方法和提供一個記錄,它發生。進一步,當徹底完成,鼓勵發展隨著時間的重複評估,pba可以提供非常有價值的工具。Pelgrim等36建議一個逐步的過程來支持這個,獲取最大的效果。
限製和需要改進的地方
強調,在我們的受訪者的經驗,pba不被用作他們的目的或設計。應聘者6描述有幾乎沒有經驗的WBA被用作,和培訓的形式主要是填寫回顧性分析:這是一個非常困難的問題。的唯一原因是困難的…因為我幾乎沒有經驗被正確使用。
ST4將軍(血管)手術
pba的這樣的評論隻有有限的反思自己,一定程度上反映了他們正在使用的係統,和那些使用它們(學員和教練)。事實上,缺乏意識的教育pba的理由,因此,可憐的實現似乎描述的核心挑戰。
的支持者wba狀態:“沒有證據並不意味著wba受益,如果進行得當,不工作。”37學員描述努力改善pba的方式使用和扭轉的“壞習慣”,爬到係統最初啟動時:他們不得不撤銷很大的傷害,當工作完成基礎介紹了評估通常沒有任何特定的培訓或宣傳。他們隻是掉在學員和教練,我認為不幸的是培育了很多雙方的怨恨仍感受到許多年。
ST5一般結直腸手術
除了對個別學員一個潛在的負麵影響,這是考慮的影響的相關介紹,這些工具的使用和感知訓練係統作為一個整體:我的總體印象是,也許不是每個人或每個教練都是使用它們的方式,他們的目的,所以我認為他們實際上可能會給一些稍微假象的標準化培訓。
ST5一般結直腸手術
這被采訪者提出,而不是在研究生提高標準手術訓練,pba可以致盲的問題。
建議改進:學員的視角
建議改善pba有關他們如何被使用,而不是pba本身的設計。反複出現的主題包括改善的質量反饋和改變過程的風氣,所以更多的教育和更少的壓力是詳細的下麵。
pba的使用
有趣的是,一些受訪者的提出有關pba解決方案中使用它們應有的作用,包括提供更多的證據表明,一個造型的trainee-trainer交互發生,消除了蜱蟲盒,盲目簽字:如果structuralise的幫助,那麼你可以使用表單但上傳記錄你和你的顧問之間的談話關於你學習因為有明確的證據討論,訓練發生從你的角度和顧問。你不能做回顧性特別容易。你不能隻是簽署。它需要你坐下來了。
ST4 ENT手術
這裏的實習生談到真正的學員和教練之間的對話。考12認為反饋應概念化作為一個給予者和接收者之間的對話。反饋對話之前和之後進行PBA觀察將會顯著的利益最大化PBA和其他wba和代表的一些例子之一的組合立即書麵和口頭反饋研究生醫學教育。這是由係統最近的一份研究報告強調,以口頭和書麵形式給出反饋似乎更有利比這兩種形式。38
一半的參與者經常評論說,學員填寫自己的PBA的形式,和所有的參與者都強調了有限或完全缺乏評估學員和教練的自由文本框的後續評估,例如,在能力發展的年度審查。然而,如果PBA過程是有教育價值,重要的是學員閱讀訓練師的評論,使用此通知反思他們的表現和文檔。
大多數參與者描述pba壓力。pba旨在支持學員的發展,當然他們不會因為過度的壓力。我們的發現表明這是pba應用和積累大量的壓力是壓力的一個原因。這是雪上加霜的是,他們已經使用了總結性評估,這通常是固有的壓力。
提高反饋的質量:一個自我評估
學員建議使用反省使反饋更trainee-specific和使用PBA作為工具提示請求和有針對性的培訓反饋可以改善的相關性和可接受性反饋學員收到,以下引用描述。我認為你應該評價自己,並將其發送給顧問和沿著盒子他應該選擇“同意”或“不同意”,然後把評論。我認為這將是更好的反饋自己的優點和缺點,因為一個你認為你做得很好,顧問會認為您需要開發,你不光滑或你不安全工具什麼的。
ST3一般結直腸手術
優勢和局限性
本研究有許多重要的優勢。一個半結構式訪談調查方法相比,具有很多優點,如避免表麵反應和提供後續的靈活性和尋求細節和澄清學員提出的要點和有趣的評論。有一個麵試官(JS)所有的半結構式訪談主題的理解和研究。因此,他能夠追求的質疑和探索感興趣的領域實習顯示力量的感覺或意見。
這項研究有一些局限性。首先,研究涉及到一個數據收集方法,即轉錄和編碼的半結構式訪談。第二,有選擇性偏差的選擇四個方麵pba的實習帶來了半結構式訪談。這種偏見有些刻意,旨在突出極端,無論是經曆積極的和消極的評估和反饋,並及時反映。這很容易反映學員的反應。存在選擇性偏差與主題的成績單,以及那些主題為進一步討論確定;然而,係統數據分析方法旨在識別那些似乎最重要的受訪者的主題。進一步的潛在來源的偏見是JS,外科實習,麵試官。第三,關於樣本選擇、研究並沒有主張的基礎上代表性或generalisability學員,而是旨在提供深入了解學員的意見。
這是一個正在發展中的區域的手術培訓和進一步的工作需要學員隨時間不斷變化的角度進行調查。未來的研究也可以獲得更多的洞察pba的價值在不同階段的培訓和實習的理解之間的任何關聯目的pba和它們的價值。
結論
改變當前的文化在醫學教育無疑是觀察和識別,wba仍然呆在這裏。本研究有助於證明pba的使用作為總結性工具妥協形成作為一個教育的機會。它也進一步突出了問題與支持流程和高級pba的方式進行。然而,有例子pba實習是很有價值的。進一步訓練和理解pba的使用可以使學員更大的好處。因此,我們建議一個岔路口可能已經達到,pba要麼是專門用作造型的教育工具,資源分配,以確保這樣做是正確的,或必須努力收集證據的使用總結性評估能力。
確認
作者要感謝外科實習生誌願時間參與本研究。
引用
腳注
貢獻者JS和KI負責項目規劃和研究設計。JS進行訪談和編碼數據。JS、DCM和KI負責數據分析和解釋的結果。所有作者造成了初稿的手稿,並回顧了最終版本之前提交。
資金這項研究沒有得到具體撥款資助機構在公眾,商業或非營利部門。
相互競爭的利益沒有宣布。
倫理批準倫敦帝國理工學院教育倫理審查過程(eerp1314 - 004)。
出處和同行評議不是委托;外部同行評議。
數據共享聲明沒有額外的數據是可用的。