量化的可用性:一個評估糖尿病移動醫療係統的有效性、效率和滿意度指標和相關的用戶特征

文摘

客觀的移動健康(mHealth)為慢性疾病管理係統正變得越來越常見,但可用性研究仍需要在病人的觀點和mHealth交互性能。這個缺陷是解決我們定量mHealth糖尿病係統的可用性研究評估病人的任務績效、滿意度和這些措施用戶特征之間的關係。

材料和方法我們使用標準的國際標準化組織(ISO) 9241 - 11標準。標準化的培訓後,10個病人代表執行任務和評估對個人任務成功,錯誤,效率(時間任務),滿意度(係統可用性量表(SUS))和用戶特征。

結果任務的輸出和糾正值被證明是最困難的,最錯誤,成功率最低的任務,和消費最長時間的任務。SUS滿意度平均得分為80.5,表明好的但不是優秀的係統可用性。趨勢的數據顯示,男性更成功地完成任務,和年輕的參與者有更高的績效分數。教育水平不影響性能,但是最近糖尿病的診斷。患者更多的經驗在信息技術(IT)也有更高的性能。

討論艱巨的任務性能表示設計領域。我們的方法可以幫助他人識別需要改進的領域。數據用戶背景和技能還顯示用戶特征如何影響性能和可以提供未來考慮目標mHealth設計。

結論使用ISO 9241 - 11的可用性標準,SUS滿意度和測量儀的用戶特征提供了客觀的措施病人的經驗豐富的可用性。這些可以作為一個標準化的範例,可用性研究在移動醫療係統的定量方法。

背景和意義

為了幫助糖尿病患者,不同類型的自我管理支持係統已經開發使用信息和通信技術(ICT)包括移動健康(mHealth)技術。^1,2研究表明,健康特別是幫助改善慢性疾病³和血糖管理對這些病人來說,^4,5但健康幹預措施的可用性仍然需要更全麵地解決。^{6 - 8}

確保足夠的可用性是關鍵的個別病人由於世界範圍內的移動電話普及率。⁸全球手機可用性是接近70億馬克,最近的一次圖顯示估計有69億訂閱。⁹估計有3.35億無線用戶連接(手機、平板電腦等)僅在美國。¹⁰鑒於移動健康應用程序的數量和可用性評估不足,可能影響用戶交互不清楚,但可能很大。注意需要執行標準化,係統化mHealth可用性評估。¹¹

國際標準和驗證工具可以幫助移動醫療係統的設計,雖然這些尚未廣泛用於醫療保健。例如,2014年10月審查關於移動醫療技術的可用性測試研究糖尿病表現出極大的變化可用性測試方法。23日適用的研究中,隻有四個使用儀器進行驗證。¹¹隻有一個研究是完全標準化的過程包括使用工具進行驗證。¹¹

作者建議更廣泛使用的國際標準化組織(ISO)的指導原則和技術¹²指導可用性評估。¹³擴展可用性測試更係統,完全可以幫助建立一個科學的mHealth可用性。更標準化,全麵的方法將改善方法論的一致性,使開始比較發現在移動健康應用評估。^11,12全套的需要評估人員推薦measures-effectiveness,效率和滿意獲得更全麵的圖片任何應用程序的可用性。^11,14本著這一精神,本文采用ISO 9241 - 11和移動醫療係統的技術來解決這一差距。

研究還需要進行相關用戶人口統計的影響,因為他們可以影響需求包括設計未來的決策輔助慢性疾病。^15,16特定用戶特征可以在任務績效產生差異,但如何以及以何種方式並不完全理解移動醫療係統。¹⁷

在這項研究中,我們的目標是完成一個有時方法來評估一個移動醫療係統。解決指出差距在當前mHealth可用性測試,我們使用一個標準化的方法可用性評估主要方麵的全套推薦的ISO 9241 - 11所示。¹⁸我們使用儀器與係統可用性等建立了心理測驗學規模(SUS)工具,和我們測量相關用戶特征與健康相關任務績效獲得更廣泛地了解的用戶,他們的任務和性能結果mHealth交互。

可用性測試的概述

可用性的定義是“產品在多大程度上可以使用指定的用戶實現指定目標有效性、效率和滿意度在特定上下文中使用。”¹⁸可用性測試中常用的可用性工程和人機交互學科,最近,在衛生保健領域。^19,20.可用性測試的目的是確定障礙有效和高效的產品使用以及可接受性和滿意度為代表用戶與幹預在一個特定的上下文交互。^18,19,21

可用性可以通過幾種不同的方法來衡量。最常見的一種啟發式評估,是一種最初由尼爾森引入基於專家經驗的方法。^22,23相比之下,用戶測試通常采用實際用戶如消費者健康。^22,24可用性測試是一個特定的優勢資源需求可以相當溫和。用戶需要執行用戶測試的數量不同,但小樣本通常5到8個用戶可以識別80 - 85%的可用性問題。^25,26用戶測試會話包括代表任務和基於場景的評估²²適合的環境中進行測試。這可以是一個實驗室環境受控條件下或在該領域,研究人員可以獲得一個了解幹預是如何使用在一個特定的上下文。²⁷觀察和任務/基於場景的過程包括觀察和評估用戶如何與幹預以及交互的交互支持用戶在實現他們的特定的任務目標。^22,28

測量的可用性

ISO 9241 - 11

的定量方法來確定可用性概述了在ISO 9241 - 11中,組成的一個標準的具體指標對用戶如何滿足特定的目標(見圖1)。¹⁸這個標準包括以用戶為中心的設計(UCD)的主要概念,需要將用戶盡早並且經常在設計和開發過程的所有步驟。^29日

ISO 9241 - 11深度描述用戶如何與產品交互,使用實踐表明其總體可用性的方法。^30.,31日一個常見的技巧是記錄用戶在交互執行代表任務。¹⁸如果指定的措施的有效性、效率和滿意度是充分實現,該產品可以被認為已經達到一個可接受的水平的可用性。¹⁸適當的術語定義表1。

等標準ISO 9241 - 11尤其適合應用於移動醫療係統等新技術和應用程序。支持這種想法,貝文認為這些標準應該使用更頻繁地在可用性工作定義良好的實踐,是客觀的,可以在工作,確保一致性,設計師可以為幹預提供基準。¹²

測量的有效性和效率

效果通常是衡量任務成功完成,通過計算交互中執行錯誤的數量。效率包括水平的努力和資源使用的用戶實現可用性目標(s),通常是通過測量每個任務時間和平均時間在用戶和/或任務。¹⁸

測量滿意度

滿意度可以客觀測量可用的工具,包括外麵的SUS儀器廣泛使用衛生保健。開發和設計的布魯克,SUS措施總體可用性,允許跨一係列環境和係統的比較。³²李克特量表工具通常是這個問題後立即進行交互,允許用戶記錄他們最初的感受和反應。³²儀器項目的範圍0 - 4。SUS已評估的有效性、可靠性和靈敏度。^{32 - 35}SUS分數範圍從0到100提供了一個估計的總體可用性的幹預在用戶的心中。^32,3570以上的分數被認為是可接受的或好成績85以上表明高水平的可用性或優秀的分數。得分50或低於表明貧窮或不可接受的可用性。³⁶

材料和方法

措施,這項工作是由使用一個標準化的可用性評估以及病人的特點。評估過程描述如下。

研究樣本和設置

該研究獲得批準(嗨- bea - 001 # 20111605)從西方機構審查委員會,美國華盛頓,奧林匹亞。研究參與者選擇從數據庫的2317名患者參與更大的隨機對照試驗在糖尿病健康幹預。較大的研究采用方便抽樣技術和涉及患者從18初級保健診所在鹽湖城市區,猶他州。³⁷入選標準為更大的研究(1)18歲或以上的成年人(2)2型糖尿病診斷和糖化血紅蛋白(HbA1c)≥8%,(3)沒有懷孕,和手機訪問(4),(5)能夠表達和理解英語。十個病人被隨機選擇從較大的研究數據庫包含在我們的可用性研究。這些病人沒有經驗和移動健康網絡係統在我們目前的研究評估。入選標準為我們的可用性研究樣本(1)患者診斷為2型糖尿病;(2)沒有認知障礙;(3)一些知識和使用電腦,互聯網和手機;(4)英語語言表達和理解的能力。獲得知情同意後,病人被安排在單獨的可用性HealthInsight會議在一個安靜的房間裏,一個美國的燈塔社區在鹽湖城猶他州。

係統描述

Care4Life®是一個交互式算法移動短信服務管理係統,為糖尿病患者(請參閱門戶網站圖2)。係統設計為一個個性化、自我保健管理工具,它的目的是要作為input-driven指導支持病人的自我保健管理和幫助病人和他們的衛生保健提供者之間的協作。病人與係統交互的提示通過短信發送他們的自我管理措施。典型的傳播措施的血糖、血壓、體重、運動、和藥物治療依從性。

用戶評估任務

代表用戶任務包括(1)發送的測量值係統,(2)解釋葡萄糖測量顯示在圖,(3)記錄葡萄糖測量值,(4)出口葡萄糖測量值趨勢可移植文檔格式,(5)解釋血壓測量在圖形視圖中,(6)設置和跟蹤目標運動和重量,藥物(7)設置提醒,(8)設置提醒醫生約會。這是至關重要的,包括各種不同長度的相關任務和困難獲得代表和準確的性能水平。任務是基於真實的案例場景模擬病人如何與係統交互的實際情況根據護理和自我管理過程和驗證了一個由三位衛生保健專業人員和可用性專家的內容和上下文的準確性。

儀器和結果的措施

人口和它/計算機知識和經驗的調查問卷

兩個短的預備調查問卷管理評估病人的背景特點和信息技術(IT)的經驗。這些都是分裂的病人讓他們容易完成。驗證是由三個衛生保健專業人員和可用性專家。病人被問及他們的年齡,性別,教育背景,他們有糖尿病多久,他們的經驗和知識關於計算機/它包括自我評價知識,如果和他們如何使用電腦以及互聯網。

ISO標準可用性的措施

ISO測量有效性和效率的措施如下:效果取決於程度的任務完成每個任務和錯誤的總數。任務完成編碼使用三類:(1)輕鬆完成用戶能夠執行任務時沒有任何幫助的情況下從測試領導者,(2)完成與困難當主體實現了任務的小困難,或者小提示測試領導者,和(3)未能完成主題時無法完成任務,即使有一些小提示。一個錯誤編碼時執行的主體錯誤他們無法解決或提交錯誤防止進一步進展。

效率是由時間決定每個任務和計算的平均時間為每個任務在病人。效率或時間在任務開始當用戶開始執行任務和結束時按下參與者/ home按鈕。時間是扣除長期加載和係統響應時間。

滿意度是衡量管理SUS。分數計算根據布魯克的指導方針。³²這是加法的分數在每10個人物品。項目1,3,5,7,9,從得到的分數減去一分。項目2,4,6,8,10,5分減去從最終的得分。最後的成績是再乘以2.5整體滿意度值。

研究過程和數據收集

完成知情同意後,填寫患者進行預測人口調查。標準化的培訓建議減少個體差異在任務績效由於知識體係。³⁸因此,標準化的培訓做了模擬的實際教育護理病人過程健康診所,和自己的用戶和係統的交互。研究人員解釋說提出的評估過程。病人然後使用任務描述與係統輸入和檢索值,以及閱讀不同的圖形。Morae®³⁹軟件被用於視頻和音頻記錄病人的交互係統中。隨後,錄音很仔細編碼使用上麵定義的特定的指標任務成功率,錯誤,和時間的任務。會話結束,SUS的管理。測試過程花了1.5∼h每個病人和病人收到20美元的禮品卡後完成會話。

數據分析

結果計算使用Microsoft®Excel®⁴⁰電子表格。描述性統計等手段和標準差計算在SPSS®版本22⁴¹在有效性、效率和滿意度的結果。聚合數據被編譯在病人的具體任務。描述性統計結果相比,社會人口數據來區分用戶之間的相同點與不同點及其性能數據。讓用戶特征和用戶的表現和滿意度之間的比較,我們比較性別、年齡、教育、糖尿病診斷和IT /電腦知識和經驗(根據額定的經驗、額定缺乏經驗)對有效性、效率、SUS意味著分數。統計相關性並不執行由於小樣本大小。

結果

病人的人口統計,IT /電腦知識,並使用(預備調查問卷)

10個病人有各種不同的背景和特點。六個女性和四個男性參與者。大多數(70%)老年人(50 - 69年),而30%的人在30 - 49歲之間。大多數病人有學院或大學教育(80%)。百分之六十被診斷為2型糖尿病≥5年前有40%被診斷為≤4年前。

它和計算機知識和偏好不同患者使用。一半認為他們的知識水平在中等和30%高而其餘表示小知識。大多數(80%)的患者報告每天使用電腦和互聯網。百分之八十還同意或強烈認為他們喜歡用電腦工作或休閑時間。

有效性

任務有效性研究的結果發表在圖3。任務3(糾正血糖測量值)和4(出口葡萄糖值)是最難完成的失敗率30%和40%,分別。任務1、2和5(發送測量值,解釋葡萄糖測量值,並解釋血壓測量值)輕鬆完成。

錯誤率鏡像任務完成困難任務3和4有最大數量的錯誤而任務1、2,5完成後沒有任何錯誤圖3)。最多的錯誤是相當高9和13。犯下的各種錯誤包括病人有困難記住步驟,找到正確選項和執行過程中不同的步驟。錯誤尤其流行與任務相關(1)定位葡萄糖值校正,(2)出口這些數據,(3)記住如何刪除值或選擇值,(4)導航到正確的屏幕來完成這些任務,最後(5)記住如何以及在哪裏添加或出口他們的血糖值。

效率

可能見過表2、任務3和4消耗時間最長的時間,可能會考慮到困難任務成功和上麵提到的錯誤。另一方麵,任務2和5的最短時間。任務的校正和輸出值(3和4)意味著分數相關的2 - 3倍長解釋值。

滿意度

整個集團SUS平均分數為80.5(標準差11.47)表明良好的滿意度在這些移動醫療係統用戶見圖4。然而,低價值的得分存在巨大差異的62.5和97.5的高分(籃板球的範圍)。最高評級範圍從87.5到97.5或優秀最低(30%的患者樣本)從62.5到72.5或“OK”最小可接受的(30%的患者樣本)。

用戶特征、知識、和網絡技能和可用性指標

用戶特征和客觀數據評估額外的見解(表3)。描述性的趨勢表明差異在性別、年齡、糖尿病診斷和/計算機知識和經驗。男性在這個示例了更高的平均成功,降低錯誤率,意味著SUS得分高於女性。年輕的病人也有更高的平均任務完成率的任務,隻有一個誤差平均任務,降低任務完成時間和更高的滿意度。

最近的一個糖尿病患者的診斷有較高的平均任務成功率,減少錯誤的任務,任務更短的平均時間,更高的平均SUS分數。高中或大學/大學教育沒有影響性能或滿意度。更有經驗的IT /電腦用戶更快地執行的任務和更少的錯誤比那些缺乏經驗的。他們也有更高的SUS分數相比經驗較少的用戶。

討論

本研究演示了係統的可用性的應用程序方法和研究人員可以考慮有關病人特點在移動醫療係統交互。這些因素與預測一致mHealth使用率的增長。⁸我們的研究結果表明ISO可用性標準可以用來評估的有效性,效率和滿意度的措施。變量的綜合設置允許用戶對係統可用性的增加,他們的任務,他們的移動醫療係統的性能交互需求。此外,本研究顯示患者的特征如何影響交互性能和開發人員如何創造更多的可用的電子健康和移動醫療係統。

性能結果的解釋任務,滿意度和人口發展趨勢

任務3和4的可能的原因(更新和導出一個葡萄糖值)證明困難可能相關的任務,用戶實踐,同時也需要重新設計。這兩個任務更複雜,需要幾個步驟,而任務1和5更簡單,隻有每一步。另一個可能的原因是,這可用性測試評估用戶在他們還練習這些新的,更複雜的任務。

整體滿意度結果顯示很好,雖然不優秀,可用性。事實上,近三分之一的參與者給係統一個相當貧窮的可用性等級(“好”)。結果表明係統改進的領域。例如,用戶對多個步驟和當前困惑,繞的步驟3和4的任務。雖然這個任務應該簡單,目前的設計並不要求用戶導航到不同領域的係統刪除並輸入新值。顯然,可以簡化多個步驟,這可用性測試提出了客觀數據對這些電流、繁瑣的任務。

在這個示例中,人口結構和性能趨勢表明男性和那些經曆表現略好,SUS較高分數。年輕的病人也執行得更快和更少的錯誤。這些趨勢指出有問題的地方,尤其是對用戶與特定的特征。因此,設計師也需要調整為目標用戶交互;例如,老,經驗較少的用戶。這方麵的研究是一致的與其他文獻表明移動醫療幹預措施需要更好的適應各種用戶促進更廣泛的為更多的用戶使用。⁴²

結果在檢查運動員的表現和滿意度的變量都是一致的,盡管這並不總是可用性研究的情況。更成功,參與者完成任務也更快,犯更少的錯誤。那些表現更好的滿意度較高。

對文學的貢獻

據我們所知,這是第一個可用性研究mHealth糖尿病幹預評估可用性有效性、效率和滿意度一起通過使用驗證措施。此外,我們使用ISO可用性標準和SUS儀器比較可用性度量性能結果病人相關的用戶特征。

本研究有助於填補一些空白的文學。之前作者推薦更多的可用性研究集中在病人的行為和產品交互^{6 - 8,43}而不是專門的醫療結果。^4,5,44其他作者報道需要探索人口特征的影響和技術可用性評估得分來幫助設計未來的針對特定人群的幹預措施。^{15 - 17日}之前最後,作者認為的重要性評估有效性、效率和滿意度措施一起獲得更全麵的可用性是在當前的研究中完成的。^11,14本研究實現了這些建議。

這項研究增加了文學在移動醫療幹預措施以證據為基礎的方法的一個例子導致更具包容性量化的可用性評估。我們使用實際用戶在測試過程中,堅持從ISO可用性標準的建議。結果為開發人員提供具體的數據對病人體驗產品和最困難的任務應該重新設計,以適應更廣泛的用戶。本研究可以作為一個範例給他人評價移動醫療係統想要生成基準數據,並提供可再生的可比的結果。

可用性測試結果沒有顯示整體可用性差是有益的。此外,我們需要積極與移動醫療係統可用性測試的例子。在過去,作者主要關注負麵的例子。本研究使用一個標準的方法來解釋的核心可用性問題需要解決,並提供具體的技術其他人可能采用評估和提高移動醫療係統的可用性。

限製

我們的研究涉及到一個更小的用戶樣本從特定的糖尿病人群,這可能使其難以推廣結果一般人群。雖然這些用戶隨機選擇從一個更大的數據庫mHealth糖尿病幹預研究,更大的研究采用方便抽樣技術。10受試者的樣本大小是適合推薦的可用性測試和大於樣本大小尼爾森和藍道²⁵,Virzi。²⁶然而,這些用戶可能並不代表所有mHealth糖尿病係統的用戶。特別是,參與者在這個隨機樣本更比大多數的糖尿病患者樣本受過高等教育,尤其是在城市地區。在該地區未來的研究可以探討其他移動醫療技術以及重複這項研究在更大的規模更大,隨機選擇用戶樣品來確定運動員的表現和滿意度的結果。其他用戶特征可能與這些性能的措施。總之,該係統關注糖尿病特別,但這項研究結果也有著更廣泛的應用產品設計其他慢性疾病的應用和伴隨的可用性測試。

結論

本研究的目的是作為一個範例係統可用性的方法。而結果顯示良好的(不是優秀)感知可用性滿意度,近三分之一的用戶評價係統,而可憐的可用性。結果表明客觀數據為開發人員和指出需要改正,特別是對混亂的任務。跨用戶和任務變化顯著。客觀數據很重要,因為設計師和研究人員對任務和用戶性能和性能數據可能不一致。此外,係統變更列表可以基於數據的修正來確定優先級。

本研究演示了徹底的使用定量方法,考慮不同用戶的需求與移動醫療係統疾病管理。它還顯示了執行多個不同類型的評估措施的有效性。該研究使用推薦的ISO標準方法評估有效性、效率和滿意度SUS儀器等工具進行驗證。在一起,這些方法提供一個增加的理解係統可用性和可以作為一個範例供設計師和研究人員方法論的方法。

目前的研究在文獻中解決差距通過檢查患者不同的特點和技能水平對一套性能結果。趨勢如見本可以幫助開發人員理解用戶需求設計更多的可用的移動醫療係統。趨勢在參與者socio-demographic知識數據也表明,性別、年齡、疾病持續時間,經驗水平可能會影響相互作用的結果。增加移動醫療使用的規模,促進更廣泛的使用和更廣泛的接受,這些用戶特征可能需要考慮更多的沉思著將來在係統設計中。

資金

這項研究沒有得到具體撥款資助機構在公眾,商業,或非營利部門。

相互競爭的利益

作者沒有利益衝突聲明。

貢獻者

概念和設計:M.G.;數據收集:M.G.;數據分析:M.G.,n;解釋的數據:M.G.,n;起草文章:M.G.;和關鍵修訂文章的重要知識內容和最終批準的文章:M.G.,n。

確認

作者感謝科裏理解英裏每小時,消費者參與HealthInsight主管,對訪問係統的評估和後勤支持之前,在研究過程中。

引用