2. 西北工业大学 软件与微电子学院, 陕西 西安 710072
随着移动应用市场竞争的日益激烈,对移动应用的质量要求日益苛刻和严格[1]。易用性是评价移动应用交互体验的重要指标,有助于提升用户满意度,增加用户黏度[2]。与传统应用软件相比,由于存在交互操作模式较多、使用环境复杂、受屏幕大小限制、用户数量众多等特点,移动应用易用性评估日趋重要和困难[3]。
当前易用性评估方法研究仍主要集中在实验室评测[4]和现场评测方面[5]。但这两类方法对移动应用易用性评测并不充分。首先,移动设备种类繁多,处理能力不尽相同，且屏幕尺寸、触屏灵敏度等都会影响移动应用易用性。其次,由于移动应用使用环境复杂多样,并且可能持续变化。最后,移动用户类型众多,用户的知识背景、年龄、身体状况等,也都可能影响移动应用易用性。受限于测试成本和时间,传统实验室评测和现场评测方法均难以全面、准确评估移动应用易用性。
基于操作轨迹的易用性评估方法,则通过自动收集用户操作轨迹日志,分析识别用户使用障碍,研究评估移动应用易用性[6]。本文在用户操作轨迹模型基础上,定义了一组移动应用易用性评估指标,实现了真实用户使用场景下的大规模、自动化的移动应用易用性评估,使评估方法更为高效、客观、准确和低成本。
1 移动应用操作轨迹模型 1.1 Android操作轨迹日志在Android的用户接口系统中,“Activity”定义了用户交互窗口,通常附有一个视图(“View”),通过该视图来响应用户操作事件消息。“Activity”也可以附有对话框“Dialog”或者菜单“Menu”,以接收用户操作事件。在Android系统中,视图、对话框、菜单等不同窗口容器允许接收和处理不同类型的消息,如表 1所示。
| 窗口 | 事件类型 |
| 视图 | Click、 key press、adapter item click、 scroll |
| 对话框 | Key press、button click |
| 菜单 | Item select、 close |
| 其他 | Unhandled motion event、unhandled key event、 home key click、system key click、 preference click |
Android移动智能设备有返回键、菜单键、Home键和搜索键等系统健,这些系统健对所有移动应用都适用。Android图形接口系统只处理其注册的事件消息,而忽略未注册的事件消息。
1.2 移动应用操作轨迹模型移动应用操作轨迹模型是根据操作轨迹日志,对用户的移动应用交互操作过程的描述。这里,移动应用操作轨迹模型定义为一个扩展状态机O｛S,E,T,I,F｝。
S:操作状态集。在移动应用中,将每个独立用户界面视图定义为一个操作状态。在Android中,“View”、“Dialog”、“Menu”均可定义为操作状态。
E:操作事件集。在移动应用中,将用户对移动应用的操作事件定义为其操作事件,如“点击菜单”、“点击按钮”等。操作事件属性包括:事件名称、参数、操作对象、触发时间等。
T:状态转换函数。状态转移函数用以描述移动应用从一个状态(视图),在操作事件触发下,迁移到另一个状态(视图),即状态转换函数描述了状态之间可能的转换规则。
I:初始状态。通常将移动应用启动后的第一个状态称为其初始状态。
F:一组结束状态,表示移动应用退出或者任务完成时的状态。
移动应用操作状态机模型描述了移动应用所有可能的操作轨迹。为了分析移动应用易用性,针对某个任务,在期望的理想情况下的用户操作轨迹状态机,定义为基本操作状态机。而根据测试用户实际操作过程,生成的操作状态机实例,定义为用户操作状态机。通过对比分析基本操作状态机与用户操作状态机之间的差别,有助于评估移动应用易用性。例如,图 1描述了一个基本操作状态机,图 2是用户操作状态机。二者相比较,基本操作状态机可通过较少的状态和操作事件完成任务,而用户操作状态机则增加了一个新的状态S4和多个操作事件。
|
| 图 1 基本操作状态机 |
|
| 图 2 用户操作状态机 |
在进行易用性分析时,首先通过监听用户操作日志,建立用户实际操作轨迹状态机模型,然后对比用户实际操作状态机与基本操作状态机之间的差异,分析和评价移动应用的易用性。这里,基于操作效率、正确性、可学习性、可记忆性等,定义了如下一组易用性度量指标:
1) 返回率Rb:用户退回之前状态的概率。返回率描述了针对某个用户任务,当用户操作失误时,返回到前一状态的频率。即用户返回操作数Cregressive-operation与基本操作数Cbase-operation之比。这里的返回率特指当用户点击“返回键”而触发的用户操作状态回退,即
2) 偏离率Rd:用户在任务执行的过程中,偏离预期操作序列的操作数与完成该任务的基本操作数的比率。其中偏离操作数可以由用户操作数Cuser-operation与基本操作数Cbase-operation之差计算,即
3) 首次成功率Rf:是指用户执行任务时,在各个状态下,第一次操作成功的个数与基本操作数的比率,它可反映用户是否能够快速掌握移动应用的操作模式。
4) 学习次数Co:是指用户从第一次执行任务开始,平均执行多少次任务后,能够达到稳定操作状态,即用户操作状态机接近或者与基本操作状态机一致。
5) 熟练度Rp:在用户稳定操作状态情况下,其任务平均完成时间Tuser与基本操作模型的任务预期完成时间Tbase之比,即
6) 记忆度Rr:是指用户在长时间不用的情况下,当再次操作时平均完成时间Tuser-re与基本操作模型的任务预期完成时间Tbase之比,即
为了验证本文所提出方法的有效性,选择开源的移动应用杏林书童作为实例研究对象。招募了20名本科生和研究生作为实验人员,其中10人来自计算机相关专业,10人来自非计算机专业,有10名男性,10名女性,年龄分布在19到27岁之间。所有测试人员均使用自己的Android智能手机,安装具有操作轨迹日志监听功能的杏林书童移动应用。
杏林书童是一款中医方济速查移动应用,我们设计了一个用户操作任务。该任务在杏林书童的首页,选择辩证类别“气血双补”,并在气血双补类别中选择方剂“八珍汤”,然后修改“八珍汤”中人参的药量为11克。该任务的具体操作步骤如表 2所示,其对应的基本操作状态机如图 3所示。然后分别请20名学生独立完成该操作任务,生成每个用户的操作状态机,图 4是其中某一个用户的操作状态机模型。对比分析发现,该用户在状态S4时,存在操作迟疑、误操作多等易用性问题。
| 操作序号 | 操作描述 |
| 1 | 用户在杏林书童首页S0,通过点击页面上的辩证类别事件e1,进入辩证类别菜单栏S1; |
| 2 | 在辩证类别菜单栏S1,通过向下滚动事件e6找到“气血双补”类别; |
| 3 | 通过点击“气血双补”事件e2,跳转到状态S2方剂名称对话框,显示出“气血双补”辩证类别下的所有方剂名称; |
| 4 | 通过滚动事件e7,找到“八珍汤”的方剂; |
| 5 | 通过点击“八珍汤”的方剂名称事件e3,跳转到状态S3,显示方剂“八珍汤”的详细信息; |
| 6 | 通过点击事件e4点击“加减/新增验方”按钮,跳转到状态S4,显示组成“八珍汤”的所有药物名称和剂量; |
| 7 | 通过双击药物的剂量数字事件e5,更改药量,保存之后到达最终状态S5,显示更改药量后的方剂细节。 |
|
| 图 3 杏林书童基本操作状态机 |
|
| 图 4 杏林书童用户操作状态机 |
通过分析20名学生的操作轨迹模型与基本操作轨迹模型之间的差异,应用所提出的评价模型,评估结果如表 3所示。根据表 3,用户操作返回率和偏离率较高,首次成功率较低,平均需要3.45次才能熟练操作。熟练操作后平均用户操作时间接近标准操作时间,并且用户记忆度较好。
本文提出的基于轨迹的移动应用易用性评测方法,能够支持大规模、远程、低成本的易用性分析和评估,帮助发现移动应用易用性存在的缺陷和问题。下一步,将基于本文的模型与算法,研究和开发相关的工具软件,开展大规模实验,进一步验证所提出方法的有效性。
| [1] | Jerry Gao, Bai X, Tsai W T, et al. Mobile Application Testing: A Tutorial[J]. IEEE Trans on Computer, 2014, 47(2): 26-35 |
| Click to display the text | |
| [2] | Ahmed Seffah,Mohammad Donyaee, Rex B, et al. Usability Measurement and Metrics: A Consolidated Mode[J]. Software Quality Journal, 2006, 14: 159-178 |
| Click to display the text | |
| [3] | Gafni R. Usability Issues in Mobile-Wireless Information Systems[J]. Issues in Informing Science and Information Technology, 2009, 6: 755-769 |
| Click to display the text | |
| [4] | Hussain A, Kutar M. Usability Metric Framework for Mobile Phone Application[C]//The 10th Annual Post Graduate Symposium on The Convergence of Telecommunications, Networking and Broadcasting, 2009: 456-462 |
| Click to display the text | |
| [5] | Coursaris C K, Kim D J. A Meta-Analytical Review of Empirical Mobile Usability Studies[J]. Journal of Usability Studies, 2011, 6(3): 117-171 |
| Click to display the text | |
| [6] | Ma Xiaoxiao, Yan Bo, Chen Guanling, et al. Design and Implementation of a Toolkit for Usability Testing of Mobile Apps[J]. Mobile Networks and Applications, 2013, 18: 81-97 |
| Click to display the text |
2. School of Software and Microelectronics, Northwestern Polytechnical University, Xi'an 710072, China
