标题
人工标注
公司
亿贝 eBay @支付与风险团队
2023.09 - 2023.11
我的角色
UX 研究
UI 设计
UX 设计
从初始的调研、设计、测试到最终的交付，我从0到1构建并上线了人工标注功能。后续数据证明我的设计有效地帮助公司实现了其业务目标，减少了大约29%的人工数据标注平均时长。
为了遵守保密协议，我在本案例研究中省略和模糊了机密信息。本案例研究中的所有信息都是我个人的观点，并不一定反映公司的观点和事实。
背景
eBay 支付与风险团队训练并使用人工智能模型来预防支付欺诈等可能造成资损的行为，这一过程需要了大量人工数据标注工作的支持。虽然一部分不涉及敏感数据的标注工作被外包了出去，但依然有一个内部团队专门负责处理涉及敏感数据以及需要一定行业知识支撑的标注工作。
eBay 的内部人工标注团队 (IML) 包括三个不同的角色： 数据科学家（Data Scientist）负责创建标注任务；管理员（Label Manager）负责分配这些任务；标注员（Labeler）负责完成标注任务，然后将标注完成的数据返回给数据科学家作进一步处理。
业务问题 & 目标
由于 Google Sheets, Excel等电子表格工具缺乏适配标注工作的专业功能，完全依赖电子表格工具的人工数据标注工作的效率非常低下。这导致标注任务的完成时长普遍过长，减缓了AI模型的更新速度，影响其检测能力的准确性，增加了资损的风险。
在考虑人工成本后，我们决定不再雇佣更多的标注员，而是开发一款专门用于人工标注的内部工具。我们的目标是将数据标注过程的时长缩短约 25%，以满足人工智能模型更新的需要。
发现
在人工数据标注的过程中，IML 团队的每个角色都需要完成不同的任务。因此，我需要为每个角色设计专属的工作流程。为了更深入地了解每个角色未满足的用户需求，我使用了不同的研究方法以满足不同的目的，并和我的产品经理一起合作执行了这些研究工作。
发现和需求 (数据科学家)
定义
根据研究中发现的用户需求以及各角色工作时间的在总时长的占比，我为每个角色制定了不同设计目标。我们希望满足不同用户的具体要求和期望，同时实现提高整体效率的目标。
设计 & 迭代
在为每个角色确定设计目标后，我制作了线框图来探索页面结构、功能布局和用户流程的可能性。我们在组会中对这些线框图进行了测试，并针对发现的设计问题进行了迅速迭代。紧接着，我立即转向制作高保真原型，因为它能更精确地展现产品的最终用户体验。
迭代案例1: 分步表单 vs 单页表单
迭代案例2: 为什么复杂结构更好？
为了确保我们的产品既直观又高效，我邀请了在流程中不同角色的成员对高保真原型进行了两轮用户测试。这些测试的目的是验证设计的实用性和可行性。在测试过程中，所有参与者都被分配了具体的任务，我们通过观察他们与界面的交互，发现了一些之前未曾注意到的问题。此外，测试完成后，他们的反馈也为我们提供了改善解决方案的宝贵意见。
可用性测试文件中的针对数据科学家的任务
一些反馈的例子
挑战
仅有两个半月的设计和开发时间，我们很难全部解决研究和测试中发现的所有需求。为了解决这个问题，我组织了一次workshop：
向团队展示我发现的痛点和见解
与开发讨论以了解解决问题的成本（工作量）
根据用户价值和开发工作量最终确定功能的优先级
未被选择的功能的开发被放在了MVP发布之后
结果
新功能推出后，我们进行了为期三个月的数据跟踪。值得庆幸的是，即使我离开了公司，我的同事们仍然提供了一些大概的数据。第二个月，随着 IML 团队越来越熟悉新工具，数据标注的平均时间缩短了 23%。令人印象深刻的是，到了第三个月，标注过程的平均时间减少到了 29%，超过了我们最初的目标。此外，由于许多功能尚未添加，进一步提高效率的潜力仍然很大。
数据科学家项目创建
数据科学家任务创建
管理员的任务管理页面
标注员的工作流程
收获
我能感觉到，我的努力不仅提高了整体流程的效率，这个项目对他们日常工作有很多积极影响。尤其是对标注员而言，由于复杂的原因，他们的诉求和体验在公司中往往被忽视。在我离开公司之前，我收到了一位标注员在 Slack 上发来的一条信息：
"我喜欢新的标注功能！这太有用了，我再也不用处理 Google Sheets 上拥挤的数据了。谢谢你，Lian。"