В статье обозреваются основные метрики сферы исследований пользовательского опыта, а также анализируется метод моделей кликов как один из способов применения искусственного интеллекта для оптимизации пользовательского опыта.
Ключевые слова: пользовательский опыт, UX-исследования, искусственный интеллект, модели кликов.
Введение
Исследования пользовательского опыта (англ. User Experience , UX ) играют ключевую роль в привлечении и удержании пользователей поскольку позволяют создать удобный и приятный в использовании интерфейс и учесть все потребности пользователя. Одним из ключевых методов UX исследований является анализ метрик. Понимание того, как пользователи взаимодействуют с приложением или сервисом, сильно влияет на успешность запуска площадки, на популярность и экономическую успешность.
Применение искусственного интеллекта в UX исследованиях помогает еще эффективнее и точнее понимать намерения пользователя и прогнозировать его дальнейшие действия [2]. ИИ-технологии, такие как машинное обучение и нейронные сети, позволяют обрабатывать огромные объемы данных, выделять скрытые закономерности и создавать предиктивные модели поведения. Таким образом, анализ метрик с использованием искусственного интеллекта способен значительно повысить экономическую эффективность IT-проектов.
Метрики пользовательского опыта
Для того чтобы оценить применимость искусственного интеллекта в сфере UX-исследований требуется проанализировать основные метрики, на которые опираются UX-специалисты.
Пользовательский опыт или User Experience — это комплексное восприятие и взаимодействие пользователя с продуктом, услугой или системой, включающее в себя эмоции, ощущения, удовлетворение и общее впечатление от использования [3]. Он охватывает все аспекты взаимодействия пользователя с продуктом, включая навигацию, дизайн интерфейса, удобство использования, доступность, эффективность выполнения задач и реакцию на обратную связь.
Пользовательский опыт стоит на стыке двух областей научного знания: психологии и дизайна пользовательских интерфейсов. Т. к. человеческое восприятие является довольно субъективным явлением, измерение UX, а также дальнейшая интерпретация результатов, может занимать довольно большое количество времени и ресурсов. Кроме того, на процесс UX исследования могут повлиять различные психологические факторы, к примеру настроение испытуемого [4].
Существующие методы измерения пользовательского опыта пытаются преобразовать субъективные ощущения пользователя от взаимодействия с интерфейсом в ряд объективно измеримых величин, называемых метриками. В UX существуют метрики 2 типов [3]:
Поведенческие метрики. Эти метрики основаны на наблюдении за поведением пользователей в процессе использования, включая действия, клики, время нахождения на странице, скорость выполнения задач и т. д. К таким метрикам относятся:
— Просмотр страниц : количество страниц, которое пользователь посетил на вашем сайте
— Доступность : процент времени, когда пользователи могут пользоваться вашим сайтом или приложением
— Задержка : время отклика (сколько проходит времени, прежде чем нажатие на кнопку приведёт к действию)
— Активные пользователи за 7 дней : число уникальных активных пользователей сайта или приложения за неделю
— Время на задание : сколько времени потребовалось пользователю, чтобы выполнить задание
— Успешность выполнения заданий : количество полностью выполненных заданий, поделенное на общее число попыток.
— Ошибки/Индекс ошибок : сколько раз пользователи вводят неправильную информацию
— Индекс отказов : как часто пользователи бросают выполнение задания, например, заполнение данных для оплаты.
Собирать данные метрики довольно легко, достаточно встроить в приложение механизм для отслеживания действий пользователя (встроить триггеры на требуемые действия). Данные будут агрегироваться в автоматическом режиме.
Данный тип метрик довольно важен, но не дает полной картины. Он позволяет отследить интересные закономерности, однако понять почему результаты получились именно такие не получится без использования метрик второго типа [3].
Метрики отношения . Эти метрики предоставляют информацию о том, насколько пользователи считают продукт или услугу ценной, полезной и приятной в использовании. К таким метрикам относятся:
— System Usability Scale : основана на опросе об опыте использования сайта или продукта из 10 вопросов, на которые нужно ответить оценкой от 1 до 5. Имеет свою довольно сложную шкалу вычисления
— Средний показатель удовлетворенности (CSAT): основан на опросе об эмоциях пользователя, которые он ощущает при взаимодействии с приложением или от определенный его частей. Вопросы оцениваются по шкале, пользователь заполняет ответы с оценкой от 1 до 5
— Эмоциональный рейтинг : Упрощенная версия CSAT, как правило использует общие вопросы, например «Как бы вы оценили опыт использования нашего продукта?». Не имеет особой шкалы для вычисления результатов
— Юзабилити : Метрика простоты использования/простоты выполнения задачи — одна из самых часто используемых UX-специалистами. Имеет свою единицу измерения — стоимость взаимодействия. Измеряется посредством исследования: некоторой группе респондентов дается абстрактное задание (напр. найти товар, зарегистрироваться в сервисе). UX-специалист следит за процессом и записывает возникшие проблемы (напр. пользователь не сразу нашел кнопку «Купить»).
—Индекс потребительской лояльности (NPS) : метрика, которая показывает отношение пользователя к приложению. Она помогает выяснить, с какой вероятностью он посоветует вас своим друзьям или родственникам. Для сбора метрики пользователь отвечает на данный вопрос, указывая вероятность рекомендации числом от 0 до 10. Далее результат измеряется по шкале.
Все метрики отношения так или иначе основаны на опросе пользователей, либо независимой группы респондентов (в случае с Юзабилити) не знакомых с приложением. Для их сбора достаточно внедрить формы обратной связи в сервис.
При проведении UX исследования специалисты опираются на совокупность метрик, как поведенческих, так и метрик отношения [3]. На основе анализа метрик можно принимать решения как именно следует изменить интерфейс чтобы улучшить впечатления пользователя от сервиса.
Модели кликов для систематизации поведенческих метрик
Одним из способов применения искусственного интеллекта в UX исследованиях является систематизация данных. Как правило сервисы собирают огромное количество поведенческих метрик. Они позволяют объективно проверить эффективность элементов интерфейса, поскольку представляют собой записи о действиях пользователя и содержат информацию о миллионах различных событий. Но, чтобы эффективно обработать поведенческие метрики и сделать выводы о пользовательской активности, нужны продвинутые методы анализа данных. Одним из таких методов являются модели кликов.
Модели кликов широко используются для объяснения или прогнозирования действий пользователей по кликам мыши на определенных участках экрана [1, 5], большинство используемых моделей кликов спроектированы на основе фундаментальных исследований. В основном такие модели полагаются на данные о местоположении (элементов интерфейса, курсора мыши), а наиболее важным источником информации для модели является информация о взаимодействии пользователя с интерфейсом (в основном информация о щелчках мыши). Как правило, информация для моделей хранится в специальных журналах, содержащих информацию о действиях пользователя. Выводы о поведении пользователя делаются на основе выявленных закономерностей в последовательности кликов.
На вероятность клика, однако, влияет положение элемента на странице, что приводит к отклонениям от заданной модели. Красвелл и соавторы [6] предложили каскадную модель (КМ) для борьбы с этой проблемой. Они предположили, что пользователи просматривают результаты поисковой системы сверху вниз, пока не найдут наиболее подходящий из них, после чего кликают на него. В своей канонической форме КМ предполагает, что «единожды кликнувший пользователь никогда не вернется, а тот, кто не нашел результат всегда продолжит работу». Таким образом КМ ограничена тем, что пользователь ищет только один целевой элемент на странице, после чего кликает на него и больше не возвращается.
Другим примером модели кликов является вероятностно-графическая модель (ВГМ) Коллера и Фридмана [7]. В данной модели поведение пользователей представлено как серия наблюдаемых и скрытых событий. ВГМ обеспечивает математически подтвержденный способ сделать вывод о группе событий на основе некоторой информации о других событиях. Большинство вероятностных моделей определяют два типа событий: пользователь просматривает элемент, и пользователь заинтересовался в элементе. ВГМ предполагает, что эти события независимы друг от друга, а нажатие на элемент происходит только если произошло событие одного из двух описанных типов.
Это ограничение было отброшено в модели просмотра пользователем (МПП) [8]. МПП фокусируется на прогнозировании будущей активности пользователей. В зависимости от ранжирования элементов и расстояния до элементов, по которым последний раз щелкали, МПП может оценить вероятность клика. Модель выводит апостериорное распределение для целевых параметров за счет байесовского метода. Вдохновленные МПП, Лю и соавторы [9] предложили байесовскую модель просмотра (БМП), которая имеет в своей основе аналогичные предположения о поведении пользователей. В результате двух серий экспериментов модель подтвердила свою эффективность.
Разные модели кликов имеют разные наборы зависимостей между событиями. Структура зависимостей создается под каждую модель вручную, но некоторые параметры могут быть вычислены. Например, Чен и Фишбахер [10] показали в исследовании, что простые метрики, такие как время ответа и местоположение клика, могут быть использованы как данные для модели. Эти данные можно собрать практически без усилий и дополнительных затрат. В результате эксперимента было выявлено, что информация о времени отклика и информация о положении щелчка дополняют друг друга, объясняя предпочтения испытуемых. Регулярный анализ мест кликов часто используется для оптимизации веб-дизайна [11].
Авторы исследований в области моделей кликов приложили большие усилия к уменьшению систематической ошибки и повышению достоверности модели путем экспериментирования с различными предположениями о поведении пользователей и построения более сложных моделей. В своей основе, целью моделей кликов является получение точной обратной связи об удобстве интерфейса из огромного объема данных пользователей [12, 13]. Для построения модели кликов можно использовать различную информацию помимо самих кликов, например, данные о пользователе, данные о его текущей активности и другую собираемую сервисом информацию. Шен и соавторы [14] предложили новую модель персонализированных кликов для описания предпочтений пользователя. Эта модель представляет собой общую схему персонализации, которую можно внедрить в модель кликов. Персонализация позволяет более точно определить поведение пользователей, выявить редкие сценарии или упростить работу с неполными данными.
В недавнем исследовании Цзян и соавторы [15] предложили управляемую данными модель анализа поведения пользователей при публикации онлайн-обзоров. Автор исследовал как количество элементов на веб-странице влияет на клики при публикации обзоров. Поведение участника в данном случае обусловлено его умением читать и взаимодействовать с веб-страницами. Различный опыт в работе с веб-страницами отображается и на позициях кликов пользователей при попытке опубликовать обзор. С помощью предложенной модели можно выявить различные группы пользователей и улучшить пользовательский опыт сайта.
Заключение
UX-исследования позволяют улучшить впечатления пользователя от интерфейса программного продукта, однако анализ метрик может быть довольно трудоемким процессом. Используя искусственный интеллект, а именно модели кликов, можно значительно ускорить проведение исследований пользовательского опыта, что в последствии позволит проектировать более удобные графические интерфейсы повысить удобство сервиса.
Литература:
1. Зубкова, Т. М. Прототипирование адаптивных пользовательских интерфейсов прикладных программ с использованием методов искусственного интеллекта / Т. М. Зубкова, Е. Н. Наточая. // Научно-технический вестник информационных технологий, механики и оптики. — 2019. — № 4. — С. 680–687.
2. B. Yang, L. Wei, Z. Pu Measuring and Improving User Experience Through Artificial Intelligence-Aided Design // Frontiers in Psychology. — 2020. — т.11, № 5 — С. 1–11.
3. Bill Albert, Tom Tullis Measuring the User Experience: Collecting, Analyzing, and Presenting UX Metrics (Interactive Technologies) — 3-е издание — Morgan Kaufman, 2022 г. — 384 с.
4. Расс Унгер, Кэролайн Чендлер UX-дизайн. Практическое руководство по проектированию опыта взаимодействия — Символ, 2019 г. — 327 с.
5. Jiang, G. Feng, X., Liu W., and Xingjun L. Clicking position and user posting behavior in online review systems: a data-driven agent-based modeling approach. // Information Sciences. — 2022. — т.512 — С. 161–174.
6. Craswell N., Zoeter O., Taylor M., Ramsey B. An experimental comparison of click position-bias models // 2008 International Conference on Web Search and Data Mining: докл. Междунар. конф. (Пало-Альто, Калифорния, США)
7. Koller D., Friedman N. Probabilistic Graphical Models: Principles and Techniques. — The MIT Press, 2009–1233c.
8. Dupret G. E., and Piwowarski B. A user browsing model to predict search engine click data from past observations // 2008 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval: докл. Междунар. конф (Сингапур) — С. 331–338
9. Liu C., Guo F., Faloutsos C. Bbm: bayesian browsing model from petabyte-scale data // 2009 ACM SIGKDD International Conference on Knowledge Discovery and Data Mining: докл. Междунар. конф (Нью-Йорк, США) — С. 537–546.
10. Chen, F., and Fischbacher, U. (2016). Response time and click position: cheap indicators of preferences // Journal of the Economic Science Association — 2016. –т.2, — С. 109–126.
11. Guo F., Li L., Faloutsos C. Tailoring click models to user goals // WSDM 2009 Workshop on Web Search Click Data: докл. Междунар. конф (Нью-Йорк, США) — С. 88–92
12. Wang S., Guo W. Sparse multi-graph embedding for multimodal feature representation. // IEEE Transactions on Multimedia –2017 –т.19 — С. 1454–1466
13. Shen Z., Lee P. P. C., Shu J., Guo W. Encoding-aware data placement for efficient degraded reads in XOR-Coded storage systems: algorithms and evaluation. IEEE Transactions on Parallel and Distributed Systems –2018 –т.29 — С. 2757–2770.
14. Shen S., Hu B., Chen W., Yang Q. Personalized Click Model Through Collaborative Filtering // 2012 WSDM: докл. Междунар. конф (Нью-Йорк, США)
15. Jiang G., Feng X., Liu W., Xingjun L. Clicking position and user posting behavior in online review systems: a data-driven agent-based modeling approach // Information Sciences –2020 –т.512 — С.161–174.
