Аналитика и непонятые фразы
Два раздела Studio показывают, как бот работает с живыми клиентами: «Аналитика» в цифрах, «Обучение бота» (отчёт о непонятых фразах) по конкретным сообщениям.
Аналитика
Раздел «Аналитика» в левой колонке Studio. Вверху период (эта неделя, прошлый месяц, свой диапазон) и фильтр каналов (api iQChannels, web веб-чат и эмулятор); данные можно выгрузить в CSV или JSON.
| Блок | Показатели | Как читать |
|---|---|---|
| Вовлечённость | Активные пользователи по дням, новые и вернувшиеся пользователи, сессии | Сколько клиентов и как часто возвращаются. Сессия это разговор без пауз дольше dialog.sessionTimeoutInterval |
| Обмен сообщениями | Полученные сообщения, среднее число сообщений за сеанс, сообщения по языку | Длинные сессии с большим числом сообщений часто означают, что клиент не может добиться ответа |
| Понимание обращений | Понятные и непонятые сообщения, ТОП понятых сообщений (по намерениям), самые неудачные вопросы, 10 самых задаваемых вопросов, отправлено ответов QnA | Доля непонятых сообщений главный показатель качества NLU; неудачные вопросы отправляйте в базу или в намерения |
| Процессы | Инициированные процессы, успешно завершённые, ТОП процессов, самые неудачные процессы | Процесс считается успешным, если дошёл до завершения; частые обрывы в одном процессе указывают на неудобный шаг или слишком строгую проверку |
| Обратная связь | Положительные и отрицательные оценки ответов QnA и процессов | Оценки ставит клиент в веб-чате (большой палец) или действие «Отправить оценку» в сценарии |
Данные копятся по дням с момента запуска бота и не пересчитываются задним числом; на новом боте первые цифры появятся через сутки работы с клиентами.
Непонятые фразы
Раздел «Обучение бота» собирает сообщения, на которые бот ответил «не понял» или которые отмечены как неправильно понятые. Слева список фраз с фильтром по периоду и языку, справа диалог, в котором фраза прозвучала.
Откуда берутся записи (значок у фразы):
| Значок | Причина |
|---|---|
? | Бот не распознал фразу сам (нет намерения и ответа QnA с достаточной уверенностью) |
</> | Фразу пометило действие «Пометить как непонятое» в сценарии |
| Большой палец вниз | Клиент отметил ответ как неправильный |
| Флажок | Фразу пометил сотрудник вручную |
Состояния: Новые (ещё не разобраны), В ожидании (решение принято, но не применено), Обработано (применено к боту), Игнорируемые (не требуют действий: приветствия, опечатки, спам).
Разбор одной фразы:
- Выберите фразу в списке «Новые», прочитайте диалог справа.
- Нажмите «Обучить» и выберите, чем это было: намерение (выберите существующее, фраза станет его обучающим примером) или вопрос-ответ (выберите существующий вопрос или создайте новый). Можно добавить контексты.
- Фраза переходит в «В ожидании». Когда разберёте несколько фраз, нажмите «Принять все ожидающие обработку»: примеры добавятся в намерения и вопросы, бот переобучится.
- Фразы, которые не нужно учить, отмечайте «Игнорировать»; при ошибке «Вернуть» возвращает фразу в новые.
Разбирайте отчёт регулярно, например раз в неделю: это основной способ поднимать долю понятых сообщений в «Аналитике». Одинаковые фразы группируются и помечаются числом повторов, начинайте с самых частых.