Чтобы находить ошибки чат-бота, регулярно разбирайте диалоги, в которых он не понял сообщение, не предложил подходящий ответ или не довёл человека до следующего шага. Отмечайте, где именно остановился разговор и чего ожидал клиент. Так вы сможете отделить сбой сценария от неясного вопроса и решить, что исправить: формулировку, ветку диалога, передачу менеджеру или интеграцию. В статье — порядок разбора и чек-лист для небольшой B2B-команды.
Какие обращения считать необработанными?
Начните с простого критерия: обращение считается необработанным, если человек не получил полезного ответа или не понял, что делать дальше. Бот может формально отправить сообщение, но фактически не помочь. Например, клиент спрашивает, можно ли заказать услугу для нескольких подразделений, а бот показывает только варианты для одного отдела.
Соберите отдельную выборку диалогов, где человек повторяет вопрос, выбирает «другое», просит позвать сотрудника или прекращает отвечать после ответа бота. Добавьте и случаи, когда менеджер вручную исправил данные или попросил клиента повторить запрос. Каждый такой эпизод — повод проверить конкретный участок сценария, а не переписывать бота целиком.
При разборе смотрите на весь разговор, включая сообщения до и после сбоя. Один и тот же ответ может быть уместным в начале диалога и бесполезным после того, как клиент уже описал задачу.
Как разобрать диалог и определить причину?
Откройте переписку и зафиксируйте четыре вещи: что хотел клиент, что ответил бот, где разговор застрял и какой следующий шаг был бы полезен. Записывайте суть своими словами, не копируя только технический текст ошибки. Так менеджер и тот, кто настраивает сценарий, поймут проблему одинаково.
- Определите задачу клиента: узнать условия, подобрать услугу, оставить заявку или связаться с менеджером.
- Найдите первое сообщение, после которого разговор пошёл не по плану.
- Проверьте, предлагал ли бот понятный ответ или вариант продолжения.
- Сравните ожидаемое действие с фактическим: например, заявка должна была попасть сотруднику, но диалог завершился без передачи.
- Запишите изменение, которое могло бы помочь: новый вариант ответа, уточняющий вопрос, переход к другой ветке или передача человеку.
Не ставьте отметку «ошибка бота», если клиент просто ушёл из чата без объяснения. Сохраните такой диалог для наблюдения, но не делайте вывод по одному случаю. Когда похожие ситуации повторяются, проверьте, есть ли в сценарии понятный ответ на этот тип запроса.
Если обращение должно было перейти сотруднику, проверьте, дошло ли оно до нужного менеджера и получил ли тот контекст переписки. Передача диалога оператору — один из способов закрыть запрос, который бот пока не может обработать самостоятельно. В статье о работе чат-бота с заявками ночью и в выходные эта задача рассматривается на примере обращений вне рабочего времени.
Как понять, что исправлять в первую очередь?
Сгруппируйте найденные проблемы по причине. Например: бот не распознаёт распространённую формулировку, задаёт слишком общий вопрос, предлагает неподходящий вариант, теряет сведения между шагами или неправильно передаёт обращение. Группировка помогает увидеть повторяющийся пробел вместо длинного списка отдельных переписок.
- Не понял запрос. Добавьте в сценарий близкие по смыслу варианты формулировки или задайте уточняющий вопрос.
- Ответил, но не помог. Проверьте, есть ли в сообщении конкретная информация и понятный следующий шаг.
- Задал лишний вопрос. Уберите вопрос, если ответ уже есть в предыдущих сообщениях.
- Потерял контекст. Проверьте переходы между ветками и то, какие ответы клиент уже дал.
- Не передал заявку. Проверьте правило передачи, получателя и сведения, которые должны прийти менеджеру.
Приоритет отдавайте проблемам, которые мешают клиенту получить ответ или оставить заявку. Для B2B-сценария особенно полезно проверить квалификацию: бот должен выяснить задачу клиента и передать менеджеру достаточно сведений для продолжения разговора. Подход к распределению заявок по компетенциям менеджеров описан в материале о передаче заявок через чат-бота.
После изменения пройдите сценарий сами: отправьте боту формулировку из проблемного диалога и проверьте ответ, переход и передачу заявки. Если исправление затронуло несколько веток, проверьте и их, чтобы новый вариант не сбил работу соседнего шага.
Что фиксировать в еженедельном чек-листе?
Для регулярной проверки хватит короткой таблицы или списка. Важно сохранять не только найденную ошибку, но и принятое решение. Иначе через неделю одна и та же переписка снова попадёт в разбор, а команда не вспомнит, меняли ли уже сценарий.
| Что проверить | Что записать |
|---|---|
| Запрос клиента | Какую задачу человек пытался решить |
| Место сбоя | Сообщение или переход, после которого бот перестал помогать |
| Причина | Пробел в сценарии, непонятный вопрос, потеря контекста или проблема передачи |
| Решение | Что меняют и кто проверит результат |
| Повторная проверка | Какой запрос отправить боту после изменения |
Не пытайтесь исправить все формулировки за один раз. Выберите несколько повторяющихся проблем, внесите изменения и проверьте их на тех же примерах. Если бот подключён к CRM или другой системе, отдельно проверьте, что сведения из диалога дошли до нужного поля и не потерялись при передаче.
Каких ошибок избегать при разборе?
- Менять сценарий после одного неоднозначного диалога, не проверив, повторяется ли проблема.
- Оценивать только последнюю реплику и пропускать контекст, который клиент дал раньше.
- Добавлять длинный ответ вместо простого уточняющего вопроса.
- Исправлять текст, не проверяя переход к следующему шагу.
- Считать задачу закрытой сразу после публикации изменения, не пройдя сценарий повторно.
Если одни и те же обращения требуют ручной помощи, а причины связаны с логикой диалога, квалификацией заявок или обменом данными между системами, сначала опишите примеры и нужный результат. Это поможет определить, достаточно ли изменить отдельную ветку или нужно пересмотреть сценарий и интеграцию.
На этой неделе разберите несколько необработанных диалогов, сгруппируйте их по причинам и исправьте одну повторяющуюся проблему. Затем отправьте боту исходные запросы и проверьте, что он даёт понятный ответ или передаёт разговор сотруднику.
