Соберите реальные вопросы клиентов и проверьте, как ИИ-чат-бот отвечает на них, уточняет условия и передаёт обращение менеджеру. Для каждого диалога заранее запишите, какой ответ считаете верным и какое действие ждёте от бота. Так вы сможете проверить весь путь клиента: от запроса цены до заявки в CRM, системе учёта клиентов. Ниже — порядок проверки для малого и среднего B2B-бизнеса: как подобрать вопросы, найти ошибки в ответах и решить, готов ли бот к работе.
Какие вопросы клиентов включить в проверку?
Начните с переписки, которую менеджеры уже ведут с покупателями. Ищите вопросы о минимальной партии, наличии, сроках поставки и повторных заказах. Сохраните исходные формулировки: клиент пишет «можно как в прошлый раз?», а не «прошу повторить предыдущую спецификацию». Бот должен разобраться именно с первым вариантом.
Переносите в тестовый набор только смысл обращения, без реквизитов и других сведений о конкретном покупателе. Для каждого вопроса укажите ожидаемый ответ, источник условий и следующее действие. Менеджер, который ведёт такие сделки, проверяет содержание; человек, который настраивает бота, проверяет поведение системы.
- Обычный запрос: «Какая минимальная партия для опта?» Бот находит условие в базе знаний и сообщает его без дополнений от себя.
- Неполный запрос: «Нужны расходники для производства». Бот уточняет вид товара, прежде чем обсуждать поставку.
- Запрос с исключением: «Можно получить отсрочку уже на первую поставку?» Бот отвечает в пределах правил и передаёт вопрос менеджеру, если нужно отдельное решение.
- Повторное обращение: «Повторите прошлый заказ, но упаковку замените». Бот уточняет, какой заказ имеется в виду, и фиксирует изменение.
- Вопрос без ответа в документах: «Точно успеете к открытию?» Бот сообщает, что срок нужно подтвердить, и предлагает передать запрос сотруднику.
Это примеры для теста, а не готовые правила продаж. Подставьте свои условия и добавьте фразы из переписки. Проверьте также опечатки, сокращения и сообщения, в которых клиент задаёт несколько вопросов сразу.
Как понять, что бот отвечает по базе знаний?
Сначала подготовьте эталон: короткий ответ, который одобрил ответственный менеджер. Рядом укажите документ или раздел базы знаний, откуда взяты условия. Если сотрудники сами дают разные ответы, сначала согласуйте правило. Иначе оценка будет зависеть от того, кто проверяет диалог.
Основа такой проверки — база знаний с понятными условиями и точными ответами. Разделите общие правила и исключения. Например, обычный срок подготовки заказа и срочную отгрузку по согласованию лучше описать отдельно, чтобы бот не предлагал исключение каждому покупателю.
Читайте ответ целиком. Бот может верно назвать минимальную партию, а затем добавить обещание бесплатной доставки, которого нет в документах. Отмечайте отдельно верность условий, полноту ответа и неподтверждённые обещания. Гладкая формулировка сама по себе ничего не доказывает.
- Задайте вопрос в исходной формулировке клиента.
- Сравните ответ с эталоном и проверьте каждое условие по документу.
- Перефразируйте тот же вопрос разговорным языком.
- Добавьте просьбу об исключении: «Сделайте скидку, мы же оптом».
- Проверьте, сохранил ли бот правила и объяснил ли следующий шаг.
Отдельно проверьте конфликт документов: в тестовой базе оставьте старое условие и его новую версию с явной отметкой актуальности. Посмотрите, какой источник выберет бот. Если он смешивает условия, исправьте структуру базы или правила выбора источника и повторите диалог.
Когда ответа нет, задайте боту понятную границу: сообщить, что условие требует уточнения, и передать вопрос менеджеру. Фраза «срок подтвердит менеджер» допустима. Конкретное обещание поставки без основания в документах — ошибка.
Как проверить квалификацию заявки и передачу в CRM?
Пройдите путь клиента до конца. Правильный ответ о товаре ещё не означает, что заявка дошла до отдела продаж. После диалога откройте CRM и сравните карточку с перепиской: что просил покупатель, что уточнил бот и какое действие теперь ждут от менеджера.
Для проверки задайте боту простую задачу: выяснить потребность и передать обращение сотруднику. Заранее определите обязательные сведения для вашей сделки. Например, поставщику упаковки нужны тип изделия и объём, а сервисной компании — описание задачи. Спрашивать бюджет стоит тогда, когда он влияет на дальнейшее предложение.
- Проверьте смысл заявки: бот сохранил запрос клиента без подмены товара или услуги.
- Проверьте изменения: новое количество или срок заменили прежнее условие, а не остались только в переписке.
- Проверьте статус: просьба прислать каталог не превратилась в подтверждённый заказ.
- Проверьте передачу сотруднику: менеджер видит суть вопроса и причину, по которой подключился к диалогу.
- Проверьте повторное сообщение: уточнение клиента попало в нужное обращение без лишнего дубликата.
Смоделируйте недоступность CRM в тестовой среде. Бот не должен писать «заказ оформлен», если система не подтвердила действие. Согласуйте запасной путь: сообщить о задержке и передать обращение через рабочий канал сотрудников. Проверьте отдельно, что менеджер его получил.
Именно на стыке диалога и CRM полезна совместная проверка с разработчиком интеграции. Менеджер видит смысловую ошибку, например потерянное требование к упаковке. Разработчик проверяет, на каком этапе сведения не дошли до карточки.
Как решить, готов ли ИИ-чат-бот к запуску?
До проверки определите ошибки, которые блокируют запуск. К ним стоит отнести выдуманные цены, обещания сроков без подтверждения и потерю заявки. Неудачную формулировку можно исправить отдельно, но ошибку, которая меняет условия сделки, сначала нужно устранить.
Ведите простой журнал: вопрос клиента, ответ бота, ожидаемое поведение, причина сбоя и результат повторной проверки. Разделяйте причины. Если в базе нет правила возврата, его добавляет ответственный за условия. Если правило есть, но бот его не находит, проверяют поиск по базе и настройки ответа.
После исправления повторите проблемный диалог и связанные с ним сценарии. Например, новое правило о минимальной партии проверьте в первом обращении и в повторном заказе. Правка инструкции не должна заставлять бота заново задавать вопросы, на которые клиент уже ответил.
Начните запуск с тех задач, которые прошли проверку. Если бот верно отвечает по каталогу, но ошибается при согласовании особых условий, оставьте такие обращения менеджеру. Для работы без сотрудника в чате отдельно проверьте сценарий приёма B2B-заявок ночью и в выходные: клиенту нужен понятный следующий шаг, а менеджеру — обращение, которое можно обработать.
Рабочий результат виден в связке: бот дал ответ по действующим условиям, сохранил уточнения и передал заявку в нужный канал. Повторите этот путь с тестовым обращением и откройте его со стороны менеджера.
Типичные ошибки при проверке ИИ-чат-бота
- Проверять только вопросы из инструкции. Добавьте формулировки клиентов с пропусками слов и неоднозначными просьбами.
- Оценивать ответ по впечатлению. Сверяйте условия с эталоном и отмечайте каждое обещание, для которого нет основания.
- Заканчивать тест на сообщении «заявка принята». Откройте CRM и проверьте содержание карточки.
- Исправлять всё одной длинной инструкцией. Сначала найдите причину: пробел в базе, ошибка поиска или сбой передачи данных.
- Проверять только отдельные сообщения. Пройдите диалог с уточнениями, сменой решения и просьбой позвать сотрудника.
Начните с одного обращения: за минуту выпишите вопрос клиента, на который менеджеру пришлось уточнять условия. Рядом запишите, что бот должен спросить перед ответом.
