Эффективность чат-бота: как оценить по диалогам, ошибкам и заявкам
ИИ-чат-бот провёл за месяц 800 диалогов. В отчёте это выглядит убедительно, но руководитель всё равно не знает, стало ли клиентам легче получить ответ и дошли ли обращения до продажи. Число переписок говорит о нагрузке, а не о результате.
Как оценить эффективность чат-бота? Сначала назовите задачу: разгрузить первую линию, собирать заявки или помогать покупателям с выбором. Затем сравнивайте одинаковые периоды по нескольким показателям. Мы в Intly советуем смотреть на передачи человеку, ошибки, целевые заявки и расходы вместе. Один красивый график не покажет, где клиент потерялся.
Пять показателей, с которых стоит начать
- Сколько людей обратились. Считайте и диалоги, и уникальных клиентов. Один человек может написать несколько раз; без второго числа рост переписок легко принять за рост аудитории.
- Сколько разговоров передали сотруднику. Доля передач равна числу переданных диалогов, делённому на все диалоги за период. Рост не всегда плох: агент мог правильно распознать сложные вопросы. Откройте несколько таких разговоров и проверьте причину.
- Сколько ответов пришлось исправить. Возьмите небольшую случайную выборку из завершённых диалогов и отмечайте неверные цены, обещания без подтверждения и пропущенные вопросы. Запишите число проверенных диалогов рядом с числом ошибок.
- Сколько обращений стали нужным действием. Для отдела продаж это может быть заявка с контактом, для сервиса — подтверждённая запись. Считайте долю от обращений, где клиент хотел совершить это действие, а не от всех посетителей сайта.
- Во сколько обошёлся полезный диалог. Разделите затраты на автоматизацию за период на число разговоров, которые завершились нужным результатом или корректной передачей сотруднику. Сверяйте эту цифру с качеством: низкая цена ошибочного ответа не делает его выгодным.
Например, за неделю пришло 100 обращений, 20 передали менеджеру, а в проверенной выборке из 25 разговоров нашли две ошибки. Доля передач — 20%, частота ошибок в выборке — 8%. Это учебный пример, а не показатель работы Intly или его клиентов. На следующей неделе сравнивайте те же определения и такую же выборку, иначе разница ничего не докажет.
Какие цифры есть в кабинете Intly AI
Intly AI — платформа на intly.ru. После подключения канала в разделе Интеграции, например виджета для сайта, переписки видны в Мессенджере, а сводные показатели — в Аналитике. Там можно выбрать последние 7, 30 или 90 дней и посмотреть число диалогов, уникальных клиентов, сообщений агента, передач человеку, распределение по каналам и расходы. Подробности экрана собраны на странице аналитики диалогов ИИ-агента.
Для вопросов о цене и условиях нужны актуальные источники в Базе знаний ИИ; поведение агента задают в Настройках ИИ. Если диалог должен закончиться заявкой, проверьте сведения в Лидах и дальнейший статус в вашей CRM. Экран аналитики показывает работу переписки, но сам по себе не подтверждает оплату или закрытую сделку. Для этого нужно сопоставить разговор с реальным заказом.
Чего нельзя поручить одному показателю
Не ставьте агенту цель любой ценой снизить число передач человеку. Он должен звать сотрудника, когда нет подтверждённого ответа, клиент просит нестандартную скидку или возник спор. Иначе доля передач улучшится, а число неверных обещаний вырастет.
Не считайте каждый ответ нейросети «решённым обращением». Откройте переписку: получил ли человек ответ на свой вопрос, пришлось ли ему повторять данные, сохранился ли контекст при передаче менеджеру? Тональность и уверенность ИИ могут подсказать, где искать проблему, но не заменяют такую проверку.
Как провести первую проверку за две недели
За первую неделю зафиксируйте исходные цифры: поток обращений, причины передачи сотруднику, ошибки в выборке и долю целевых заявок. На второй неделе измените только один источник знаний или одно правило ответа. Затем повторите измерение. Если исправлений стало меньше, а целевых обращений больше, у вас есть повод расширять запуск. Если выросло только число диалогов, сначала разберите причины.
Для клиентского ИИ-агента Intly простой диалог до пяти ответов стоит 6 ₽, сложный от шести — 12 ₽. Диалогом считается переписка с одним клиентом в течение 24 часов; цена действия одинакова на всех тарифах, а подписка и включённый объём различаются. Актуальные условия — на странице тарифов; свой объём обращений можно оценить в калькуляторе. Если только выбираете систему, начните с сравнения ИИ-агента и сценарного бота, а затем проверьте метрики на своих сообщениях.
