Чат на сайте стоит третий месяц. Диалоги идут, виджет не падает, в личном кабинете крутятся цифры. Вопрос «работает ли он» на этом фоне звучит странно, конечно работает, вон сколько сообщений за неделю. А вот вопрос «окупается ли он» этим же набором цифр не закрывается: число сообщений ничего не говорит о том, сколько диалогов бот довел до конца сам, сколько клиент ждал ответа и во сколько вообще обходится один разговор.
Дальше без списка из шестнадцати показателей, которые кочуют по блогам агентств без единой пометки, с чего начать. Пять метрик, формула для каждой, честный пример расчета в деньгах и отдельно, что из этого посчитает готовая аналитика виджета, а что придется считать руками.
«Работает» и «окупается»: два разных вопроса
«Работает» значит одно: бот отвечает и не падает. Это проверяется за пять минут: открыл виджет, написал вопрос, получил ответ. Дальше этот факт ничего не говорит о деньгах: бот может отвечать исправно и при этом передавать оператору половину диалогов, которые сам мог бы закрыть, или отвечать медленно ровно в тот момент, когда клиент готов задать вопрос про наличие товара и уйти без ответа.
«Окупается» — это вопрос другого порядка: сколько стоит один разговор с клиентом через этот канал, и что это дает взамен. Ответ на него считается по нескольким конкретным метрикам. Формулу общей окупаемости, цену бота и срок ее возврата, разбирали отдельно в статье сколько стоит чат-бот для сайта: там про то, окупится ли бот вообще, здесь про то, что мерить дальше, когда он уже стоит и работает.
Разница между двумя вопросами особенно заметна в момент продления подписки. Владелец сайта открывает личный кабинет, видит несколько сотен диалогов за месяц и продлевает тариф автоматически, потому что цифра выглядит внушительно. При этом остается неизвестным, сколько из этих диалогов бот довел до конца сам и сколько ушло оператору с задержкой в несколько часов, разозлив клиента вместо того, чтобы ему помочь. Число диалогов растет, а качество канала может параллельно падать, и без отдельных метрик это просто не видно за одной общей цифрой.
Без метрик решение о продлении подписки или переходе на тариф выше принимается на ощущениях. Дальше пять показателей, с которых стоит начать, прежде чем гнаться за десятком метрик из статей про чат-ботов.
С каких метрик начать, если трафик небольшой
Статьи агентств про аналитику чат-ботов обычно дают список на 9–16 пунктов сразу: вовлеченность, отказы, CTR по кнопкам, активные часы, коэффициент удержания. Для сайта с сотней диалогов в месяц это избыточно, часть метрик на таком объеме статистически не набирается, и внимание распыляется.
Первое: объем, то есть сколько диалогов и сообщений в принципе было. Базовая цифра, без нее остальные метрики не с чем сравнивать: доля 30% от 20 диалогов и от 2000 диалогов это разная степень доверия к показателю.
Второе: доля диалогов, закрытых без оператора. Показывает, работает ли бот сам, или просто перекладывает разговоры на человека с задержкой. Разбор с формулой: в следующем разделе.
Третье: среднее время ответа. Для бота это обычно не проблема, узкое место чаще в передаче оператору. Разбирается отдельно, а привязка к деньгам показана по ссылке на модель конверсии.
Четвертое: CSAT, то есть доволен ли клиент разговором. Единственная метрика из пяти, которая спрашивает самого человека.
Пятое: стоимость одного диалога. Переводит все остальное в рубли и дает базу для сравнения с альтернативами: оператором на телефоне или формой обратной связи.
Порядок в списке не случаен: первые две метрики можно посчитать буквально по количеству строк в логе диалогов, без формул и без опроса клиентов, поэтому с них проще всего начать. CSAT и стоимость диалога требуют либо настройки опроса, либо сведения цифр из разных мест (тариф, зарплата оператора), поэтому логично добавлять их вторым шагом, когда первые две метрики уже собираются регулярно.
На практике удобно свести все пять в одну простую табличку, которую смотрят раз в месяц: пять строк, пять цифр, сравнение с прошлым месяцем. Это не требует BI-системы или отдельного дашборда: обычной таблицы в Google Sheets или Excel достаточно, если под рукой есть выгрузка диалогов, из которой берутся цифры. Главное здесь регулярность: метрика, которую посмотрели один раз при подключении бота и больше не открывали, бесполезна ровно так же, как ее отсутствие.
Дальше про каждую метрику отдельно: что она показывает, как считается и что считается нормой.
Доля диалогов, закрытых без оператора
В отраслевых обзорах эта метрика называется containment rate, по-русски прямого устоявшегося термина нет, дальше в статье используется «доля без оператора» или «доля закрытых ботом».
Формула словами: число диалогов, которые бот довел до конца сам, делится на все диалоги с ботом за тот же период, а результат умножается на 100%. В знаменателе все обращения к боту, в числителе те, где разговор не ушел человеку, ни в момент диалога, ни следующим сообщением от клиента с просьбой связать с менеджером.
По оценкам нескольких зарубежных отраслевых блогов, типичный показатель для не особо настроенного бота держится в районе 20–40%, у хорошо настроенных внедрений доходит до 70–90%. Разброс между нишами большой: у бота, который отвечает на вопросы о статусе заказа, доля закрытых без оператора обычно выше, чем у бота, который консультирует по сложному B2B-продукту с индивидуальными условиями. Отраслевой ориентир полезен как грубая рамка: 40% для сложной ниши может быть хорошим результатом, а 70% для простой считается посредственным.
Причины эскалации стоит смотреть отдельно от самого процента, потому что процент один, а картина за ним разная:
Клиент сам попросил оператора. Нормальная причина, не сигнал проблемы: часть людей в принципе не хочет разговаривать с ботом, особенно по крупным или спорным вопросам.
Бот не нашел ответ в своих материалах. Сигнал пробела в базе знаний: если один и тот же тип вопроса регулярно уходит оператору, значит в базе не хватает конкретного раздела.
Вопрос объективно требует человека. Возврат денег, индивидуальная скидка, юридический спор: такие обращения по-хорошему должны уходить оператору всегда, и высокая доля эскалации именно по ним не проблема бота.
Практический вывод из этого деления: снижать долю эскалации имеет смысл только за счет второй причины. Если разбор логов показывает, что бот регулярно упускает вопросы про, например, сроки доставки в конкретный регион, решение простое: добавить эту информацию в базу знаний, и доля закрытых без оператора вырастет за счет реального улучшения. Гнаться за самим процентом без разбора причин значит ухудшать сервис: бот, который прячет от оператора спорный вопрос о возврате денег ради статистики, создает недовольного клиента.
Клиент: У меня заказ пришел с браком, хочу вернуть деньги Бот: Понимаю, это неприятная ситуация. Такие вопросы решает менеджер напрямую, соединяю с оператором и передаю ему детали заказа
Такой диалог засчитывается как эскалация, но не как провал: бот правильно распознал тип обращения и передал его дальше с контекстом, и клиенту не пришлось повторять историю оператору с нуля. Разбор того, какие вопросы стоит отдавать боту, а какие оператору, подробнее в статье онлайн-консультант на сайт: живой оператор или ИИ.
Частая путаница: ответил не значит решил вопрос
При первом взгляде на цифры легко перепутать два разных показателя, которые звучат похоже. Первый: доля диалогов, где бот вообще что-то ответил, не промолчал и не выдал ошибку. Второй: доля диалогов, где ответ реально закрыл вопрос клиента, без последующей эскалации и без того, чтобы клиент написал тот же вопрос заново другими словами через минуту.
Первая цифра почти всегда выше второй, и разрыв между ними — это самостоятельный сигнал. Бот технически способен ответить на любое сообщение: если не находит точного совпадения в базе знаний, он все равно сформулирует какой-то текст, но этот текст может быть общей отговоркой не по существу вопроса. Формально это ответ, по сути нет.
Отличить одно от другого по логам можно без сложной аналитики: смотреть следующее сообщение клиента в том же диалоге. Если клиент повторяет вопрос перефразированной формулировкой или сразу просит оператора — это провал под видом ответа, и такие случаи стоит вычитать из доли без оператора отдельно, даже если формально эскалации не произошло. На небольшом объеме диалогов пробежаться по десятку последних логов руками быстрее, чем настраивать автоматическое отслеживание повторных формулировок.
Время ответа: почему скорость не все
По данным исследования SuperOffice методом тайного покупателя на 1000 сайтов, среднее время первого ответа в чате на сайте составляет 2 минуты 40 секунд, а каждый пятый запрос (21%) остается без ответа вообще. Эти цифры про чат с живым оператором на другом конце, не про бота, и разница объясняет, зачем вообще стоит отдельно считать время ответа бота.
Для бота время первого ответа обычно укладывается в секунды: модель формирует ответ сразу и не уходит на обед или в отпуск. Узким местом становится момент передачи оператору, именно там время ответа резко удлиняется до тех же минут или часов, что и у обычного чата без бота. Метрику стоит считать раздельно: время ответа бота отдельно, время до первого ответа оператора после эскалации отдельно. Иначе быстрый бот маскирует медленную передачу человеку в общей цифре.
Связь скорости ответа с конверсией и деньгами, включая расчет на условном примере с трафиком и средним чеком, разобрана в статье как чат на сайте увеличивает заявки: там же честно сказано, что единой цифры «прирост конверсии на каждую секунду» в открытых источниках нет, и подставлять стоит свои данные.
На практике полезнее смотреть на разброс времени ответа. Среднее в 5 секунд может скрывать за собой половину ответов за 2 секунды и половину за 15, если модель периодически подвисает на сложных запросах к базе знаний. Если инструмент аналитики умеет показывать медиану или процентиль, например, за сколько секунд укладываются 90% ответов, эта цифра честнее описывает опыт типичного клиента, чем одно усредненное число, которое легко тянет один медленный выброс.
Сколько диалогов нужно накопить, прежде чем доверять цифрам
Метрики, посчитанные на малом числе диалогов, обманчивы: доля без оператора 50% на четырех диалогах — это два диалога туда, два сюда. В статье про то, как чат увеличивает заявки, для похожей ситуации с конверсией называется ориентир: на 30–50 визитах случайное колебание перекрывает эффект от изменений полностью, и выводы можно делать не раньше, чем накопится хотя бы пара сотен диалогов. Для метрик из этой статьи логика та же.
Доля без оператора и CSAT нуждаются в наибольшем объеме данных, потому что это доли и проценты. Стоимость диалога и время ответа устойчивее к малому числу наблюдений: даже на пяти диалогах среднее время ответа бота уже примерно отражает реальность, потому что там нет случайности «эскалировали или нет», есть просто время, которое считается по каждому диалогу отдельно. Правило простое: чем более редкое событие лежит в основе метрики, тем больше диалогов нужно накопить, прежде чем цифре можно доверять.
На практике для сайта с полусотней диалогов в месяц осмысленно смотреть долю без оператора и CSAT не чаще раза в месяц и не удивляться, если два соседних месяца дают разброс в 15–20 процентных пунктов на ровном месте: это шум малой выборки.
CSAT: доволен ли клиент разговором
Первые три метрики раздела считаются по логам диалогов, без участия клиента. CSAT (Customer Satisfaction Score) устроен иначе: он спрашивает мнение у самого человека.
Формула словами: число оценок 4 или 5 из пяти возможных делится на общее число ответивших на вопрос об оценке, результат умножается на 100%. Технически собирается просто: короткий вопрос в конце диалога, шкала из пяти звезд или эмодзи, без отдельной формы и обязательных полей. Чем длиннее опрос, тем меньше людей его заполнят.
По устоявшемуся в CX-практике ориентиру, показатель от 75% и выше обычно считается хорошим результатом, точная норма при этом сильно зависит от отрасли и специфики самих обращений. Банк и интернет-магазин бытовой техники будут сравнивать себя с разными числами, и это нормально: смысл CSAT в отслеживании собственной динамики месяц к месяцу.
Бот: Помог мой ответ решить вопрос? Оцените от 1 до 5 Клиент: 5, быстро разобрались
Низкий отклик на такой вопрос (когда оценку ставит меньше 10–15% диалогов) сам по себе тоже сигнал: формулировка вопроса или место его появления не работают: часть посетителей просто закрывает вкладку сразу после получения ответа, не заметив запрос на оценку.
У CSAT есть встроенное искажение, о котором стоит помнить при чтении цифры: отвечают в основном те, у кого мнение сильное в ту или иную сторону. Клиент, которого разговор устроил ровно на среднем уровне, «нормально, ничего особенного», чаще всего просто закрывает вкладку без оценки, а вот довольный или раздраженный клиент с большей вероятностью нажмет на звезды. Из-за этого выборка ответивших смещена в сторону крайних оценок, а сам CSAT получается чуть более полярным, чем настроение всех клиентов в среднем. Метрику все равно стоит собирать: она колеблется сильнее, чем ощущается на глаз при чтении отдельных диалогов.
Шкала оценки тоже влияет на результат: пятизвездочная шкала с порогом «4 или 5 считается хорошо» отличается от простого бинарного выбора «понравилось / не понравилось» тем, что дает больше пространства для средних оценок 3, которые в проценты CSAT не попадают ни в плюс, ни в явный минус. Для чата на сайте с небольшим потоком проще начинать с бинарной шкалы: меньше трения для клиента, выше отклик, а сравнивать с отраслевым порогом 75% тогда стоит осторожно, потому что бинарная шкала и пятибалльная считаются по разным правилам.
Стоимость одного диалога: посчитаем
Ни один из отраслевых списков метрик не переводит показатели в рубли напрямую, хотя именно этот перевод отвечает на вопрос про окупаемость. Формула простая словами: стоимость диалога это цена бота за период, поделенная на число диалогов за тот же период. Для подписки делится месячный платеж, а для разовой разработки сумма делится на ожидаемый срок использования и раскладывается на месяцы, тот же принцип, что в расчете окупаемости из статьи про цену чат-бота.
Посчитаем на условном примере: цифры ниже это допущение для иллюстрации формулы. Сайт подключил подписку за 2 490 ₽ в месяц и получает 300 диалогов в месяц через виджет. Стоимость диалога: 2 490 ₽ делится на 300 диалогов, получается около 8,3 ₽ за разговор.
Теперь добавим оператора в расчет. Из этих 300 диалогов бот закрывает 70% без оператора, это 210 диалогов, а остальные 90 уходят на живого человека. Его зарплата условно 40 000 ₽ в месяц при загрузке 25% рабочего времени на этот канал, то есть 10 000 ₽ в месяц. Картина расходится надвое: стоимость диалога с участием оператора растет до 138,8 ₽ за один такой разговор (2 490 ₽ плюс 10 000 ₽, поделенные на 90 диалогов), а диалог, закрытый ботом целиком, стоит около 11,9 ₽ (те же 2 490 ₽, поделенные на 210 диалогов).
Разница в порядок с лишним показывает, почему доля без оператора из раздела выше служит прямым рычагом стоимости. Чем больше типовых вопросов закрывает бот сам, тем меньше оператор тратит время на простые обращения и тем ниже общая стоимость диалога на весь канал.
У формулы есть встречный эффект: она чувствительна и к доле без оператора, и к самому объему трафика. Возьмем второй условный пример: сайт с низким потоком, 40 диалогов в месяц, та же подписка за 2 490 ₽ в месяц. Даже при доле без оператора 70% (28 диалогов чисто ботом, 12 с эскалацией) стоимость диалога без участия оператора получается около 88,9 ₽, на порядок дороже, чем в первом примере с 300 диалогами, просто потому что фиксированная цена подписки делится на меньшее число разговоров. Стоимость диалога падает с ростом трафика при той же подписке, и это стоит учитывать при сравнении своих цифр с чужими кейсами: низкая стоимость диалога на большом сайте не значит, что тот же бот на маленьком сайте будет стоить так же дешево.
Что считает аналитика из коробки, а что вручную
Разные виджеты и SaaS-платформы дают разный набор готовой аналитики, и здесь стоит называть только то, что есть на самом деле. Возьмем в пример аналитику Otvion, потому что мы сами ее делаем и знаем точно, что она считает, а что нет.
Из коробки Otvion показывает: число диалогов и сообщений за текущий месяц и за последние 7 дней, число токенов запроса и ответа модели, и отдельным блоком топ вопросов, то есть какие темы посетители поднимают чаще всего. Этого достаточно, чтобы увидеть объем и понять, о чем вообще спрашивают на сайте.
Вручную считается: доля диалогов без оператора, время ответа и CSAT в аналитике пока не выводятся отдельными цифрами. У Otvion есть выгрузка истории диалогов в CSV с датой каждого сообщения, страницей и ролью отправителя, включая роль оператора. Короткий рецепт, как посчитать долю без оператора по такой выгрузке за один заход, без специальных инструментов:
- Выгрузить диалоги за период (CSV с колонками даты, страницы, роли и текста сообщения).
- Сгруппировать строки по диалогу, чтобы получить список уникальных разговоров.
- Отметить диалоги, где среди ролей встречается оператор: это эскалированные.
- Разделить число диалогов без отметки оператора на общее число диалогов и умножить на 100%.
Время ответа считается похожим способом, по разнице дат между сообщением клиента и следующим ответом бота или оператора в том же диалоге: отдельно для пар клиент-бот и отдельно для пар клиент-оператор, чтобы не смешивать быстрые ответы модели с более медленной ручной перепиской.
Ситуация типична не только для нашего сервиса: у большинства виджетов на рынке готовая аналитика ограничивается объемом и базовой статистикой, а более тонкие метрики вроде доли без оператора или CSAT либо не считаются вовсе, либо доступны только на старших тарифах. Прежде чем гнаться за пятью метриками из этой статьи, стоит проверить, какие из них ваш сервис вообще умеет считать сам, а какие придется собирать вручную по выгрузке.
Сводная таблица метрик
Ниже все пять метрик в одном месте: что считать, по какой формуле и с какой периодичностью проверять, чтобы не мерить чаще, чем накапливается статистика, и не забывать про метрику месяцами.
| Метрика | Формула | Как часто смотреть |
|---|---|---|
| Диалоги и сообщения | Сумма за период | Раз в неделю |
| Доля без оператора | Диалоги без эскалации от всех диалогов, в процентах | Раз в месяц |
| Время ответа | Отдельно для бота и для оператора после эскалации | Раз в месяц |
| CSAT | Оценки 4 или 5 из общего числа ответивших, в процентах | Раз в месяц |
| Стоимость диалога | Цена бота за период, деленная на число диалогов | Раз в квартал |
Частые вопросы
Что такое CSAT простыми словами? Короткая оценка от клиента сразу после разговора: понравилось общение или нет, обычно по шкале из пяти звезд или эмодзи. В отличие от объемных показателей вроде числа диалогов, CSAT — это единственная метрика из этой статьи, которая спрашивает мнение самого человека.
Как часто смотреть метрики чата? Объем (диалоги, сообщения) имеет смысл проверять раз в неделю, просто чтобы видеть, не упал ли поток обращений. Долю без оператора, время ответа и CSAT лучше смотреть раз в месяц: на меньшем окне статистика на среднем сайте набирается слабо, зато месячная динамика уже показывает тренд. Стоимость диалога стоит пересчитывать реже, раз в квартал или при смене тарифа, потому что сама формула зависит от цены подписки, которая меняется нечасто.
Какой отчет по чату на сайте нужен для начала? Минимум: число диалогов за период и выгрузка истории с датами и ролями участников. Из одной этой выгрузки, даже без готовой аналитики, можно вручную посчитать все пять метрик из статьи: посчитать диалоги, отфильтровать те, где появлялся оператор, и посчитать разницу дат между сообщениями. Готовая аналитика виджета ускоряет процесс, но не обязательна, чтобы начать хотя бы с объема и доли без оператора.
Нужно ли сравнивать свои метрики с показателями конкурентов или отраслевыми бенчмарками? Как ориентир можно, как норматив нет. Отраслевые цифры вроде «70–90% у лидеров» по доле без оператора собраны по рынку в целом, часто зарубежному, и не учитывают конкретную нишу, сложность вопросов и качество базы знаний конкретного сайта. Полезнее следить за собственной динамикой месяц к месяцу: растет ли доля без оператора после того, как в базу знаний добавили ответ на частый вопрос, снижается ли стоимость диалога с ростом трафика. Сравнение с собой в прошлом месяце честнее, чем сравнение с чужим средним по больнице.
Что в деньгах
Пять метрик из этой статьи нужны для одного решения: продлевать подписку на текущих условиях, переходить на тариф с большими лимитами или менять сервис. Доля без оператора и стоимость диалога напрямую показывают, окупает ли себя канал, а время ответа и CSAT объясняют, почему цифры именно такие.
Метрики работают как связка. Растущая доля без оператора при падающем CSAT — это плохой сигнал: бот стал реже передавать диалоги человеку: он реже признает, что не справляется. Падающая стоимость диалога при растущем времени ответа тоже повод присмотреться: возможно, дешевизна достигается за счет того, что клиенты стали ждать дольше и часть из них уходит, не дождавшись ответа. В самой стоимости диалога это не видно, только в связке с временем ответа и числом обращений. Ни одна метрика по отдельности не рассказывает всю историю, но пяти вместе для этого обычно достаточно.
Отрезвляющий вывод: если считать пока нечем, потому что нет даже базовой выгрузки диалогов, начинать нужно с настройки самого сбора данных. Без него любые расчеты окупаемости остаются на уровне ощущений, даже если бот на сайте действительно исправно отвечает.
Если хотите проверить эти метрики на своем сайте без сложной настройки: Otvion ставится одной строкой кода, бесплатный тариф без карты, регистрация на otvion.ru/app/register.