A/B-тестирование сценариев диалога

A/B-тесты лендингов давно стали нормой: меняем заголовок, цвет кнопки, порядок блоков — и смотрим, где больше заявок. С диалогами всё интереснее. Сценарий разговора состоит из десятков решений: как поздороваться, когда спрашивать телефон, называть ли цену сразу, сколько вариантов времени предлагать. Каждое из них влияет на результат, и интуиция здесь подводит чаще, чем кажется.

Хорошая новость в том, что диалоги тестировать удобнее, чем страницы. ИИ-ассистент ведёт сотни разговоров в неделю, каждый из них записан, и результат каждого можно отследить до записи или продажи в CRM. Плохая — в том, что тесты легко провести неправильно и сделать уверенный вывод из случайного шума.

Что вообще имеет смысл тестировать

Не каждая деталь стоит теста. Если изменение затрагивает один диалог из ста, результата вы не дождётесь. Начинайте с точек, через которые проходят все или большинство разговоров:

• Первое сообщение. Вопрос («Что вас интересует?») или предложение («Подскажу цену и свободное время — какая услуга нужна?»).
• Момент запроса контакта. В начале диалога, после ответа на первый вопрос или только при записи.
• Подача цены. Точная цифра, вилка, «от» или цена после уточняющих вопросов.
• Формат предложения записи. Два слота, три слота или открытый вопрос о дне.
• Работа с «подумаю». Отпустить, задать уточняющий вопрос или предложить бронь без оплаты.
• Тон. Нейтрально-деловой или тёплый разговорный.

Выберите правильную метрику

Частая ошибка — оптимизировать то, что легко измерить, а не то, что приносит деньги. Например, длину диалога или долю ответивших на первое сообщение. Приветствие с эмодзи может получить больше ответов, но меньше записей.

Практичный подход: одна главная метрика (обычно запись) и одна-две защитные — например, доля неявок и средний чек. Если вариант B поднял запись, но уронил чек на 15%, это не победа.

Сколько диалогов нужно для вывода

Самый неудобный вопрос. Размер выборки зависит от базовой конверсии и от того, какую разницу вы хотите поймать. Упрощённые ориентиры для теста с уровнем значимости около 95%:

• базовая конверсия 20%, ищем рост до 26% — нужно примерно 700–800 диалогов на каждый вариант;
• базовая конверсия 20%, ищем рост до 30% — около 300 диалогов на вариант;
• базовая конверсия 10%, ищем рост до 12% — уже несколько тысяч на вариант.

Вывод простой: небольшим компаниям имеет смысл тестировать только крупные изменения, которые могут дать заметный эффект. Тестировать «Здравствуйте» против «Добрый день» при 300 диалогах в месяц бессмысленно — вы не дождётесь достоверного ответа.

Пример расчёта

Сервис ремонта техники, 900 диалогов в месяц, 22% заканчиваются записью. Тестируем: называть цену диагностики сразу или после вопроса о модели устройства. Делим трафик пополам — по 450 диалогов в месяц на вариант. Если ожидаемая разница — 22% против 30%, хватит примерно трёх недель. Если ждём 22% против 25%, тест займёт несколько месяцев, и его лучше заменить более смелой гипотезой.

Как правильно разделить трафик

Распределение должно быть случайным. Нельзя показывать вариант A утром, а B вечером: вечерние клиенты другие, и вы измерите разницу аудиторий, а не сценариев. Нельзя отдать A сайту, а B — Telegram по той же причине.

Правильная схема:

1. Каждому новому собеседнику случайно назначается вариант, 50 на 50.
2. Вариант закрепляется за человеком: если он вернётся завтра, разговор продолжится в том же сценарии.
3. Метка варианта передаётся в CRM вместе с заявкой — чтобы потом посчитать не только запись, но и визит, и оплату.
4. Оба варианта работают одновременно, в одинаковых каналах и в одно время.

Когда ассистент связан с CRM, метка варианта попадает в карточку сделки автоматически. Это позволяет считать результат вплоть до выручки — подробнее о связке читайте на странице аналитики диалогов.

Пять ошибок, которые обнуляют тест

Остановка в момент «победы»

На третий день вариант B впереди на 40% — хочется сразу его включить. Но на маленьких выборках такие всплески случаются постоянно. Дождитесь заранее рассчитанного объёма.

Несколько изменений сразу

Поменяли приветствие, порядок вопросов и подачу цены — B выиграл. Что сработало? Неизвестно. Если меняете много, хотя бы понимайте, что тестируете «новую концепцию», а не отдельный элемент.

Тест во время аномалии

Распродажа, праздники, сбой рекламной кампании, новый канал трафика — всё это меняет аудиторию. Тест, запущенный в такой период, может не повториться в обычные недели.

Игнорирование сегментов

Иногда вариант проигрывает в целом, но сильно выигрывает в отдельном канале — например, во ВКонтакте. Посмотрите на результат по каналам, но не делайте окончательных выводов по маленьким подгруппам.

Нет чтения диалогов

Цифры говорят «что», переписки — «почему». Прочитайте 30–50 диалогов каждого варианта. Часто вы увидите, что B проигрывает не из-за идеи, а из-за одной неудачной фразы, которую легко исправить.

Примеры тестов и что они показали

Несколько типичных результатов из нашей практики — не как универсальные истины, а как иллюстрация того, насколько неочевидными бывают ответы:

• Цена сразу против цены после вопроса. В услугах с понятной стоимостью (стрижка, мойка) честная цифра в первом ответе давала больше записей. В услугах с широкой вилкой (ремонт, лечение) уточняющий вопрос перед ценой поднимал запись на 15–25%.
• Два слота против трёх. Разница оказалась незначимой, зато вариант «два слота + предложение назвать свой день» давал меньше оборванных диалогов.
• Запрос телефона в начале. Почти всегда проигрывал: люди уходили, не получив ответа на свой вопрос.
• Бронь без оплаты для «подумаю». Предложение «Давайте я придержу за вами время до завтра, отменить можно в любой момент» возвращало заметную часть сомневающихся.

Как оформить гипотезу перед запуском

Каждый тест стоит описать одной карточкой — это занимает пять минут и спасает от споров при подведении итогов. В карточке фиксируются:

1. Наблюдение. Что мы увидели в диалогах: «35% собеседников замолкают после ответа о цене ремонта».
2. Гипотеза. «Если сначала уточнить модель и симптомы, цена будет восприниматься как обоснованная».
3. Изменение. Точный текст варианта B и место в сценарии, где он применяется.
4. Метрики. Главная — доля диалогов с записью; защитные — средний чек и доля неявок.
5. Объём и срок. Сколько диалогов нужно и к какому дню их наберём.
6. Решение. Что сделаем при победе, проигрыше и ничьей.

Такие карточки со временем превращаются в базу знаний о ваших клиентах — что на них работает, а что нет.

Процесс: тест как привычка, а не разовая акция

Наибольшую пользу дают не отдельные эксперименты, а регулярный цикл:

• раз в месяц собираем гипотезы из чтения диалогов и вопросов менеджеров;
• приоритизируем по охвату (сколько диалогов затронет) и ожидаемому эффекту;
• запускаем один-два теста одновременно, не пересекающихся по этапам диалога;
• подводим итоги по заранее записанным критериям;
• победителя делаем базовым сценарием и фиксируем вывод в базе знаний.

Именно так выглядит этап сопровождения после запуска ИИ-сотрудника: сценарий не «сдаётся» один раз, а улучшается на реальных данных. Как это встроено в наш процесс работы, можно посмотреть отдельно.

Коротко о главном

A/B-тест сценария — это способ заменить спор мнений измерением. Тестируйте крупные изменения в точках, через которые проходит большинство диалогов. Выбирайте метрику, близкую к деньгам, и защитные показатели. Считайте выборку заранее, распределяйте трафик случайно, не останавливайтесь на первом всплеске и обязательно читайте сами переписки. Регулярный цикл тестов за несколько месяцев даёт прирост, который не получить никакой разовой правкой.