ИИ поставил звонкам 78%. Супервайзер: оценил те же звонки на 44%
За последние 2 года контроль качества отделов продаж сильно изменился, и всё чаще собственники пробуют формат ИИ-оценки звонков, чатов и сделок, чтобы сэкономить бюджет и время, да и просто попробовать что-то новое.
Основная задача оценки: объективность. Если звонок, чат или сделка оценены на 50%, а в реальности они «весят» 80%, такая оценка вызовет споры, негатив и демотивацию всей команды.
В этой статье мы разбираемся, кто оценивает качественнее: человек или ИИ, и от чего зависит качество оценки.
Мы провели небольшой эксперимент: оценили 3 звонка вручную человеком и прогнали их через нашу ИИ-систему. Звонки принадлежат компании, которая продаёт рекламное продвижение, входящие теплые заявки.
Критерии сравнения: итоговый процент за звонок, баллы по этапам продаж, наличие найденных возражений.
Важная деталь эксперимента
ИИ в этом тесте настроена в общем, базовом формате: установление контакта, выявление потребностей, презентация, отработка возражений, завершение продажи. Мы намеренно не стали давать системе глубокую кастомную настройку под конкретный бизнес в отличие от чек-листа ручной оценки.
Почему мы сравниваем именно так: существует стереотип, что ИИ требует минимальной настройки и должен стоить дёшево. Мы решили проверить, покажет ли такой базовый формат оценку, сопоставимую с человеческой.
Ручная оценка устроена похоже, но содержит больше узких критериев: сферу деятельности клиента, целевую аудиторию, текущие способы продвижения, должность ЛПР, привязку презентации к конкретным болям клиента, присоединение к возражению, отсутствие слов-негативизмов и слов-паразитов.
Звонки в выборке: 7,5, 8 и 18 минут.
Звонок №1: разрыв в 32%
| Метрика | Оценка ИИ | Ручная оценка | Комментарий |
|---|---|---|---|
| Итоговый балл | 91,67% | 60,00% | ИИ существенно завысил итог |
| Контакт / Ведение | 100% | 100% | Полное совпадение |
| Потребности / Заказ | 100% | 47% | ИИ оценивает факт вопроса бинарно (было-не было), супервайзер: полноту квалификации по чек-листу |
| Презентация | 100% | 0% | ИИ принял общую информацию за полноценную презентацию, человек так, что не было адаптации под потребности клиента |
| Возражения | 100% | Н/А | Реклама была нужна временно, это не возражение, а объективное обстоятельство. ИИ без настройки принял это за возражение «нет денег» |
| Закрытие | 50% | 100% | ИИ снизил балл за отсутствие точной даты, человек оценил сам факт вывода на аудит |
Выводы по звонку №1: ИИ ставит 100% за выявление потребностей, потому что менеджер задал пару базовых вопросов про сайт и регион. Человек фиксирует пропуск ключевых коммерческих параметров: бюджет, ЛПР, боли клиента, и снижает балл до 47%. В презентации ИИ засчитывает рассказ про SEO (поисковое) продвижение, человек ставит 0%, оценивая именно адресность и привязку к проблеме клиента.
Звонок №2: разрыв почти в 2 раза
| Метрика | Оценка ИИ | Ручная оценка | Комментарий |
|---|---|---|---|
| Итоговый балл | 73,33% | 36,70% | ИИ завысил результат почти в 2 раза |
| Контакт / Ведение | 66,67% | 100,00% | ИИ не расслышал имя клиента из-за плохой связи и снизил балл. Человек фактически услышал имя и поставил полный балл: техническая проблема распознавания речи, а не реальная ошибка менеджера |
| Потребности / Заказ | 0,00% | 14,00% | Здесь ИИ строже человека: жёстко засчитал 0% за менее 3-х обязательных вопросов. Супервайзер услышал нестандартно сформулированный вопрос про подрядчиков и засчитал его |
| Презентация | 100,00% | 0,00% | Главный разрыв: ИИ дал 100% за сам факт рассказа об аудите и цене. Человек: 0%, потому что цена была названа преждевременно, без привязки к болям |
| Возражения | Н/А | Н/А | Возражений не было |
| Закрытие | 100,00% | 100,00% | Полное совпадение |
| Речь / Текст | 100,00% | 100,00% | Полное совпадение |
Выводы по звонку №2: ИИ хвалит менеджера за то, что тот назвал опыт, состав услуг и цену, воспринимая это как богатую презентацию. Человек видит грубую ошибку: цена названа до полноценного выявления потребности, поэтому блок «Презентация» обнуляется целиком. При этом там, где есть конкретное действие: назначена встреча на среду в 12:00, ИИ и человек единодушны на 100%. Технические шаги воронки алгоритм считывает идеально.
Звонок №3: снова почти двукратное расхождение
| Метрика | Оценка ИИ | Ручная оценка | Комментарий |
|---|---|---|---|
| Итоговый балл | 69,45% | 36,10% | ИИ снова завысил итог почти в 2 раза |
| Установление контакта | 66,7% | 100% | ИИ не расслышал имя клиента и ошибся при оценке |
| Потребности | 100,00% | 100,00% | Полное совпадение |
| Презентация | 100,00% | 29,00% | ИИ засчитал подробность описания. Человек снизил за неполную адаптацию под потребность и за преждевременно названную цену |
| Возражения | 100,00% | 0,00% | Клиент сказал, что деньги вложены в другое и понимает, что нужно вложиться позже. ИИ засчитал вопрос: «На сколько откладываете?» как отработку. Человек признал возражение «Нет бюджета» полностью непроработанным |
| Закрытие | 50,00% | 60,00% | Оценки близки: оба увидели, что дожать клиента не удалось |
| Речь | 0,00% | 0,00% | Полное совпадение: слова-паразиты отловлены одинаково |
Сводная таблица по трём звонкам
ИИ:
78,15% в среднем
Ручная оценка:
44,27% в среднем
Разница:
+33% в пользу ИИ
| Звонок | Длительность | Оценка ИИ | Ручная оценка | Разница |
|---|---|---|---|---|
| №1 | 7:30 | 91,67% | 60,00% | +31,67% |
| №2 | 07:54 | 73,33% | 36,70% | +36,63% |
| №3 | 18:09 | 69,45% | 36,10% | +33%. |
| Среднее | — | 78,15% | 44,27% | +33%. |
Почему цифры по шагам не складываются в простое среднее
Важное уточнение: итоговый балл — не простое среднее арифметическое по шагам, а взвешенная оценка. В ручной методике критичные этапы вроде «Презентация» и «Возражения» весят в итоговом расчёте больше, чем формальные пункты вроде приветствия. Именно поэтому, например, во втором звонке шаги в среднем дают около 63%, а итоговый ручной балл: всего 36,7%. Обнуление одного критичного этапа тянет за собой весь результат сильнее, чем в простом среднем.
Главные выводы
- Систематическое завышение баллов. На дистанции всех трёх звонков ИИ стабильно завышает итоговую оценку в среднем на 33%. Алгоритм видит звонки как «хорошие» (69–92%), тогда как экспертный ручной аудит показывает: звонки слабые (36–60%).
- Иллюзия отработки возражений. Ярче всего это видно в звонке №3: ИИ засчитал за 100% формальный уточняющий вопрос менеджера: «На какое время планируете отложить?». Ручной аудит поставил 0%, потому что ключевое возражение клиента, «нет бюджета», менеджер даже не попытался закрыть аргументами.
- Отсутствие контроля хронологии продаж. Во всех трёх звонках ИИ не видит критичности в преждевременном озвучивании цены и хвалит менеджера за само информирование клиента. Человек режет балл за нарушение структуры воронки: цена, названная до выявления потребности, обесценивает всю презентацию.
- В чём ИИ уже безупречен. Аналитика речи находит слова-паразиты точнее человека при быстрой прослушке. Извлечение фактуры — боли клиента, город, бюджет, договорённости — ИИ делает практически идеально. Расстановка таймкодов важных моментов происходит мгновенно.
Почему так происходит: два разных подхода к оценке
Необученный под конкретный бизнес ИИ работает как формальный регистратор. Ручной ОКК работает как стратег продаж, которые читает между строк.
Ручной аудит оценивает звонок через призму жёстких бизнес-целей: с учётом веса каждого критерия, критичности ошибок и строгого порядка воронки. Обнуление блока за преждевременную цену или пропуск квалификации ЛПР и бюджета: осознанное решение методологии, а не придирка.
Ненастроенный ИИ оценивает диалог по общим шаблонам вежливости и факт-чекинга. Задав 2-3 поверхностных вопроса, менеджер получает от системы 100% за выявление потребностей, хотя для этого конкретного бизнеса квалификация полностью провалена.
Частые вопросы
Можно ли доверять базовому ИИ без настройки для оценки качества звонков?
Для сбора фактуры, транскрибации и лингвистического анализа: да, здесь ИИ уже точнее человека. Для итоговой оценки квалификации менеджера без глубокой калибровки под ваш бизнес: нет, разрыв с реальностью в среднем составляет треть от итогового балла.
Сколько времени нужно на настройку ИИ под конкретный бизнес?
2-3 недели на старте. Например, мы вручную проверяем проставленные ИИ оценки и сверяем с реальностью и переписываем промты десятки раз на начальном этапе. Но и после этого срока лучше первые 2-3 месяца активно мониторить и корректировать промт. То, что люди понимают даже без доп. разъяснений, ИИ нужно приписывать досконально.
Значит ли это, что ИИ-контроль вообще не нужен?
Нет. ИИ отлично справляется с рутинной частью: транскрибацией, поиском слов-паразитов, извлечением фактуры из диалога. Но финальную оценку квалификации менеджера при настройке ИИ, особенно на старте, лучше калибровать вместе с экспертом, который знает специфику именно вашей воронки продаж.
Вывод
Базовый ИИ без калибровки под ваш регламент завышает баллы. Он видит, что менеджер был вежлив, что-то спросил и назвал цену, и щедро ставит 70–90%. Но чтобы ИИ начал видеть звонок глазами руководителя отдела продаж и показывать реальные 30–40% за слабые диалоги, его нужно глубоко адаптировать: прописать промты (критерии оценки каждого пункта), жёсткие стоп-условия, задать параметры преждевременных действий и неоднократно перепроверять оцененные диалоги.
Хотите узнать, какой разрыв покажет ИИ-оценка на ваших реальных звонках? Направьте нам 10-15 диалогов: мы бесплатно проанализируем их и покажем, где базовая настройка обманывает вас, а где действительно можно доверять цифрам.
