ИИ-оператор
как пятый сотрудник смены
ИИ-оператор у меня работает на круглосуточной линии и закрывает около трети потока. Это не пилот на выделенной выборке и не демонстрация: он стоит в общей очереди и отвечает живым клиентам. Интересна здесь не сама технология, а управленческая часть: кто отвечает за его качество, по какому стандарту его оценивать и что считать результатом.
Что считать результатом
Первое решение, которое приходится принять, касается метрики. «Процент закрытых диалогов» выглядит удобно и почти ничего не значит: диалог закрывается и тогда, когда клиент ушёл, не получив ответа. Я считаю долю обращений, доведённых до результата, то есть тех, где вопрос клиента решён и он не вернулся с тем же через сутки.
По этой метрике ночная линия выросла с 34 % до 82 %. Разница между двумя способами счёта здесь принципиальна: по «закрытым диалогам» цифра была бы выше и красивее, но по ней нельзя принимать решения.
Приёмка перед выходом на линию
- Сформирован набор реальных сценариев из истории обращений, а не придуманных
- Двадцать девять диалогов прочитаны целиком, вручную, без выборочной проверки
- Критерий приёмки: ни одной фактической ошибки по продукту
- Отдельно проверено поведение на границе: чего бот не должен делать вообще
Граница ответственности описана заранее и жёстко: возвраты денег, спорные ситуации, претензии и всё, что требует решения человека, уходят на оператора. Бот не уговаривает и не торгуется, он отвечает на вопрос или передаёт дальше.
Стандарт качества распространён на бота
Это ключевое решение, и оно не техническое. На ИИ-оператора действует тот же стандарт оценки диалогов на шестнадцать параметров, что и на людей: та же сплошная еженедельная выборка, та же шкала, те же промахи. Результат 97,7 %.
Отдельного мягкого стандарта для бота нет намеренно. Как только для автоматики вводят свою, более снисходительную шкалу, происходит следующее: доля обращений, отданных боту, растёт, а сравнимого измерения качества по линии больше нет. Через квартал руководитель уже не может ответить на вопрос, стало ли клиенту лучше.
- Оценка бота идёт в общий отчёт по качеству линии, а не в отдельную презентацию про ИИ
- Промахи бота разбираются так же, как промахи оператора, и приводят к правке источника знаний
- В окно массового сбоя из оценки выходят те же пункты, что и у людей
Второй контур: помощник оператора
Кроме автономного оператора собран ИИ-помощник реального времени: он подсказывает живому оператору ответ по базе знаний, пока идёт диалог. Покрытие свыше девяноста процентов типовых обращений.
Такой контур обычно недооценивают, а он снимает главную боль новичка: не «где написано», а «что из написанного относится к этому клиенту». Вместе с тренажёром диалогов на ИИ это сократило срок вывода оператора на линию.
Экономика, а не восторг
Пока эффект от ИИ измеряется в проценте закрытых диалогов, разговор с финансистом не складывается. Он складывается, когда эффект выражен в тех же единицах, в которых считается бюджет: себестоимость обращения и стоимость минуты работы отдела.
У меня это 213 рублей за обращение и около 10 рублей за минуту на массовой линии, обе цифры по одинаковым границам расчёта, вместе с фондом оплаты труда руководителя. Дальше вопрос окупаемости решается арифметикой, а не спором о перспективности технологий.