Ограничения

Где бот силён

Лучше всего бот отвечает на:

• конкретные вопросы по метрике;
• вопросы с понятным периодом;
• вопросы по одному основному намерению;
• разрезы по известным аналитическим сущностям;
• multi-metric FACT-запросы до 7 метрик;
• временную динамику по дням, месяцам и годам;
• loss-вопросы вроде где сливаем деньги.

Где могут быть проблемы

• слишком общие вопросы без метрики и периода;
• слишком длинные смешанные запросы;
• вопросы не по аналитике компании;
• нестандартные бизнес-термины, которых нет в модели бота;
• сложные аналитические рассуждения в одном сообщении.
• слишком широкий запрос сразу по большому числу метрик;
• названия кампаний и объявлений с большим числом вариаций и опечаток.
• свободные исследовательские запросы без периода и без понятного среза.
• формулировки метрик и срезов, которых нет ни в каталоге, ни в разумных алиасах.

Ограничения режима поиска аномалий

Первая версия ANALYZE сейчас работает так:

• ищет сильные отклонения по уже поддержанным метрикам;
• лучше всего работает по срезам:
• подрядчик
• канал
• воронка
• для loss-анализа может идти глубже:
• канал
• связка канал + подрядчик
• сравнивает текущий период с предыдущим равным окном;
• дополнительно смотрит фон нескольких предыдущих окон;
• после расчётов отдаёт findings в модель для короткой AI-Интерпретации.

Что важно:

• модель не считает цифры сама, она только интерпретирует уже найденные отклонения;
• AI-Интерпретация — это гипотезы, а не установленная причинность;
• если нужен строгий факт, ориентируйтесь в первую очередь на блок Аномалии, а не на гипотезы;
• loss-анализ сейчас умышленно сокращён до более короткого user-facing формата, чтобы ответ оставался читаемым в Telegram;
• это ещё не полноценный root-cause engine по всем возможным маркетинговым сущностям.

Что делать, если ответ не тот

• проверьте блок Интерпретация вопроса;
• переформулируйте вопрос более конкретно;
• явно укажите метрику, период, атрибуцию и срез;
• если в вопросе больше 7 метрик, разделите его на несколько сообщений;
• если нужна конкретная сортировка, укажите явно, по какой метрике сортировать;
• если нужна сортировка по времени, лучше писать это прямо: по убыванию месяца, по возрастанию года;
• если важен точный текст фильтра, укажите его в кавычках;
• если нужен анализ аномалий, лучше явно укажите период и срез;
• если бот попросил уточнение, ответьте reply.

Что бот не должен делать

• отвечать на оффтоп;
• угадывать критичные параметры без показа этого в интерпретации;
• возвращать произвольные данные вне разрешённых аналитических сущностей.