Статистика
Экран «Статистика» в админском портале: что показывает каждая из семи вкладок, за какой период считаются цифры и почему суммы на соседних экранах расходятся.
Экран содержит показатели задач, чатов, транскрибирования, библиотек, улучшения промтов и запусков в тестере. Он находится в меню «Система» → «Статистика».
Заголовок страницы — «Статистика», под ним подпись «Аналитика использования портала».
Период и обновление
Над вкладками стоит выбор отрезка времени. Готовые кнопки: «7 дней», «30 дней», «Этот месяц», «Прошлый месяц», «Этот квартал», «Прошлый квартал», «Этот год», «Все время». Рядом два поля даты, «От» и «До», для произвольного отрезка. При открытии страницы выбраны последние 30 дней.
Отрезок общий для всех вкладок: переключаете вкладку, выбранный период остаётся. Цифры активной вкладки перечитываются раз в 30 секунд, обновлять страницу вручную не нужно.
Три карточки на вкладке «Задачи» период не учитывают. «Задач сегодня» считает с начала суток, «Задач за неделю» — за последние 7 дней, «Задач за месяц» — за последние 30 дней, какой бы отрезок вы ни выбрали. Соседние «Ошибок» и «Отмен» считаются уже за выбранный период.
У многих карточек рядом с подписью стоит знак вопроса. Наведите на него — портал сам объяснит, что попало в цифру.
Семь вкладок
| Вкладка | На какой вопрос отвечает |
|---|---|
| «Задачи» | Сколько задач запущено, сколько сорвалось, во что обошёлся период |
| «Тестер» | Что и за сколько прогоняли администраторы в тестере шагов |
| «Библиотека» | Как идёт индексация файлов и справляется ли обработка с потоком |
| «Улучшения» | Как часто пользователи улучшают промты и принимают предложенный текст |
| «Транскрибирование» | Сколько транскрипций сделано, с какой скоростью и с какой долей ошибок |
| «Чаты» | Сколько сессий и ответов и во что обходится одна сессия |
| «Пользователи» | Кто сколько потратил, с разбивкой по задачам, чатам и улучшениям |
Вкладка «Задачи»
Верхний ряд — пять счётчиков: «Задач сегодня», «Задач за неделю», «Задач за месяц», «Ошибок», «Отмен».
Дальше идёт блок «Расходы на API» с крупной суммой и подписью «Суммарные расходы за выбранный период». Под суммой перечислены её слагаемые строками «в т.ч. на задачи», «в т.ч. чаты», «в т.ч. тестирование», «в т.ч. индексация», «в т.ч. транскрибация», «в т.ч. улучшение промптов». Слагаемое с нулём не показывается вовсе, поэтому на свежем портале строк будет меньше шести.
Рядом «Средняя длительность» с подписью «Среднее время выполнения задачи» и четыре карточки с английскими подписями — «Input Tokens», «Output Tokens», «Cache Read Tokens», «Cache Creation Tokens».
Ниже четыре диаграммы: «Задачи по типам», «Задачи по пользователям», «Задачи по статусам», «Расходы по моделям». Последняя считает иначе, чем карточка сверху, и портал пишет об этом прямо под заголовком: «Только задачи (любой статус), по дате создания — сходится с под-строкой «в т.ч. на задачи», но меньше карточки «Расходы на API», которая считает ещё чаты, тестирование, индексацию, транскрибацию и улучшение промптов».
Замыкает вкладку таблица «Детализация расходов по моделям» с колонками «Модель» и «Стоимость (USD)».
Вкладка «Библиотека»
Первый ряд: «Всего файлов», «Проиндексировано», «Всего потрачено (USD)», «Средняя стоимость файла». Ниже «Ожидают уборки (вне папок)» и, если такие были, «Повторных индексаций».
«Всего файлов» и «Проиндексировано» показывают текущее состояние библиотек целиком и на выбранный период не реагируют. Денежные карточки и «Повторных индексаций» — реагируют.
Два значка справа: «Потоков (лимит): N» и «В очереди и в работе: N». Второе число может быть больше первого: в него входят файлы, которые уже взяты в работу, но ещё ждут свободного места.
Панель «Загрузка индексатора» отвечает на вопрос «успевает ли обработка». В её заголовке написано «окно: N мин, обновляется каждые 30 c», а выбор справа переключает это окно: «Окно: 60 мин», «Окно: 180 мин», «Окно: 360 мин».
Внутри панели четыре показателя — «Средняя параллельность», «Файлов в минуту (в работе: N)», «Длительность p50 / p95», «Простойных минут, %» — и две диаграммы, «Параллельность по минутам» и «Файлов в минуту». Под ними предупреждение, что последние минуты окна занижены: запись делается по завершении файла.
Если в библиотеках есть проблемные файлы, к счётчикам добавляются «Ожидают: N», «Ошибки: N», «Подозрительные: N». Разбираться с ними удобнее в логах обработки, где у каждого файла видны операция и ошибка.
Заканчивают вкладку графики расходов и таблицы «Детализация расходов по типам файлов» и «Расходы по типу операции».
Вкладка «Пользователи»
Таблица «Пользователи по расходам» с колонками «Пользователь», «Задачи ($)», «Чаты ($)», «Улучш. ($)», «Итого ($)», «Транскр.». Нажмите на строку — откроется разбор по одному человеку: карточки, диаграмма «Расходы по дням» и таблицы «Задачи по моделям», «Чаты по моделям», «Задачи по статусам». Вернуться к списку — ссылка «← Назад к списку».
Над таблицей и под ней портал предупреждает: «Indexing не атрибутируется юзерам; tester-затраты — во вкладке Тестер». То есть сумма всех строк этой таблицы меньше, чем «Расходы на API» на вкладке «Задачи», и это не ошибка.
Остальные вкладки
- «Тестер» — «Всего запусков», расходы, диаграммы по дням, моделям, типам задач и администраторам. Отсюда логично идти в логи тестера, где видна каждая строка запуска.
- «Улучшения» — «Всего улучшений», «Принято», «Отклонено», «Процент принятия», «Средняя длительность». Если срабатывала защита от подмены инструкций, появляется «Инъекций обнаружено».
- «Транскрибирование» — «Всего транскрипций», «Суммарная длительность», «Среднее время обработки», «% ошибок» и отдельный раздел «Медиа-библиотеки» для аудио и видео из библиотек. Ниже разрезы «По источнику», «Топ-5 пользователей», «По провайдеру» и «Скорость распознавания (avg сек)».
- «Чаты» — «Сессий», «Сообщений (ответов)», «Avg $ / сессия» и «Детализация расходов по моделям».
Если цифры не сходятся
- Счётчик задач не меняется при смене периода. «Задач сегодня», «Задач за неделю» и «Задач за месяц» считаются за свои периоды и не зависят от выбранных дат.
- Диаграмма «Расходы по моделям» меньше карточки «Расходы на API». Диаграмма считает только задачи, карточка — ещё и чаты, тестирование, индексацию, транскрибирование и улучшения.
- Сумма по людям меньше общей. Индексация ни на кого не записывается, а расходы тестера вынесены на свою вкладку.
- Вместо цифр надпись «Загрузка...». Данные ещё загружаются. На широком периоде и большой базе это занимает несколько секунд.
- «В очереди и в работе» больше лимита потоков. В число входят файлы, которые ждут свободного места. Подробности показаны в подсказке у значка.