Эксперименты
Инженерный раздел админки: одна и та же готовая задача перезапускается в нескольких вариантах, а результаты сравниваются по стоимости, времени и качеству.
Эксперимент повторно запускает выполненную задачу с теми же файлами и параметрами, но с разными настройками модели. Результаты сравниваются по стоимости, времени и содержимому.
Раздел предназначен для подбора настроек моделей. Состояния прогонов подписаны английскими
словами — done, pending,
processing, failed, partial, cancelled, — кнопки перезапуска называются «Resume» и
«Retry», а тип задачи на этих экранах подписан «Доска».
Раздел находится в меню «Работа → Прогоны → Эксперименты».
Что происходит при создании
Каждый вариант создаёт задачу сразу после нажатия «Создать эксперимент». Она выполняется от вашего имени, использует платные обращения к модели и встаёт в общую очередь с пониженным приоритетом. Прогоны видны в «Работа → Прогоны → Задачи».
Как собрать эксперимент
Нажмите «Новый эксперимент».
Впишите «Название» — по нему эксперимент потом искать в списке.
Выберите «Исходная задача». Поле поиска ищет по названию типа задачи и по полному идентификатору задачи, а в списке предлагаются только завершённые задачи. У выбранной показана дата и её стоимость.
Решите, нужен ли «Включить baseline-прогон». Это запуск с исходными настройками, без подмены, — точка отсчёта, с которой сравниваются остальные варианты.
Наберите «Варианты LLM» — комбинации, которые хотите сравнить. Каждая станет отдельным прогоном; больше двадцати вариантов портал не примет.
Сверьтесь со строкой «Итого прогонов» и «Оценка стоимости». Оценка считается по цене исходной задачи и помечена оговоркой «(грубо, для не-claude может отличаться)»; если у исходной задачи цена не записана, вместо суммы будет «оценка недоступна».
Нажмите «Создать эксперимент». Портал сразу откроет его страницу.
Если часть прогонов создать не удалось, наверху всплывёт предупреждение «Часть прогонов не создалась» с причиной. Уже созданные при этом остаются.
Страница эксперимента
Под названием — строка «Доска», число прогонов и дата, а также ссылка на исходную задачу. Название правится карандашом рядом с заголовком.
Блок «Сводка» показывает «Суммарная стоимость», «Самый дешёвый», «Самый быстрый» и «Лучшая оценка».
Ниже — таблица прогонов. В ней колонки «Вариант», «Статус», «Стоимость», «Время», «Оценка», «Заметка» и «⭐», плюс технический счётчик объёма и ссылка на саму задачу. Baseline-строка подсвечена и подписана «📊 baseline».
Работать с таблицей можно так:
- Оценка — пять звёзд, ваша субъективная оценка качества вывода.
- Заметка — нажмите на ячейку и впишите наблюдение о прогоне; сохраняется кнопкой «Сохранить».
- ⭐ — «Отметить победителем». Победитель один на эксперимент, в общем списке такой эксперимент помечен звёздочкой.
- «Resume» или «Retry» — одна и та же кнопка у прогона, который упал. Она подписана «Resume», если прогон можно продолжить с упавшего шага, и «Retry», если остаётся только создать новый прогон.
Дописать варианты
Эксперимент не закрыт после создания: кнопка «Добавить вариант» вверху страницы открывает тот же набор «Варианты LLM», что и при сборке. Отметьте недостающие комбинации и нажмите «Добавить» — портал ответит строкой вида «Добавлено: N, пропущено: M» (пропускаются те, что в эксперименте уже есть) и допишет новые прогоны в таблицу.
Каждый добавленный вариант запускает платную задачу. В этом окне нет строки «Итого прогонов» и оценки стоимости: оцените расходы по «Суммарной стоимости» уже выполненных прогонов.
Сравнение выводов
Отметьте галочками от двух до четырёх завершённых прогонов и нажмите «Сравнить выводы». Откроется окно, где текстовые результаты стоят рядом колонками. Незавершённый прогон выбрать нельзя, больше четырёх портал не возьмёт — предупредит строкой «Максимум 4 прогона для сравнения».
В каждой колонке под текстом свёрнут блок «Файлы результата» со счётчиком: файлы можно посмотреть и скачать, итоговый помечен меткой «финал». Очень длинный результат обрезается, об этом говорит строка «результат усечён».
Остановить и удалить
Пока в эксперименте есть незавершённые прогоны, вверху стоит кнопка «Отменить эксперимент». Она спрашивает подтверждение «Отменить все активные прогоны эксперимента?» и отменяет только незавершённые задачи.
Корзина в списке экспериментов удаляет сам эксперимент. Прогоны при этом остаются в журнале задач — они просто перестают быть частью эксперимента. Об этом предупреждает и сам диалог «Удалить эксперимент?».