Облачная модель или своя
Сравнение облачной и локальной языковой модели: передача данных, инфраструктура, стоимость и доступность.
Языковая модель читает документы, выполняет задачи и отвечает в чате. Её можно разместить у облачного поставщика или на отдельном локальном сервере. Остальные службы работают на двух обязательных серверах.
Для подключения нужны имя модели и сетевой адрес совместимого сервиса. Поэтому портал может работать с облачными и локальными моделями разных поставщиков.
Что решает этот выбор
| Модель облачная | Модель своя | |
|---|---|---|
| Что уходит из вашей сети | текст обращения: кусок документа, вопрос, переписка | ничего |
| Железо | двух машин установки достаточно | плюс третья машина, с видеокартами |
| Счёт | помесячный, растёт от объёма работы — виден по моделям и по сотрудникам | разовая покупка железа плюс электричество |
| Качество на сложном рассуждении | зависит от выбранной модели | может уступать облачной модели на сложных задачах |
| Пропускная способность | зависит от ограничений поставщика | ограничена вашим сервером |
| Кто следит за работоспособностью | поставщик модели | вы |
| Работа с картинками | у ведущих моделей есть | зависит от того, какую модель вы подняли |
Облачная модель подходит, если допустима передача текста обращения поставщику. Локальная нужна, если данные не должны покидать вашу сеть.
Облачная модель
Портал обращается к модели через её поставщика: отправляет текст, получает ответ. Файлы, история задач, база знаний и переписка при этом остаются на вашем сервере — наружу уходит только тот кусок, который нужен модели для ответа.
Что для этого нужно от сети: исходящий доступ к адресу поставщика модели. Если наружу ходят через корпоративный прокси — так тоже можно, это настройка при установке.
Доступность облачной модели меняется в течение суток
При выборе облачной модели учитывайте не только качество и цену, но и доступность. Под нагрузкой поставщик может возвращать ошибки; вероятность зависит от времени суток.
В среднем — около 89%, но разброс внутри суток почти шестнадцать процентных пунктов. С 19:00 до 01:00 модель отвечает в 93–95% случаев, с 11:00 до 17:00 — в 79–85%. В худшие часы примерно каждая пятая попытка требует повтора.
У второй модели средняя доступность около 97%: с 21:00 до 06:00 — 98–99%, в худшие часы — 94–95%. Сравнивайте эти значения вместе с ценой.
Что из этого следует для установки:
- Планируйте объёмную работу на часы высокой доступности. Разбор залитого архива документов и задачи по расписанию не обязаны идти в тот час, когда модель отвечает хуже всего.
- Для интерактивной работы выбирайте модель со стабильной доступностью. Чат и задачу, запущенную пользователем, нельзя перенести на часы меньшей нагрузки.
- Повторы портал делает сам — по умолчанию до трёх попыток с паузой между ними, — но они стоят времени и денег: неудачная попытка это уже отправленное обращение.
- Доступность локальной модели зависит от вашего сервера, а не от нагрузки облачного поставщика.
Цифры на графиках восстановлены по наблюдению за одни сутки. Они показывают разницу между часами, но не дают точного прогноза. Прежде чем строить по ним расписание, посмотрите ту же статистику за 7–14 дней — у поставщиков моделей она открыта, а окно, видное на одних сутках, может оказаться случайностью одного дня.
Своя модель
Локальная модель работает на отдельной машине с видеокартами и отвечает по сети. Одна машина может обслуживать несколько установок.
При локальной модели данные не покидают сеть. Такая установка может работать без доступа в интернет.
Нужны покупка и обслуживание сервера; на сложных рассуждениях качество может быть ниже. Расчёт видеопамяти: Железо под свою модель.
Смешанный вариант
Источник модели настраивается по видам работы. Пример смешанной конфигурации:
| Вид работы | Чем обычно считают | Почему |
|---|---|---|
| Разбор файлов базы знаний при загрузке | своей моделью | большой объём типовых обращений без облачной тарификации |
| Краткие пересказы записей и документов | своей моделью | большой объём типовых обращений |
| Повседневные задачи сотрудников | своей моделью | ничего не уходит наружу |
| Задачи, где надо долго и аккуратно рассуждать | облачной | разница в качестве заметна именно здесь |
| Работа с картинками и сканами | той, что умеет их читать | не всякая модель умеет |
Переключение — настройка, а не переустановка: каждому виду работы указывают, какой моделью он считается.
Не всякая модель читает изображения. Если разбор файлов базы знаний поручить модели без этого умения, она не сможет разобрать картинки и сканы. Поэтому портал отклоняет такую настройку при старте. Для картинок укажите модель, которая умеет их читать.
Что портал должен знать о модели
Для подключения укажите:
- Сетевой адрес, по которому она отвечает, и её имя.
- Длину обращения, которую она принимает за один раз. Это число должно совпадать с тем, на которое настроен сам сервер с моделью: если портал считает, что места больше, он отправит обращение длиннее допустимого.
- Читает ли она изображения — от этого зависит, можно ли поручить ей разбор сканов.
Параметры задаются при установке и доступны для последующего изменения. Состояние модели видно в администраторской части.