Какая служба на какой машине
Назначение, размещение и пределы ресурсов служб локальной установки.
Службы локальной установки распределены между сервером портала и сервером моделей в зависимости от нагрузки на процессор, диск и видеокарту.
Перевод записей в текст
Сервер моделей.
Служб две.
Запись с микрофона. Преобразует диктовку в текст без разделения по голосам. Пределы: 4 ГБ памяти и 14 ядер.
Файлы записей. Обрабатывает записи встреч и звонков размером до 2 ГБ и разделяет реплики по говорящим. Пределы: 9 ГБ памяти и 14 ядер.
Отдельная модель разделения по голосам требует дополнительные 5 ГБ памяти. Если она недоступна, портал возвращает текст без имён говорящих.
Разделение по голосам работает только после того, как администратор при установке примет условия использования этой модели у её авторов и укажет свой ключ доступа к ним. Без этого перевод в текст идёт, а реплики не подписаны.
Поиск по смыслу
Сервер моделей.
Поиск используют две службы.
Подбор. Сопоставляет вопрос с документами по смыслу. Например, запрос «сроки по скважине» находит абзац «работы завершить до 15 марта». Предел памяти — 8 ГБ.
Переупорядочивание. Сортирует найденные фрагменты по соответствию вопросу. Предел памяти — 8 ГБ.
Обе нужны только для базы знаний. Поиск по словам внутри задач и переписки к ним отношения не имеет — он идёт в самом хранилище портала и не требует ничего дополнительно.
Служебная модель
Сервер моделей.
Служебная модель индексирует документы базы знаний, описывает изображения и составляет краткие изложения транскрипций. Она занимает видеопамять и работает при добавлении материалов в базу знаний.
Это не языковая модель для задач. Выбор между облачной и локальной моделью к служебной модели не относится.
Модель, разбирающая картинки, обязана уметь их читать. Если указать ей модель, работающую только с текстом, портал не запустится вовсе — и это сделано намеренно: молча проигнорировать половину базы знаний было бы хуже.
Распознавание текста на картинках и сканах
Сервер портала.
Служба извлекает текст из сканов, фотографий документов и PDF без текстового слоя.
Предел памяти — 10 ГБ. Работает волнами: пока никто не заливает сканы, она почти ничего не потребляет.
Выполнение задач и чат
Сервер портала.
Задача выполняется в отдельной изолированной среде — со своей файловой системой, своим ограничением памяти и своим списком того, куда ей можно обращаться. По умолчанию портал берёт в работу две задачи одновременно; каждая может занять до 8 ГБ и до 12 ядер.
На один чат отводится до 6 ГБ памяти и 6 ядер, пока идёт ответ.
Задачи всегда выполняются на сервере портала. Если выбрана облачная языковая модель, наружу передаётся только обращение к ней.
Сводка
| Служба | Предел памяти | Машина |
|---|---|---|
| Пользовательская часть, администраторская часть, служба задач | 6 + 4 + 4 ГБ | сервер портала |
| Выполнение задач и чат | 8 ГБ и 6 ГБ | сервер портала |
| Распознавание сканов | 10 ГБ | сервер портала |
| Запись с микрофона в текст | 4 ГБ | сервер моделей |
| Файлы записей в текст, с голосами | 9 ГБ | сервер моделей |
| Подбор по смыслу | 8 ГБ | сервер моделей |
| Переупорядочивание найденного | 8 ГБ | сервер моделей |
| Служебная модель базы знаний | видеопамять карты | сервер моделей |
| Языковая модель для задач | — | ваш выбор |
Почему две машины, а не одна
Сборки служб перевода записей и поиска для обычного процессора входят в поставку, но предназначены для разработки. Без видеокарты переупорядочивание 50 фрагментов занимает десятки секунд, обработка записей замедляется, а службы конкурируют с задачами за ядра. При обычной установке сервер моделей указывают отдельным сетевым адресом.