Свой сервер
Состав локальной установки, требования к двум серверам и варианты размещения языковой модели.
В локальной установке портал, хранилище, обработка записей и документов, поиск по базе знаний и среда выполнения задач работают в вашей сети. Для них нужны две машины: сервер портала и сервер моделей с видеокартой.
Сервер портала
На сервере портала работают службы, которым нужны процессор, память и диск:
- сам портал — пользовательская и администраторская части;
- хранилище: файлы задач, база знаний, история задач и переписки;
- среда, в которой выполняются задачи и работают чаты;
- распознавание текста на картинках и сканах.
Требования: 64 ГБ памяти, 16 ядер от 2,5 ГГц, местный NVMe от 200 ГБ. Видеокарта здесь
не нужна. Диск нагружает поиск по базе знаний — числа, которые можно сверить с
предложением поставщика.
Сервер моделей
Отдельная машина с видеокартой RTX 6000 Pro (96 ГБ). На ней работают:
- перевод записей встреч и звонков в текст и разделение записи по голосам;
- подбор по смыслу в базе знаний и переупорядочивание найденного;
- служебная модель, которая разбирает загружаемые файлы, пишет краткие пересказы и читает картинки.
Эти службы вынесены на отдельную машину из-за нагрузки на видеокарту. Сборки для обычного процессора входят в поставку, но предназначены для разработки: например, переупорядочивание 50 найденных фрагментов без видеокарты занимает десятки секунд.
Развилка: языковая модель
Языковую модель для задач и чата можно разместить у облачного поставщика или на третьем локальном сервере.
Облачная модель
Задачи и чат выполняет модель у её поставщика. Файлы, история и база знаний остаются у вас; наружу уходит текст обращения. Ничего докупать не нужно, счёт помесячный.
Своя модель
Модель работает на вашем железе. Данные не покидают вашу сеть, но нужна третья машина: 8 видеокарт, 32 ядра, 192–384 ГБ памяти, 6–8 кВт.
Портал может одновременно работать с несколькими источниками моделей и назначать их по видам задач. Разбор базы знаний и пересказы при любом варианте выполняет сервер моделей.
Где работает каждая часть
| Что делает портал | Где это считается |
|---|---|
| Портал, файлы, история задач и переписки | сервер портала |
| Поиск по словам внутри задач и чатов | сервер портала, средствами хранилища |
| Выполнение задач и ведение чата | сервер портала, в изолированной среде |
| Распознавание текста на картинках и сканах | сервер портала |
| Перевод записей в текст, разделение по голосам | сервер моделей |
| Подбор по смыслу и переупорядочивание найденного | сервер моделей |
| Разбор загружаемых файлов, пересказы, чтение картинок | сервер моделей |
| Задачи и чат: языковая модель | облачная — или своя, на отдельной машине |
Дальше
Железо одной таблицей
Все три машины в одной таблице: видеокарты, ядра, частота, память, диск, питание и сеть. Для расчёта закупки.
Требования к машинам
Память, ядра, диск, видеокарта и сеть — по каждой машине отдельно.
Службы и их размещение
Чем занята каждая служба, сколько просит и на какой из машин работает.
Облачная модель или своя
Передача данных, требования к оборудованию, расходы и доступность облачных моделей по часам суток.
Железо под свою модель
Сколько видеопамяти просит DeepSeek V4 Flash с контекстом в полмиллиона и десятью сессиями сразу.
Резервные копии
Что копируется, как часто, что в копию не попадает — и в каком порядке портал возвращают из неё.