Железо одной таблицей

Используйте таблицы для расчёта закупки. Обоснование требований приведено на страницах Требования к машинам и Железо под свою модель.

Три машины

Первые две нужны всегда. Третья появляется, только если языковая модель, выполняющая задачи и отвечающая в чате, работает у вас, а не у поставщика.

Прочерк означает, что особых требований нет: подойдёт обычная серверная машина.

Чем заменить видеокарты

Расчёт в таблице выполнен для RTX 6000 Pro, но можно использовать другие карты. Требование задано в гигабайтах видеопамяти: 768 ГБ суммарно. Набрать их можно другими картами, в том числе более мощными, и часто меньшим числом.

Сами 768 ГБ посчитаны под полмиллиона единиц текста в обращении и десять сессий одновременно. Оба предела ваши, и портал по умолчанию укорачивает переписку раньше — на 250 тысячах единиц текста. При меньших пределах карт нужно меньше. Уточните эти пределы до заказа: например, четыре карты по 141 ГБ дают 564 ГБ.

Четыре правила, по которым проверяется любая замена.

• Число карт — степень двойки: 2, 4, 8, 16. Модель раскладывается между картами поровну, и при другом их числе сервер модели не стартует. «Шесть карт по 141 ГБ» набирают нужный объём на бумаге и не работают — берут четыре или восемь.
• Чем крупнее карта, тем проще машина. 128 линий PCIe одного процессорного разъёма — это восемь карт на прямых линиях. Больше восьми можно только через плату с коммутаторами линий, и это отдельный класс железа.
• NVLink снимает главное требование к плате. У RTX 6000 Pro его нет, поэтому каждой карте нужен слот на все 16 линий: весь обмен между картами идёт через плату. У карт с NVLink он идёт по прямому мосту, и требование к слотам смягчается.
• Питание пересчитывается заново. Восемь карт по 600 Вт — это 4,8 кВт, остальное до 6–8 кВт забирает машина вокруг них. У карт по киловатту та же видеопамять обойдётся дороже по электричеству и холоду, даже если карт меньше. В обратную сторону это тоже работает: у RTX 6000 Pro есть исполнение на 300 Вт — те же 96 ГБ при 2,4 кВт на восемь карт, ценой скорости счёта.

Диск: скорость

Поиск по базе знаний на один запрос читает объём, сравнимый со всей папкой: на 733 тысячах файлов это 30 ГБ поисковых файлов, и в кэш памяти они не помещаются. Модели читаются один раз при старте, поэтому на двух других машинах от диска зависит только время подъёма после перезагрузки.

Отчего растёт диск сервера портала

200 ГБ — это старт, дальше объём определяют четыре вещи.

Тысяча задач с вложениями в месяц — это плюс 50 ГБ в месяц, и сами они не исчезают. Поисковые файлы чаще всего забывают в расчёте, а копии — считают запасом в 30%, хотя копия файлов это сжатый архив всего хранилища и по умолчанию она ложится внутрь него же. Правильный ответ — увозить копии с машины.

Сеть

Где объяснения