Сервер для локальной LLM
Подбор GPU, памяти и inference runtime под конкретную модель, число пользователей и требуемую длину контекста.
Что это
Это не фиксированный продукт, а инженерный подбор инфраструктуры под задачу. Мы начинаем с модели — размера, архитектуры, квантования, контекста — и уже из этого выводим требования к железу и runtime. Такой подход исключает переплату за ненужную мощность и недооценку нагрузки.
Когда подходит
- Есть конкретная модель и понятная нагрузка
- Нужна предсказуемая задержка и контекст
- Работа с чувствительными данными внутри контура
- Планируется несколько моделей под разные задачи
Что важно учитывать
- Не все задачи требуют локальной модели — часть выгоднее решать через API
- Квантование влияет на качество; компромисс подбирается под задачу
- Concurrency и context length определяют требования к VRAM не меньше, чем размер модели
- Runtime имеет значение: одна и та же модель на Ollama и vLLM даёт разную производительность
Частые вопросы
Можно ли запустить 70B модель на одной GPU?+
При 4-bit квантизации — да, но с ограничениями по скорости, concurrency и длине контекста. Для комфортной работы с 70B рекомендуется 96 ГБ VRAM и выше.
Ollama или vLLM?+
Ollama — для быстрого старта и небольших нагрузок. vLLM — для production: выше throughput, лучше работает с concurrency и длинным контекстом. Часто имеет смысл комбинировать.
Какую модель выбрать для русского языка?+
Для русского хорошо работают Qwen, DeepSeek и Llama-производные. Финальный выбор делается после тестирования на ваших данных, а не по бенчмаркам.
Обсудим вашу задачу
Расскажите, что должен решать AI-контур, — мы подберём конфигурацию, инфраструктуру и следующий шаг.