Сервер для корпоративного RAG
AI-инфраструктура для поиска и работы с корпоративными документами и базами знаний.
Что это
RAG-контур состоит из нескольких компонентов: сервер эмбеддингов, векторная база, реранкер и генеративная модель. Такой сервер проектируется под объём корпуса, интенсивность поиска и требования к качеству ответа — не только под размер LLM.
Когда подходит
- Внутренний поиск по большому корпусу документов
- База знаний с ответами на естественном языке
- Ассистенты, работающие с регламентами и договорами
- RAG в защищённом контуре
Что важно учитывать
- Качество RAG зависит от структуры знаний и стратегии чанкинга не меньше, чем от железа
- Эмбеддинги иногда выгоднее считать на CPU — не всегда нужна GPU
- Векторная БД должна быть спроектирована под рост корпуса
- Реранкер заметно повышает качество, но требует дополнительных ресурсов
Частые вопросы
Нужна ли GPU для эмбеддингов?+
Не всегда. При небольшом корпусе и умеренной частоте запросов эмбеддинги можно считать на CPU. GPU становится оправданной при массовой индексации и высокой частоте поиска.
Какой размер корпуса выдержит один сервер?+
Векторные индексы на миллионы чанков умещаются на одном сервере при правильной архитектуре. Ограничение чаще связано с частотой запросов, чем с размером корпуса.
Можно ли использовать RAG без LLM?+
Технически — да, как семантический поиск. Но основная ценность RAG проявляется в связке с генеративной моделью, которая формирует ответ на основе найденных фрагментов.
Обсудим вашу задачу
Расскажите, что должен решать AI-контур, — мы подберём конфигурацию, инфраструктуру и следующий шаг.