На конференции Saint HighLoad++ обсуждались вызовы, связанные с развертыванием модели LLM на 1 триллион параметров в Битрикс24. Спикер отметил, что, несмотря на то, что модель может работать, возникают вопросы по распределению ресурсов между чатами, длинными документами и агентами, которые используют одни и те же мощности.

Важным аспектом является необходимость решения задач по оптимизации работы системы. Это включает в себя определение приоритетов для обработки запросов, управление нагрузкой в пиковые моменты и проверку корректности ответов после каждой оптимизации. Спикер представил схему платформы, которая поможет в решении этих задач.

Оптимизация работы LLM в Битрикс24 имеет значительное значение для повышения эффективности работы с данными и улучшения качества ответов. Успешное решение этих вопросов может способствовать более широкому внедрению таких технологий в бизнес-процессы, что в свою очередь повысит конкурентоспособность компании на рынке.