Amazon SageMaker анонсировал внедрение новых оптимизаций для архитектуры Mixture-of-Experts (MoE), которая позволяет масштабировать возможности больших языковых моделей при низких затратах на вычисления. Основное внимание уделяется улучшению операций MoE через инженерные оптимизации ядер, что может значительно снизить задержки и затраты на обработку запросов.

Технология fused MoE объединяет маршрутизацию токенов, перемешивание данных и специализированные сетевые вычисления в одну пакетную операцию на графических процессорах. Это позволяет избежать выполнения этих операций последовательно, что приводит к снижению задержек. Однако такая оптимизация также усложняет реализацию ядер и отладку системы.

Для достижения высокой загрузки графических процессоров требуется проведение аппаратных оптимизаций, специфичных для данной архитектуры. Внедрение этих технологий может значительно повысить производительность и эффективность работы систем, использующих MoE, что имеет важное значение для будущих разработок в области искусственного интеллекта.