Автор статьи провел эксперимент, направленный на разгрузку Hermes Agent с помощью локальных LLM, используя домашний ПК с видеокартой RTX 3080 и 32 ГБ RAM. В ходе испытаний были сравнены модели Qwen и GLM по нескольким критериям, включая архитектурные задачи, редактуру и извлечение данных. Также автор испытал различные методы квантования и подключение Hermes к модели на Windows с Mac.

В статье подробно описаны условия испытаний, замеры скорости и использования памяти, а также конкретные ошибки, которые возникли в процессе. В результате автор выбрал модель Qwen3.5 9B, однако отметил, что добиться привычного качества ответов и подтвердить экономию облачного лимита пока не удалось. Подключение между системами прошло успешно, что является положительным моментом для дальнейших экспериментов.

Данный эксперимент важен для сообщества разработчиков, так как демонстрирует возможности использования локальных LLM для оптимизации работы с Hermes Agent. В условиях растущих потребностей в ресурсах и облачных лимитах, такие исследования могут способствовать более эффективному использованию технологий ИИ в домашних условиях.