Модель Bonsai от PrismML предлагает инновационный подход к хранению весов языковых моделей, используя однобитные веса. При этом модель с 27 миллиардами параметров, упакованная в 16 бит, занимает около 54 ГБ памяти. Однако, если веса округлить до знака, это может негативно сказаться на работоспособности модели.

Использование однобитных весов позволяет значительно уменьшить объем памяти, необходимой для хранения модели. В случае Bonsai, те же параметры могут уместиться примерно в 4 ГБ, что делает её более доступной для использования на видеокартах с ограниченной памятью. Это может быть особенно полезно для разработчиков, стремящихся оптимизировать свои модели для различных аппаратных платформ.

Данный подход к хранению весов открывает новые возможности для разработки и внедрения больших языковых моделей в условиях ограниченных ресурсов. Тем не менее, необходимо учитывать недостатки, связанные с округлением весов, что может повлиять на эффективность работы модели в некоторых случаях.