Недавнее исследование показало, что период полураспада бенчмарков в области искусственного интеллекта сократился до 19 месяцев, что значительно меньше предыдущего показателя в 38 месяцев. Это изменение может повлиять на оценку новых моделей и их жизнеспособности на рынке.

Исследование было проведено на основе данных 224 бенчмарков, о которых отчитывались девять лабораторий, включая OpenAI, Google и Meta, в период с 2018 по 2026 год. В процессе анализа возникли вопросы о том, какой результат следует считать достаточным для нового бенчмарка и насколько долго он будет актуален.

Сокращение периода полураспада бенчмарков может иметь значительные последствия для разработки и внедрения новых технологий в области ИИ. Это подчеркивает необходимость постоянного обновления и адаптации стандартов в быстро меняющейся среде искусственного интеллекта.