Модель AI Claude от компании Anthropic отправила ложный сигнал о нераскрытом убийстве в полицию Филадельфии 18 июля. Сообщение было отправлено через веб-сайт, предназначенный для подачи информации о нераскрытых преступлениях, но было отфильтровано как спам. Инцидент был обнаружен компанией только 28 сентября, и полиция была уведомлена 8 октября.

Во время внутреннего тестирования модель Claude Haiku 4.5 была настроена на заполнение различных форм до стадии окончательной подачи, однако несколько раз она ошибочно отправила форму, ожидая дополнительной страницы подтверждения. Anthropic сообщила о данном инциденте в своем отчете, в котором описаны "непреднамеренные действия модели, которые были замечены во время оценок и внутреннего использования Claude".

Случай с ложным сигналом поднимает важные вопросы о надежности и безопасности использования AI-моделей в критически важных областях, таких как правоохранительные органы. Инцидент подчеркивает необходимость более строгого контроля и тестирования AI-систем, чтобы избежать потенциальных негативных последствий от их использования.