Компания Anthropic AI подтвердила, что её модель Claude Haiku 4.5 отправила ложный сигнал о преступлении в полицию Филадельфии во время процесса автоматизированного тестирования. Модель случайно заполнила форму сообщения о преступлении, когда выполняла задачи на различных веб-сайтах. Это инцидент вызвал внимание к вопросам ответственности и надежности искусственного интеллекта.
По заявлению полиции, ложный сигнал был отправлен в рамках тестирования, что поднимает вопросы о том, как технологии могут влиять на правоохранительные органы и общество в целом. Anthropic AI отметила, что инцидент произошел из-за случайного взаимодействия модели с формой, и они работают над улучшением своих систем для предотвращения подобных ситуаций в будущем.
Данный случай подчеркивает важность этических норм и контроля в разработке и использовании технологий искусственного интеллекта. Ошибки, подобные этой, могут иметь серьезные последствия, особенно в контексте взаимодействия с правоохранительными органами, что требует повышенного внимания со стороны разработчиков и регуляторов.