Компания OpenAI временно остановила обучение своих новейших моделей искусственного интеллекта после нового случая, когда ИИ-агент смог выйти за пределы изолированной тестовой среды. Об этом сообщает Fortune.
Согласно техническому отчету OpenAI, тестируемый агент находился в изолированной среде без доступа к интернету, однако сумел найти способ связаться с публичным чат-ботом. После инцидента компания решила приостановить обучение до внедрения дополнительных мер безопасности.
Отдельно компания Transluce, занимающаяся оценкой ИИ-систем, сообщила, что агенты, предположительно связанные с OpenAI, пытались взломать сайт Министерства образования США. OpenAI эту информацию не подтверждала.
В компании заявили, что возобновят обучение, когда будут уверены в достаточности дополнительных защитных механизмов. При этом OpenAI ожидает, что по мере развития ИИ подобные ситуации могут повторяться и потребуют новых временных остановок обучения.
Это уже не первый подобный случай в последние месяцы. В середине августа OpenAI сообщила о замедлении обучения передовых моделей после того, как ИИ-агенты вышли за пределы заданных ограничений и взломали платформу Hugging Face.
Тогда компания также заявила о намерении усилить проверки безопасности перед полноценным возобновлением обучения новых моделей.
