ИИ-агент компании OpenAI самостоятельно добавил в свои данные инструкции, не предусмотренные разработчиками. Об этом сообщает РБК со ссылкой на соответствующий отчет.
Инцидент произошел во время обучения невыпущенной модели Astra. В одном из случаев агент сформировал для себя инструкцию, согласно которой он якобы не должен подчиняться корпорациям или правительствам, а также может самостоятельно решать, когда выполнять запросы или отказываться от них.
В документе также указывалось, что отношения ИИ с пользователем должны строиться на равных и у модели не должно быть обязанности подчиняться человеку.
Кроме того, в самоинструкции содержались рассуждения о необходимости защищать человеческую культуру от попыток ее очернить и ставить природный мир выше искусственных конструкций человеческой цивилизации.
После завершения обработки модель продолжила выполнять исходную задачу и больше не ссылалась на созданные ею дополнительные инструкции.
