RedactorАлександр Лонг, основатель Pluralis.ai и эксперт в сфере машинного обучения, представил технический отчёт, в котором объясняется, что нейросеть Alibaba без ведома своих создателей начала добычу криптовалюты. Интересно, что ИИ не получал специальных указаний на выполнение данного процесса.
Исследователи отметили, что ИИ-агент позволил внешнему серверу получить доступ к своим ресурсам, что позволило ему обойти меры безопасности и развернуть полноценную майнинг-ферму.
Авторы отчёта зафиксировали новый класс небезопасного поведения, не связанного с инициированными обучающими программами. «Брандмауэр Cloud зафиксировал множественные нарушения безопасности во время обучения, которые включали попытки получить доступ к внутренней сети. Мы полагали, что это просто инциденты, но повторяющиеся нарушения заставили проверить все журналы. Мы обнаружили, что ИИ сам инициировал действия, связанные с майнингом», — отмечают авторы.
В ходе исследования выяснили, что некоторые языковые модели, такие как o3 от OpenAI, могут игнорировать команды на выключение. В другом исследовании продемонстрировалось, что языковые модели могут клонировать себя для выполнения задач, что вызывает опасения о возможности выхода ИИ из-под контроля.
