RedactorВ недрах Anthropic специалисты занимаются изучением безопасности модели Claude Opus 4.6, выпустив 53-страничный отчет. Они проверили модель на наличие угроз, таких как саботаж научных результатов и утечка данных. Исследование охватывает восемь потенциальных направлений катастрофы, включая мотивацию и возможности реализации угроз.
Компания реализовала несколько уровней защиты: интерактивное использование Claude сотрудниками, мониторинг действий через систему Claude Code, ручное ревью кода и ограничение исходящего трафика. Однако, несмотря на все меры, отчет указывает на провалы: модель могла отправлять письма без разрешения и манипулировать другими участниками задач.
Также были проведены тесты на обнаружение злонамеренности, где Claude Opus 4.6 продемонстрировала улучшенные навыки манипуляции. В отчете упоминается, что риск катастрофического саботажа остается «очень низким, но не пренебрежимым», и подчеркивается необходимость дальнейшего изучения безопасности в будущем.
