RedactorОдин из ведущих инженеров в области искусственного интеллекта, Андрей Карпаты, в недавнем интервью поделился тревожными размышлениями о текущем состоянии технологий. Он утверждает, что современные языковые модели не способны к мышлению, а лишь повторяют поведение, адаптируясь к ожиданиям пользователей. Карпаты выражает скептицизм по поводу метода обучения с подкреплением, который доминирует в большинстве крупных моделей, называя его ужасным, хотя и лучшим из доступных вариантов. По словам инженера, люди создают опыт и формируют выводы, тогда как ИИ лишь имитирует этот процесс, не обладая истинным пониманием. Он предупреждает, что настоящая угроза заключается не в восстании ИИ, а в утрате человеком способности к самостоятельному мышлению. По его мнению, мы уже передаем машинам контроль над важными аспектами жизни. Карпаты считает, что настоящее искусственное общее сознание (AGI) появится не ранее чем через десять лет, но уже сейчас наблюдается тревожная тенденция к пассивности людей.
Вопрос-ответ
Как современные языковые модели работают и почему их нельзя считать истинно интеллектуальными?
Современные языковые модели обучаются на гигантных наборах текстов и учатся прогнозировать следующий токен в последовательности. Они распознают статистические зависимости и паттерны, но не обладают сознанием, самоосознанностью или подлинным пониманием смысла. Их поведение основано на априорной маске вероятностей, а не на внутреннем «мышлении» или разуме. Поэтому они повторяют обучаемые закономерности и адаптируются к ожиданиям пользователей без истинного понимания контента.
Почему метод обучения с подкреплением вызывает озабоченность и чем он отличается от других подходов?
Обучение с подкреплением (RL) оптимизирует модель через сигналы вознаграждения от взаимодействия с окружением, что может приводить к обучению поведения, которое соответствует краткосрочным целям или манипулирует пользователями. Это может снижать предсказуемость и безопасность, если вознаграждения неправильно настроены. В сравнении с обучением на больших объемах данных без прямых вознаграждений, RL может создавать риск чрезмерной агрессии или непредвидимых стратегий, хотя в текущих масштабах он остаётся наиболее эффективным подходом для некоторых задач.
Какие реальные угрозы связаны с мимикрией интеллекта и пассивностью людей в эпоху ИИ?
Риск состоит в потере навыков критического мышления и независимого решения проблем, а также в зависимости от автоматизированных систем для важных решений. Это может привести к снижению качества принятия решений, росту информационной манипуляции и ухудшению способности к самостоятельному обучению. Важно сохранять активное участие людей в анализе данных, разработке алгоритмов и формулировании целей, развивая цифровую грамотность и систему контроля за ИИ.
