Исследование креативности: люди против ИИ

В журнале Nature Human Behaviour опубликовано крупное исследование, в котором исследователи из Гонконгского и Северо-Западного университетов анализируют креативность 9198 участников и восьми больших языковых моделей (LLM) на тесте дивергентного мышления. В ходе эксперимента, охватывающего 215 542 прогона, GPT-4 Turbo продемонстрировал лучший результат, набрав 81.78 балла, что выше среднего человеческого показателя (78-80 баллов), в то время как китайская модель Ernie 4.0 показала наименьший результат — 76.17 балла. Однако в сравнении лучших 10% людей и 10% ответов GPT-4 Turbo, люди оказались впереди с p < 0.001. Креативность измерялась через Divergent Association Task, где участникам предлагалось назвать 10 различных существительных. Выявлено, что у людей значительно выше дисперсия результатов, в то время как модели демонстрируют стабильные, но менее уникальные ответы. Авторы вводят термин "креативная мимикрия", подчеркивая, что LLM лишь имитируют оригинальность, а не понимают смысл. Примечательно, что популярные техники промптинга, такие как "думай как Стив Джобс", не улучшили креативность. Результаты исследования показывают, что LLM могут быть полезны для рутинных задач, но для выдающихся идей по-прежнему необходимы люди.