RedactorВспомните знаменитое новогоднее обращение Бориса Ельцина 31 декабря 1999 года, где он произнес «Я устал, я ухожу». Однако в оригинальной записи было только: «Я ухожу. Я сделал всё, что мог». Это явление известно как Эффект Манделы. В этом контексте память функционирует как процесс генерации, а не просто воспроизведения. Наш мозг реконструирует события, используя фрагменты информации, такие как запахи и эмоции, и заполняет пробелы, интерполируя недостающие данные.
Большие языковые модели унаследовали эту особенность. Вместо фактического хранения информации, они работают с вероятностями токенов. Когда мы спрашиваем о чем-то, модель предсказывает следующий токен, основываясь на вероятностях, а не на фактах. Это приводит к «галлюцинациям», когда модель генерирует правдоподобные, но несуществующие данные.
Таким образом, ошибки в LLM не просто баги, а особенность их архитектуры, что делает их похожими на человеческое восприятие.
