Что будет, если ИИ учить на текстах ИИ

3 Просмотры

  • Спасибо! Поделитесь с друзьями!

    Вам не понравилось видео. Спасибо за то что поделились своим мнением!

aii
Издатель
Интернет заполняется текстами нейросетей — и на них учат следующие нейросети. Через несколько таких кругов модель начинает бредить: ответы становятся гладкими, уверенными и пустыми. Это называется коллапс модели, и его измерили — работа вышла в Nature в 2024 году.

Механизм не в «поломке», а в статистике. Модель хранит не факты, а распределение: что встречается часто, а что редко. Своими текстами она уверенно воспроизводит середину и почти не порождает редкое. Учим на этом следующее поколение — редкое пропадает совсем. Сначала исчезают хвосты распределения, потом остаётся одна серединка. Ксерокопия с ксерокопии.

Редкое — это диалекты, необычные случаи, спорные мнения: ровно то, ради чего к модели приходят с нестандартным вопросом. Спасает не хитрый алгоритм, а живые данные — причём не вместо старых, а вдобавок к ним.

Продолжение серии «как думает нейросеть»: про галлюцинации и параметры — в предыдущих выпусках.

Telegram: https://t.me/SciencePubp
VK: https://vk.com/sciencepubp

Музыка: INOSSI — «Dawning» (CC BY 3.0), https://breakingcopyright.com/song/inossi-dawning

#Shorts #нейросети #ИИ #Nature #научпоп #машинноеобучение
Категория
Заработок на AI
Выполните вход или зарегистрируйтесь для отправки комментария.
Комментариев нет.