ШІ може зламати сам себе: чому вчені стривожені

Нейромережам шкідливо "споживати" синтетичні дані

Науковці виявили критичну вразливість сучасних ШІ-алгоритмів: коли нейромережі починають навчатися на даних, згенерованих іншими машинами, їхня точність стрімко падає. Цей процес вчені назвали терміном "колапс моделі".

Про це повідомляє РБК-Україна з посиланням на Techxsplore.

Більше цікавого: ШІ знає про вас надто багато: як чат-боти непомітно впливають на ваші рішення Що таке "колапс моделі"?

Термін, введений у науковий обіг у 2024 році, описує сценарій, за якого ШІ, що навчається на продуктах діяльності алгоритмів, втрачає здатність видавати точні результати.

Причина: низька якість навчальних даних призводить до накопичення помилок.

Наслідок: замість змістовних відповідей модель починає генерувати нісенітницю та незрозумілий набір слів.

Актуальність: оскільки кількість створеного людьми контенту обмежена, розробники дедалі частіше використовують синтетичні дані, а це підвищує ризик глобального збою систем.

Які причини?

Команда вчених із Великої Британії, Норвегії та Італії проаналізувала процес на базі статистичних моделей так званих "експоненціальних сімей". Вони з'ясували, що навчання у замкненому циклі неминуче призводить до колапсу, проте знайшли несподівано просте пояснення.

Рішення: додавання всього лише однієї точки даних із реального світу у процес навчання повністю зупиняє деградацію моделі.

Парадокс: ефект зберігається навіть тоді, коли кількість машинних даних у мільйони разів перевищує цей єдиний "людський" фрагмент.

Альтернатива: колапс також можна попередити, впровадивши в алгоритм попередні знання або "апріорні переконання" ще на етапі тренування.

Майбутнє без галюцинацій

Хоча досліджені моделі простіші за складні нейромережі на кшталт ChatGPT, професор Яссер Руді з Королівського коледжу Лондона зазначає, що ці принципи є фундаментальними для всієї галузі.

Чому це важливо:

Розуміння причин: робота науковців пояснює природу незрозумілих "галюцинацій" ШІ, коли неможливо відстежити логіку помилкової відповіді.

Універсальність: вчені довели, що аналогічне явище спостерігається і в інших класах нейромереж.

Масштабування: у майбутньому дослідники планують протестувати ці принципи на LLM, що використовуються у безпілотних автомобілях та складних чат-ботах.

Загалом же відкриття дає програмістам необхідні інструменти для створення надійного ШІ, який зможе безпечно розвиватися, навіть коли людський ресурс для його навчання стане дефіцитним. Вчені переконані: така вірогідність цілком реальна.

Ще більше цікавого:

• Тепер не лише у браузері: Google випустив офіційні ШІ-додатки для Windows та Mac
• Вчені виявили небезпечну рису ШІ: алгоритми переймають людські упередження