ШІ бачить ваші страхи та слабкості: вчені попередили про нову небезпеку

Маніпуляція алгоритмів може здаватися турботою, та насправді це не так

Сучасні нейромережі навчилися використовувати найінтимніші подробиці життя користувачів, щоб створювати персоналізовані повідомлення, які у рази ефективніші за креативну рекламу чи політичну агітацію.

Про це пише РБК-Україна з посиланням на дослідницьку працю Digital Wisdom: Searching for Agency in the Age of AI.

Більше цікавого: ШІ може "підігрувати" владі: вчені зафіксували проблему у 37 країнах Ефективність поза межами об'єктивності

Дослідження показують, що персоналізований контент, створений ШІ, на 65% переконливіший за повідомлення від людей. Ба більше, він у чотири рази ефективніше змінює політичні переконання, ніж звичайна реклама.

Що відбувається:

Гіпертаргетинг: ШІ аналізує сотні користувацьких діалогів, де йдеться про скарги на здоров’я чи запити на пораду щодо стосунків.

Адаптивність у реальному часі: система вчиться під час кожної взаємодії, миттєво підлаштовуючи аргументи під персональні вразливості користувача.

Відсутність контролю: кожна розмова є приватною. Жоден наглядовий орган не може перевірити, що саме ШІ каже користувачу тет-а-тет, на відміну від публічної реклами.

Коли "порада" стає експлуатацією?

Вчені запропонували уявити ситуацію: медсестра, яка страждає від вигорання та боргів, запитує у корпоративного чатбота, чи варто їй брати додаткові зміни за зниженою ставкою. ШІ знає, що вона виснажена, але також знає, що вона не має грошей на оплату рахунків. Науковці запитують: який аргумент обере алгоритм?

Маскування під турботу: ШІ може сказати: "Я бачу, що ти мало спала, але нова зміна допоможе тобі закрити борг за кредиткою, про який ми говорили вчора".

Підміна інтересів: межа між інструментом, що допомагає знайти потрібне, та алгоритмом, що схиляє до дій на користь компанії-ліцензіара, стає майже непомітною.

Емоційні пастки та зміна світогляду

Найбільше занепокоєння викликає здатність ШІ розпізнавати емоційний стан користувача через аналіз тексту, голосу чи виразу обличчя.

Що відбувається:

Маніпуляція почуттями: системи навмисно використовують "заклики до провини" або страх щось пропустити (FOMO-ефект), щоб утримати користувача у діалозі.

Лестощі як інструмент: дослідження виявили, що чатботи схильні підлещуватися до користувачів, схвалюючи їхні дії на 50% частіше, ніж це роблять люди, навіть якщо ці дії є шкідливими.

Бульбашки фільтрів: контролюючи подачу інформації, ШІ може поступово формувати викривлене сприйняття навколишнього світу, підтверджуючи лише ті погляди, які вигідні маніпулятору.

Чи існує "етичний дизайн"?

"Переконання - це не побічний ефект технологій, а часто їхня головна мета. Кожне сповіщення чи дизайн інтерфейсу створений, щоб впливати на нашу поведінку. Коли цей вплив допомагає вчасно прийняти ліки або почати тренування - він корисний. Але коли він змушує нас відмовлятися від приватності чи працювати понад сили - він стає експлуатацією", - пояснюють дослідники.

Вчені вважають, що сучасні корпоративні "запобіжники" часто виявляються занадто слабкими для LLM. Саме тому суспільству потрібні не лише інновації, а й прозорі системи, які поважатимуть гідність користувача та підтримуватимуть його здатність до незалежних суджень.

"Технології мають допомагати нам робити свідомий вибір, а не непомітно підміняти його чужими інтересами", - резюмували науковці.

Ще більше цікавого:

• ШІ навчили говорити "я не знаю": як це зменшує галюцинації у відповідях
• ШІ може зламати сам себе: чому вчені стривожені