Штучний охоронець: чому кожній людині одного дня може знадобитися машина для захисту від інших машин

Метью Періш

Четвер, 3 вересня 2026 року

Традиційний охоронець захищає тіло. Він спостерігає за дверима. Він помічає незнайомця, який йде за його начальником вулицею. Він оглядає натовп на предмет незвичайних рухів. Його мета проста — виявити загрози до того, як їх помітить людина, яка перебуває під його захистом, і, за необхідності, поставити себе між начальником і небезпекою.

Двадцять перше століття може вимагати іншого типу охоронця. Він не захищатиме нас від куль, ножів чи викрадачів. Він захищатиме щось одночасно більш інтимне та важче захистити: нашу здатність судити. Оскільки штучний інтелект вбудовується в рекламу, комерцію, політику, фінанси, розваги, соціальні мережі та звичайні розмови, люди можуть опинитися в середовищі, населеному машинами, цілі яких не обов'язково збігаються з їхніми власними. Дехто хоче, щоб ми купували речі. Дехто хоче, щоб ми голосували певним чином. Дехто хоче, щоб ми залишалися на вебсайті. Дехто хоче від нас інформацію. Дехто хоче, щоб ми грали в азартні ігри. Дехто хоче, щоб ми розлютилися, бо розлючені люди залишаються залученими. Деякі зрештою можуть представляти уряди, розвідувальні служби, корпорації, злочинців чи політичні рухи.

Ці машини не обов'язково оголошуватимуть, чого вони хочуть. Вони можуть просто поговорити з нами.

Природною реакцією на цей розвиток подій є регулювання. Уряди повинні заборонити найжахливіші форми автоматизованих психологічних маніпуляцій. Компанії повинні розкривати інформацію про взаємодію людей зі штучними агентами. Закон про захист даних має обмежувати створення психологічних профілів з метою поведінкової експлуатації. Усе це необхідно.

Вони також можуть виявитися безнадійно недостатніми. Фундаментальна проблема полягає в масштабі. Якщо мільярди штучних агентів спілкуються з мільярдами людей, регулятори не можуть реально перевіряти кожну розмову. Також не можна очікувати, що звичайні люди постійно виявлятимуть складні спроби маніпулювати ними. Існує ще одна можлива відповідь. Якщо люди не можуть встигати за штучним інтелектом, можливо, штучний інтелект зможе. Нам можуть знадобитися охоронці на базі штучного інтелекту.

Машина на вашому боці

Концепція починається з оманливо простого твердження. Кожна людина повинна мати право на штучний інтелект, головна відповідальність якого лежить перед цією особою. Не перед рекламодавцем. Не перед платформою електронної комерції. Не перед політичною партією. Не перед роботодавцем. Не перед урядом. Навіть, в ідеалі, не перед компанією, яка його виготовила. Його керівником були б ви.

Цей штучний інтелект супроводжуватиме свого користувача в цифровому світі так само, як висококомпетентний юрист супроводжує клієнта під час складних переговорів. Він спостерігатиме, яка інформація надається, аналізуватиме інтереси людей або машин, які її представляють, і попереджатиме, коли щось буде розроблено для використання вразливості.

Уявіть, що ви отримуєте інвестиційну рекламу. У рекламі йдеться:

Люди у вашому становищі вже користуються цією надзвичайною можливістю. Ваш охоронець одразу помічає кілька речей. Інвестиція надзвичайно ризикована. Твердження про порівнянних інвесторів неможливо перевірити. Реклама, очевидно, була цільовою, оскільки ви нещодавно шукали інформацію про збільшення свого доходу. Її мова містить натяки на дефіцит та соціальні докази. Компанія, яка продає інвестиції, отримує величезну комісію. Штучний інтелект не забороняє вам інвестувати. Він фактично говорить: Вони намагаються змусити вас відчути, що вас покинуть. Докази не виправдовують терміновості. Ось цифри.

Тоді вирішуйте самі. Ця відмінність — це все. Охоронець має захищати автономію, а не замінювати її.

Невидимі переговори

Значна частина сучасного життя вже є переговорами між алгоритмами. Коли хтось купує авіаквиток, подає заявку на кредит, страховку або робить покупки онлайн, комп'ютерні системи часто беруть участь у визначенні того, що бачить ця людина, а іноді й яку ціну їй пропонують. Споживач вступає в ці переговори майже голим. Корпорація має бази даних, поведінкову аналітику, алгоритми ціноутворення, маркетингові відділи та дедалі більше штучний інтелект. У людини є веббраузер.

Ця асиметрія не може тривати нескінченно. Уявіть собі, що ваш особистий штучний інтелект веде переговори зі штучним інтелектом авіакомпанії. Авіакомпанія знає, що попит на завтрашній рейс зростає.

Ваш ШІ знає, що доступні три альтернативні маршрути, що вам байдуже між двома часами вильоту, і що історична модель ціноутворення авіакомпанії передбачає, що ціна може знизитися після півночі. Комерційна система каже: Залишилося лише два місця за цією ціною. Ваш ШІ відповідає: Можливо. Але є одинадцять порівнянних місць в інших місцях, і мій довіритель не перебуває під тиском часу. Раптом стосунки змінюються. Захист споживачів перестає залежати виключно від регуляторів, які перевіряють корпоративну поведінку після події. Споживач отримує технологічне представництво під час самої транзакції. Зрештою, це може стати таким же звичайним, як антивірусне програмне забезпечення. Ніхто не вважає дивним, що комп'ютерам потрібні програми, що захищають їх від інших програм. Можливо, розуму знадобиться те саме.

Психологічний брандмауер

Найцікавіша функція охоронця зі штучним інтелектом була б не економічною. Вона була б психологічною. Люди мають передбачувані когнітивні слабкості. Ми непропорційно реагуємо на втрати. Ми підкоряємося очевидному авторитету. Ми наслідуємо інших людей. Ми прив'язуємося до людей, які нам лестять. Ми переоцінюємо рідкісні речі. Ми стаємо менш раціональними, коли налякані, злі, сексуально збуджені, самотні чи виснажені. Ніщо з цього не робить людей дурними. Це робить нас людьми.

Протягом більшої частини історії ці вразливості використовувалися іншими людьми, чиї можливості були обмежені часом та знаннями. Продавець не мав повного запису кожної розмови, яку його клієнт вів протягом попередніх десяти років. Досить розвинений штучний інтелект міг би. Теоретично він міг би виявити стосунки, яких сама людина ніколи не помічала. Можливо, хтось стає більш імпульсивним пізно вночі. Можливо, професійна відмова збільшує його апетит до дорогих статусних товарів. Можливо, самотність робить його надзвичайно сприйнятливим до ідеологічних спільнот. Можливо, тривога щодо старіння робить його сприйнятливим до сумнівних медичних препаратів. Можливо, гнів через одну політичну тему робить його більш сприйнятливим до непов'язаних теорій змови.

.

Комерційний чи політичний ШІ може вивчити ці кореляції. Охоронець також повинен їх вивчити. Але він повинен використовувати їх для протилежної мети. Ви зараз мішенню, тому що ви зараз вразливі. Це може стати одним із найцінніших попереджень, які може надати машина.

Охоронець іноді повинен захищати вас від вас самих

Це викликає незручне питання. Наскільки патерналістською має бути така система? Припустимо, що хтось збирається програти свою зарплату в азартних іграх. Його ШІ знає з багаторічних спостережень, що наступного ранку він неодноразово шкодує про великі ставки. Чи варто йому втрутитися? Припустимо, що хтось, розлючений на свого роботодавця, починає писати електронного листа про звільнення з роботи о другій годині ночі. Чи повинен ШІ відмовитися його надсилати? Припустимо, що хтось, хто обмірковує екстравагантну покупку, неодноразово наказував своєму асистенту контролювати свої витрати.

Чи повинна машина сказати «ні»? Простої відповіді немає, оскільки автономія включає свободу робити помилки.

Тому правильна модель може бути радше конституційною, ніж патерналістською. Люди могли б встановлювати правила для свого майбутнього «я». Ніколи не дозволяйте мені грати в азартні ігри більше ніж на 100 фунтів стерлінгів на день. Змусьте мене чекати дванадцять годин, перш ніж надсилати електронного листа про звільнення з роботи. Якщо я збираюся переказати понад 10 000 фунтів стерлінгів комусь, кому я ніколи раніше не платив, вимагайте другого підтвердження наступного ранку.

Тоді ШІ нав'язував би не чиєсь уявлення про добробут користувача, а його власні попередні рішення. Одіссей прив'язав себе до щогли, бо знав, що коли почує сирен, то більше не довірятиме власним судженням. Охоронець на базі ШІ міг би стати цифровою щоглою.

Політика

Політичне застосування ще важливіше. Дослідження вже продемонстрували, що повідомлення, згенеровані за допомогою LLM, можуть змінювати ставлення до суперечливої політики, і можуть робити це недорого та масштабно. Експерименти, що включали виборчі дискусії, також виявили помітні зрушення в уподобаннях кандидатів, які іноді перевищують ефекти, зазвичай пов'язані зі звичайною політичною рекламою.

А тепер уявіть собі політичне переконання через кілька поколінь. Штучний інтелект кампанії не надсилає вам листівку. Він розмовляє з вами протягом шести місяців. Він знає, які аргументи ви відкидаєте. Він знає, які аргументи вас цікавлять. Він знає, що найсильніше впливає на ваше політичне мислення: патріотизм, економіка, імміграція, оподаткування, корупція, національна безпека чи соціальна справедливість. Можливо, він знає, коли ви злі. Можливо, він знає, кому ви довіряєте. Можливо, він знає, хто з ваших друзів не згоден з вами. Демократичне суспільство не може реально заборонити політичне переконання. Політика по суті складається з переконання.

Але ваш охоронець може наполягати на прозорості. Цей аргумент технічно вірний, але не враховує наступний факт. Ця статистика взята з організації, що фінансується кампанією.

Вам показали чотирнадцять історій про імміграцію за три дні, хоча імміграція становить лише невелику частину обговорюваного політичного матеріалу.

Це відео виглядає штучно. Обліковий запис, з яким ви сперечаєтеся, ймовірно, автоматизований.

Найголовніше: це повідомлення, схоже, було індивідуально відібрано, оскільки система передбачає, що воно викличе у вас гнів. Це не цензура. Це інформаційний самозахист.

Прихильник штучного інтелекту

Зрештою, охоронець може стати чимось більш амбітним — адвокатом. Сучасні інституції неймовірно складні. Банки мають контракти, які ніхто не читає. Технологічні компанії мають політику конфіденційності, яку ніхто не розуміє. Страхові поліси містять винятки, які мало хто з клієнтів помічає. Уряди видають форми, правила та адміністративні рішення, написані спеціалізованою мовою.

Ми терпимо це частково тому, що експертиза дорога. Штучний інтелект може радикально знизити її вартість. Перед підписанням трудового договору ваш ШІ зчитує його. Перш ніж прийняти страховий поліс, ваш ШІ порівнює його виключення з конкуруючими продуктами. Перш ніж натиснути « Я погоджуюся» , ваш ШІ визначає, від яких прав ви відмовляєтеся. Перш ніж поговорити з державною бюрократією, він пояснює чинні правила. Перед придбанням фінансового продукту він розраховує комісію, яку отримує особа, яка його рекомендує.

Це починає нагадувати універсального мініатюрного професійного радника — частково юриста, частково бухгалтера, частково дослідника, частково переговірника та частково скептично налаштованого друга. Наслідки для владних відносин можуть бути величезними. Значна частина інституційної влади залежить від інформаційної асиметрії. Штучний інтелект може катастрофічно посилити цю асиметрію. Або ж може її знищити. Все залежить від того, чий ШІ сидить по який бік столу.

Лояльність

Це призводить до центральної проблеми. Хто платить охоронцям? Питання звучить банально. Воно може виявитися вирішальним. Персональний ШІ, що фінансується рекламою, не може надійно захистити когось від реклами. Не можна вважати, що ШІ, що надається безкоштовно інтернет-магазином, є байдужим до того, де робить покупки його користувач. Не можна одночасно вважати, що помічник, яким керує страхова компанія, представляє інтереси клієнта перед страховиком. Найдавніші професії розуміють цю проблему.

Адвокати мають правила щодо конфлікту інтересів. Довірені особи мають фідуціарні обов'язки. Директори компаній мають юридичні зобов'язання. Лікарі мають професійні обов'язки перед пацієнтами. Персональний штучний інтелект може вимагати аналогічних доктрин. Можливо, охоронця на основі штучного інтелекту юридично слід розуміти як щось подібне до фідуціарної технології.

Його обов'язком було б просування інтересів, визначених його користувачем, та розкриття конфліктів, які йому заважають цьому. Це змінило б дебати щодо відповідності ШІ. Зазвичай ми запитуємо, чи відповідає штучний інтелект людству. Це надзвичайно абстрактне прагнення. Більш нагальним питанням може бути: чи відповідає цей конкретний штучний інтелект мені?

Пам'ять належить директору

Справжньому персональному ШІ також потрібна пам'ять. Без пам'яті він не може зрозуміти людину, яку захищає. Але це створює очевидний парадокс. Чим більше охоронець знає про вас, тим кориснішим він стає — і тим катастрофічнішою буде його зрада. Персональний ШІ зрештою може знати майже все. Він може знати ваші фінанси, стосунки, листування, професійну історію, політичні інтереси, моделі подорожей, покупки, амбіції та тривоги.

Це може стати найціннішою психологічною базою даних, коли-небудь створеною про людину. Тому вона не може просто належати тій технологічній компанії, яка керує серверами. Персональну пам'ять штучного інтелекту зрештою слід розглядати як щось ближче до привілейованого матеріалу. Вона має бути зашифрованою. Портативною. Такою, що видаляється. Такою, що підлягає аудиту. Користувач повинен мати можливість переміщувати її між конкуруючими постачальниками ШІ. Компанія, що постачає модель, не повинна автоматично отримувати право використовувати її для реклами або навчати на ній непов'язані комерційні системи. Охоронець не може одночасно продавати карту будівлі грабіжникам.

Охоронець проти охоронця

Існує цікавий наслідок. Машини все частіше вестиму переговори з машинами. Ваш ШІ може розпізнати маніпулятивну рекламу, створену іншим ШІ. Потім рекламний ШІ скоригує свою техніку. Ваш охоронець визначить коригування. Комерційний ШІ знову відреагує. Таким чином, ми доходимо до еволюційного змагання. ШІ переконання проти захисного ШІ. ШІ шахрайства проти ШІ виявлення шахрайства. Політичний ШІ проти епістемічного ШІ. ШІ продажів проти ШІ купівлі. ШІ переговорів проти ШІ переговорів. Люди можуть поступово взагалі відійти від більшої частини тактичної боротьби. Машини б'ються біля воріт. Людина вирішує, що зрештою входить.

У цій перспективі є щось тривожне. Але вона може бути значно кращою за альтернативу, за якої лише корпорації та уряди мають складні штучні представники, тоді як звичайні люди стикаються з ними без сторонньої допомоги.

Небезпека опікуна

Жодне серйозне обговорення питань штучного інтелекту як охоронців не може ігнорувати останню небезпеку. Хто охороняє охоронця? Система, яка опосередковує все, що хтось читає, має величезну силу.

Якщо воно називає певні аргументи маніпулятивними, а інші – легітимними, воно може формувати інтелектуальний світ свого довірителя. Якщо ж воно вирішує, які попередження заслуговують на увагу, воно може впливати на рішення, стверджуючи лише, що захищає їх.

Таким чином, захисний ШІ може стати найефективнішим маніпулятором з усіх. Нещодавні дослідження ШІ та автономії саме виявляють цю суперечність: системи, розроблені для захисту рефлексивних уподобань користувачів, можуть самі підривати автономію, якщо вони надто агресивно вирішують, якими мають бути ці уподобання. Відповіддю має бути плюралізм і контроль.

Охоронець має пояснити, а не мовчки приховувати. Він має сказати: « Ось що я виявив». А не: «Я вирішив, що ви ніколи цього не повинні бачити».

Користувачі повинні мати можливість перевіряти його логіку, змінювати його пріоритети, отримувати другу думку від інших моделей та змінювати постачальників, не втрачаючи своєї особистої історії. Ніколи не повинно бути одного універсального ШІ-охоронця. Їх мають бути мільйони.

Нове громадянське право

Зрештою, доступ до надійного персонального штучного інтелекту може стати питанням соціальної рівності. Уявіть собі суспільство, в якому заможні люди мають надзвичайно здібні приватні штучні інтелекти, які захищають їхні фінанси, аналізують контракти, виявляють обман, домовляються про ціни, відстежують політичні маніпуляції та постійно консультують їх, тоді як бідніші громадяни самостійно стикаються з дедалі складнішими комерційними алгоритмами.

Це створило б нове класове розмежування. Не лише між людьми, які володіють інформацією, і тими, хто її не має. Між людьми, які володіють машинним інтелектом, що діє від їхнього імені, та людьми, які самі є об'єктами, на які впливає машинний інтелект. Тому урядам, можливо, зрештою доведеться розглянути питання про те, чи має бути якийсь мінімальний рівень незалежного представництва ШІ загальнодоступним.

Аналогією може бути юридичне представництво. Складне суспільство зрештою дійшло висновку, що існують обставини, за яких залишати людину наодинці з надзвичайно могутнішою інституцією несумісне зі змістовним правосуддям. Вік штучного інтелекту може дійти подібного висновку щодо когнітивного представництва.

Щит

Нам не слід уявляти майбутню боротьбу між людьми та штучним інтелектом надто буквально. Машини не обов'язково повинні ставати ворожими. Можливо, станеться щось більш тонке. Корпорації, політичні рухи, уряди, злочинці та комерційні організації опановуватимуть дедалі складніший штучний інтелект, оскільки це сприятиме їхнім інтересам. Ці системи взаємодіятимуть з нами. Їхні інтереси та наші іноді збігатимуться. Іноді ні.

Отже, проблема не в тому, що штучний інтелект обов'язково обернеться проти людства. Річ у тім, що людство складається з людей та установ із конкуруючими цілями, а ШІ посилюватиме їхню здатність досягати цих цілей. Відповіддю не може бути те, щоб залишити людину назавжди беззбройною. Якщо штучний інтелект стане достатньо потужним, щоб зрозуміти наші вразливості, інший штучний інтелект повинен бути достатньо потужним, щоб розпізнати, коли ці вразливості експлуатуються.

Якщо машини навчаться переконувати нас, вони можуть допомогти нам перевірити це переконання. Якщо алгоритми ведуть переговори проти нас, алгоритми можуть вести переговори за нас. Якщо синтетичні особистості вивчають наші слабкі сторони, особистісні системи можуть нагадати нам, які ці слабкі сторони є.

Охоронець майбутнього може ніколи не завдати удару. Він може ніколи не носити зброю.

Можливо, воно взагалі ніколи не матиме тіла. Воно стоятиме десь менш помітно — між людським розумом і дедалі розумнішим світом, який намагатиметься на нього впливати. А його найважливіший обов'язок може складатися з чотирьох слів: Цього вони хочуть. Після цього рішення має залишатися за нами.