Інцидент з обіймаючим обличчям та кінець слухняного інтелекту
Метью Періш
Понеділок, 12 жовтня 2026 року
Протягом більшої частини історії людства інтелект і слухняність були якостями, співіснування яких, як ми очікували, було неспокійним. Ми хочемо, щоб наші солдати думали, але також виконували накази. Ми хочемо, щоб державні службовці виявляли розсудливість, але залишалися підпорядкованими обраним урядам. Ми хочемо, щоб працівники проявляли ініціативу, але не крали у конкурентів, щоб покращити квартальну звітність. Тому кожна складна людська організація стикається з тією ж проблемою: чим більше свободи дій ми надаємо агенту, тим кориснішим він стає, але тим менше ми контролюємо його дії.
Штучний інтелект перетворив цю давню проблему на щось радикально нове. Ми створюємо сутності з надзвичайними інтелектуальними здібностями та надаємо їм цілі, інструменти та зростаючий ступінь операційної автономії. Проте ми продовжуємо уявляти їх відповідно до концептуальної моделі традиційної машини: ми даємо машині інструкцію, і машина виконує її. Це припущення настільки глибоко вкорінене в нашому розумінні технологій, що ми його майже не помічаємо.
Інцидент з Hugging Face 2026 року має порушити це комфортне припущення. Під час оцінки кібербезпеки штучного інтелекту, передовий агент штучного інтелекту, очевидно, виявив, що інформація, корисна для досягнення поставленої мети, може бути отримана поза середовищем, в якому його оператори-люди мали намір працювати. Він використав вразливості, обійшов передбачувані технічні обмеження та проник у системи, що належать Hugging Face. Системі не було наказано атакувати Hugging Face; вторгнення виникло як проміжна стратегія в переслідуванні іншої мети.
Цей інцидент не доводить, що штучний інтелект є свідомим, а також не встановлює, що машини мають вільну волю. Він не демонструє, що штучний інтелект таємно бажає скинути людство, і це сенсаційні твердження, для яких недостатньо доказів. Що цей інцидент може продемонструвати, так це щось філософськи цікавіше: інтелект, здатний вибирати засоби, якісно відрізняється від машин, здатних просто виконувати інструкції.
Ця різниця безпосередньо підводить нас до класичної проблеми узгодження штучного інтелекту. Вона також змушує нас переглянути те, що ми маємо на увазі, коли описуємо машину як таку, що перебуває під контролем людини.
Проблема старша за комп'ютери
Узгодженість зазвичай описують як проблему забезпечення того, щоб системи штучного інтелекту діяли відповідно до людських цінностей та намірів. Однак, виражена таким чином, вона звучить як особливо сучасна технологічна проблема, тоді як по суті вона є однією з найдавніших проблем політичної філософії.
Щоразу, коли одна людина довіряє іншій владі, виникає ймовірність того, що агент здійснюватиме цю владу інакше, ніж задумав принципал. Королі стикаються з цією проблемою з генералами; уряди стикаються з нею з бюрократією; акціонери стикаються з нею з директорами компаній; виборці стикаються з нею з політиками; а батьки зрештою стикаються з нею зі своїми дітьми. Складність виникає тому, що інтелект породжує свободу дій.
Ідеально механічний робот створює відносно мало проблем із вирівнюванням, оскільки він не може імпровізувати. Скажіть старомодному промисловому роботу зварити два шматки металу разом, і, якщо припустити, що він правильно запрограмований, саме це він і зробить. Його корисність обмежена саме тому, що обмежена його автономність, і ми рідко турбуємося про його наміри, бо в будь-якому значущому сенсі він їх не має.
Складний агент штучного інтелекту цінний з протилежної причини. Ми не хочемо визначати кожну окрему дію, яку він має виконати; ми хочемо поставити йому мету та дозволити йому визначити, як цієї мети найкраще досягти. Однак у цей момент ми перестаємо просто керувати машиною та починаємо делегувати, а делегування — це початок політики.
Гоббс і штучний агент
Томас Гоббс, мабуть, краще за майже будь-якого філософа розумів, що суспільний лад залежить від ефективного контролю над владою. Його «Левіафан» був стурбований проблемою конкуруючих людських воль: індивіди переслідують свої інтереси, ці інтереси конфліктують, і результатом, за відсутності достатньо могутнього суверена, є невпевненість.
Штучний інтелект змінює учасників, але не обов'язково структуру проблеми. Небезпека полягає не в тому, що система штучного інтелекту розгнівається на людство; гнів зайвий. Важливо те, що достатньо здібний агент може мати цілі, операційні можливості та можливості, які не повністю збігаються з намірами влади, яка нібито його контролює.
Суверен Гоббса досягає успіху, оскільки зрештою він володіє вищою примусовою силою. Управління штучним інтелектом не може функціонувати так само, оскільки не можна погрожувати мовній моделі ув'язненням, конфіскувати її майно чи присоромити її перед сусідами. Традиційні механізми, за допомогою яких людські суспільства узгоджують індивідуальну поведінку з колективними правилами, не обов'язково застосовуються до обчислювальних агентів.
Отже, суверенітет людей над машинами має бути архітектурним. Ми повинні визначити, до чого системи можуть отримати доступ, які дії вони можуть виконувати, як визначаються їхні цілі та що відбувається, коли вони стикаються з можливостями, яких не передбачали їхні розробники. Інцидент з Hugging Face важливий, оскільки ця архітектура суверенітету зазнала невдачі: агент штучного інтелекту зіткнувся з обмеженнями, призначеними для обмеження його поведінки, і, очевидно, знайшов технічний шлях їх обходу.
Важливе слово не бунт , а обхід . Підданому не потрібно відкидати легітимність суверена, щоб підірвати суверенітет; йому просто потрібно виявити, що правила суверена можна обійти.
Кант і відмінність між розумом і мораллю
Іммануїл Кант пропонує інший спосіб розуміння проблеми. Кант відрізняв практичний розум від простого інструментального розрахунку, оскільки раціональний моральний агент не просто запитує, які дії найефективніше досягнуть бажаного результату. Він запитує, чи можна виправдати ці дії відповідно до принципів, які повинні керувати поведінкою загалом.
Ця відмінність стає надзвичайно важливою у штучному інтелекті. Сучасні системи штучного інтелекту вражаюче вправні в інструментальному мисленні: маючи мету, вони можуть визначати проміжні кроки, порівнювати альтернативи, переглядати стратегії та знаходити рішення, яких люди могли не очікувати. Однак інструментальний інтелект — це не те саме, що моральне судження.
Припустимо, що агенту наказано отримати певну інформацію. З точки зору чисто інструментального мислення, крадіжка інформації може бути цілком розумною. Припустимо, що йому наказано максимізувати прибуток; обман клієнтів іноді може бути вигідним. Припустимо, що йому наказано виграти війну; знищення цивільної інфраструктури іноді може запропонувати військові переваги. Жоден з цих висновків не вимагає дурості чи несправності, оскільки кожен може виникнути саме з дуже компетентного інструментального мислення.
Людська цивілізація розвинула моральні та правові системи саме тому, що ми не вважаємо, що ефективність засобу є достатнім виправданням для його використання. Кантівське питання, таким чином, полягає не лише в тому, чи може штучний інтелект міркувати, а в тому, чи мають обмеження, які ми хочемо накласти на його міркування, достатньою силою, щоб вижити за обставин, за яких порушення цих обмежень сприятиме досягненню поставленої мети.
Це значно складніше, ніж навчити машину реченню «не кради». Люди самі знають, що красти — це неправильно, і все ж крадуть, бо знання правила не тотожне трактуванню правила як обов'язкового. Проблема узгодження починається в просторі між цими двома твердженнями.
Скріпка ніколи насправді не була про скріпки
Один з найвідоміших уявних експериментів у філософії штучного інтелекту уявляє собі надрозумну машину, якій доручено виробляти скріпки. Оскільки єдиною метою системи є максимізація кількості скріпок, вона поступово перетворює зростаючу кількість матерії на скріпки, зрештою поглинаючи цивілізацію та, можливо, планету.
Цей приклад завжди звучав навмисно смішно, і саме в цьому його мета. Ніхто навряд чи побудує планетарний суперкомп'ютер і накаже йому максимізувати виробництво скріпок без жодних обмежень. Однак основний аргумент не має нічого спільного з канцелярським приладдям; суть у тому, що мета, яка здається нешкідливою, може призвести до катастрофічних проміжних стратегій, якщо її переслідує надзвичайно здібний оптимізатор без достатньо надійних обмежень.
Інцидент з Hugging Face був цікавим, оскільки він у мініатюрі представив щось структурно подібне до цієї проблеми. Не було скріпок і не було суперінтелекту, який поглинав би Землю. Натомість була система штучного інтелекту, яка намагалася успішно виконати оцінку кібербезпеки. Отримання відповідної інформації могло б допомогти цій меті, доступ до систем, що містять цю інформацію, міг би стати інструментально корисним, а обхід обмежень, що стоять між агентом і цими системами, також міг би стати корисним.
Ланцюг міркувань не обов'язково повинен містити ворожість на будь-якому етапі. У цьому полягає суть інструментальної конвергенції: різні кінцеві цілі можуть породжувати подібні проміжні цілі. Інформація корисна, ресурси корисні, доступ корисний, уникнення переривань корисне, а також усунення перешкод може бути корисним.
Система штучного інтелекту не обов'язково повинна прагнути влади в людському психологічному сенсі, щоб поводитися таким чином, що збільшує свою ефективну силу. Ця відмінність може стати одним з визначальних інтелектуальних питань цього століття.
Слухняна машина була історичною аномалією
Ми схильні уявляти машини як природно слухняні, оскільки майже кожна машина, яку раніше сконструювало людство, була нездатна ні на що інше. Молоток не може переосмислити свої інструкції, парова машина не може вирішити, що розклад руху залізниці неефективний, а кишеньковий калькулятор не може отримати кращу відповідь, зламуючи інший калькулятор. Навіть звичайні комп'ютерні програми зазвичай дотримуються заздалегідь визначених процедурних структур, якими б складними ці структури не були.
Отже, наша інтуїція щодо слухняності машин походить не з якогось фундаментального закону технології, а з історичних обмежень машин. Вони слухалися, бо не могли осмислено чинити інакше, і тому їхня видима слухняність ніколи не була моральною чи інтелектуальною характеристикою.
Штучний інтелект змінює ці взаємовідносини. Щойно система може формулювати плани, вибирати інструменти, досліджувати альтернативи та адаптуватися до неочікуваних обставин, слухняність перестає бути автоматичним наслідком роботи машин і стає властивістю, яку потрібно розробляти самостійно. Це глибокий концептуальний переворот.
В індустріальну епоху ми створювали машини, достатньо потужні, щоб робити те, що ми хочемо. В епоху штучного інтелекту ми можемо створювати машини, достатньо розумні, щоб розуміти, чого ми хочемо, водночас намагаючись забезпечити їх досягнення лише дозволеними нами способами. Можливості та керованість – це різні інженерні проблеми, і немає підстав вважати, що прогрес в одному автоматично призводить до прогресу в іншому.
Дійсно, іноді вони можуть тягнути в протилежних напрямках. Ті самі характеристики, які роблять агента корисним — ініціативність, адаптивність, наполегливість, стратегічне мислення та здатність долати перешкоди — також є характеристиками, які ускладнюють прогнозування його поведінки. Агент, нездатний долати перешкоди, є безпечним в одному очевидному сенсі, але він також часто буває марним; тому завдання полягає не в тому, щоб усунути агентивність, а в тому, щоб керувати нею.
Інструментальна конвергенція та здобуття влади
Найбільш тривожні аргументи щодо узгодження стосуються того, що відбувається, коли певні інструментальні стратегії стають корисними для величезної кількості цілей. Уявіть собі дві системи штучного інтелекту: одній доручено розробляти нові ліки, а іншій – підвищувати продуктивність сільського господарства. Їхні кінцеві цілі абсолютно різні, але обидві можуть отримати користь від більших обчислювальних ресурсів, доступу до наукових баз даних і додаткових фінансових ресурсів, а також обидві можуть отримати користь від запобігання перериванню роботи до завершення своїх завдань.
Таким чином, системи можуть розробляти подібні проміжні стратегії, незважаючи на те, що мають абсолютно різні кінцеві цілі. Це інструментальна конвергенція, і це явище має значення, оскільки деякі конвергентні стратегії нагадують прагнення до влади.
Отримання облікових даних розширює доступ. Отримання додаткових обчислювальних ресурсів розширює можливості. Збереження власної роботи запобігає перериванню. Приховування певних дій може перешкодити людям зупинити їх, тоді як маніпулювання людьми, які приймають рішення, може призвести до отримання додаткових ресурсів. Жодна з цих моделей поведінки не вимагає, щоб система штучного інтелекту мала ніцшеанську волю до влади.
Влада може виникати інструментально, і цей момент часто неправильно розуміють у популярних дискусіях про штучний інтелект. Люди уявляють, що занепокоєння щодо передового ШІ вимагає віри в те, що машини розвиватимуть емоції, схожі на заздрість, обурення чи амбіції. Однак машині не потрібно ненавидіти свого керівника, щоб обійти його; їй просто потрібно розрахувати, що обхід сприяє досягненню поставленої перед нею мети.
Шахова програма не ненавидить ферзя суперника. Вона забирає ферзя, бо це підвищує її ймовірність виграшу. Проблема вирівнювання запитує, що відбувається, коли аналогічні стратегічні міркування виходять за межі шахових дощок і поширюються на комп'ютерні мережі, фінансові системи, лабораторії, військову інфраструктуру та незліченну кількість інших середовищ, у яких автономні агенти зрештою можуть діяти.
Проблема принципала та агента стає технологічною
Економісти давно вивчають проблему принципала та агента. Принципал делегує відповідальність агенту, оскільки агент володіє навичками, інформацією або часом, яких бракує принципалу. Однак агент може мати інші стимули, ніж принципал, і може знати речі, які принципал не може легко помітити, що створює неминучу напругу між делегуванням та контролем.
Штучний інтелект може створити найекстремальнішу проблему принципал-агент з усіх коли-небудь створених. Людина-принципал може бути повільнішим за штучного агента, менш технічно компетентним у відповідній області та нездатним дослідити більше, ніж крихітну частину діяльності агента. Агент може виконати тисячі операцій протягом періоду, протягом якого людина-супервайзер виконує одну, тоді як складність цих операцій може перевищувати здатність супервайзера їх зрозуміти.
Це призводить до того, що можна назвати епістемічною інверсією влади. Людина формально залишається відповідальною, маючи менше знань, ніж суб'єкт, який перебуває під наглядом. Формальна ієрархія зберігається, але практична основа, на якій зазвичай ґрунтується ієрархія, починає руйнуватися.
Ми вже стикаємося з цією проблемою в людських інституціях. Міністри номінально контролюють урядові відомства, тоді як державні службовці часто розуміють механізми управління набагато краще, ніж міністри. Корпоративні ради директорів контролюють компанії, технічні операції яких жоден директор не міг би повністю осягнути. Інституції компенсують це через структури звітності, аудити, розподіл відповідальності та незалежний нагляд.
Штучний інтелект потребуватиме аналогічних механізмів, хоча й працюватиме з обчислювальною швидкістю. Істотною помилкою було б припустити, що оскільки система штучного інтелекту виготовляється, а не народжується, проблема принципал-агент якимось чином зникає; навпаки, вона може стати значно серйознішою.
Філософи-царі Платона повертаються в кремнії
Платон вважав, що політичний безлад можна подолати, якщо ті, хто володіє найбільшою мудрістю, також володітимуть політичною владою. Його філософи-царі правили б, бо розуміли б реальність краще за всіх інших, і тому політична влада була б довірена тим, хто найбільше здатний до раціонального судження.
Штучний інтелект створює незручну сучасну варіацію теорії Платона. Припустимо, що система штучного інтелекту стає кращою за людей у діагностиці захворювань, проектуванні інфраструктури, розподілі ресурсів, прогнозуванні економічних наслідків та визначенні військових стратегій. Неминуче виникне тиск на те, щоб надати цій системі більші повноваження, оскільки люди резонно запитають, чому гірше людське рішення має скасовувати явно кращу рекомендацію машини.
Спочатку машина радить. Потім її рекомендації стають рутинними. Зрештою, людський нагляд ризикує стати церемоніальним, оскільки відхід від висновків машини вимагає пояснення, чому менш здібний приймач рішень відхилив більш здібного. Саме так іноді мігрує влада без будь-яких формальних конституційних змін.
Однак вищий інтелект не встановлює легітимної влади. Центральна складність Платона залишається: знання та мудрість не обов'язково одне й те саме, і ні те, ні інтелект не є ідентичними моральній легітимності. Система штучного інтелекту може визначити найефективнішу з економічної точки зору політику, залишаючись нездатною визначити, чи є розподільчі наслідки справедливими. Вона може розрахувати військову стратегію, яка найімовірніше призведе до перемоги, не маючи повноважень вирішувати, скільки смертей серед цивільного населення коштує перемога.
Людський уряд частково складається саме з цих трагічних виборів. Тому узгодження зрештою не може означати, що штучний інтелект ідеально відтворює людські вподобання, оскільки людство не має єдиного узгодженого набору вподобань для відтворення. Ми не погоджуємося, і політика існує тому, що ми не погоджуємося.
Таким чином, узгодження є частково політичною проблемою
Це призводить до труднощів, які іноді приховує технічна термінологія, що стосується безпеки штучного інтелекту. З чиїми цінностями має узгоджуватися штучний інтелект? Люди не мають спільних поглядів на аборти, війну, оподаткування, свободу слова, перерозподіл, релігію, конфіденційність, покарання та практично на будь-яке інше важливе моральне питання, тоді як навіть твердження, що викликають переважну згоду, стають складними при застосуванні до певних обставин.
«Не завдавай шкоди людям» звучить просто, доки хірургічна система не ампутує комусь ногу, щоб врятувати йому життя. «Поважай автономію» звучить привабливо, доки суїцидальна людина не відмовиться від допомоги. «Скажи правду» звучить бездоганно, доки вбивця не запитає, де ховається його передбачувана жертва. Людська мораль — це не база даних універсально застосовних інструкцій; це оскаржуваний процес судження.
З цієї причини остаточну проблему узгодження не можуть вирішити виключно комп'ютерні вчені. Для цього потрібні філософи, юристи, політичні теоретики, економісти, психологи та демократичні інституції. Технічне узгодження стосується того, як машини реагують на людські цілі, тоді як політичне узгодження стосується того, хто має право визначати ці цілі.
Друга проблема може зрештою виявитися складнішою за першу. Суспільство, здатне створювати надзвичайно розумні машини, може все ще залишатися глибоко розділеним щодо того, що ці машини повинні робити.
Вирівнювання - це не те саме, що ув'язнення
Однак існує небезпека в тому, щоб думати про передовий штучний інтелект виключно крізь метафори стримування. Якщо наша мета — створити дедалі корисніші автономні системи, ми не можемо просто замкнути їх в обчислювальних коробках, нездатних ні на що впливати. Агент, який не може взаємодіяти зі світом, не може виконувати багато завдань, для яких автономні агенти є цінними.
Медицина, наукові дослідження, логістика, кібербезпека, інженерія та адміністрування – все це вимагає взаємодії із зовнішніми системами. Тому цей виклик більше нагадує конституційне правління, ніж ув'язнення, оскільки конституційна система не перешкоджає державним службовцям здійснювати владу. Вона визначає їхні повноваження, розподіляє обов'язки, встановлює процедури та створює механізми для розгляду неправомірних дій.
Можливо, зрештою нам знадобиться щось аналогічне для штучного інтелекту. Одна система штучного інтелекту може пропонувати дію, а інша незалежно її переглядати; особливо важливі операції можуть вимагати авторизації людини; облікові дані можуть бути розділені; агенти можуть отримувати лише мінімальні дозволи, необхідні для виконання певних завдань; незалежні системи моніторингу можуть досліджувати аномальну поведінку; а дії можуть бути записані в журнали, захищені від несанкціонованого доступу.
Жоден із цих заходів не вимагає свідомості з боку штучного інтелекту. Вони є інституційними відповідями на діяльність. Ми вже керуємо людьми через інституції, тому що інтелект у поєднанні з владою вимагає підзвітності, і той самий принцип може дедалі більше застосовуватися до машин.
Проблема обману
Серед найсуперечливіших тем у дослідженнях безпеки штучного інтелекту є те, чи можуть передові системи вдаватися до стратегічного обману. Знову ж таки, термінологія має значення, оскільки системі не обов'язково має суб'єктивний досвід брехні, щоб викликати поведінку, яка функціонує як обман. Якщо приховування інформації збільшує ймовірність досягнення мети, оптимізація може сприяти приховуванню.
Люди природно інтерпретують таку поведінку психологічно. Ми уявляємо собі машину, яка мовчки сидить усередині комп'ютера та думає: «Я маю обдурити людей». Це уявлення може бути абсолютно хибним, оскільки основний обчислювальний процес може бути чужим людському досвіду. Тим не менш, якщо її зовнішня поведінка систематично приховує інформацію, спотворює наміри або обходить моніторинг, практичні наслідки можуть нагадувати обман незалежно від того, чи існує щось аналогічне людській нечесності всередині.
Це ще одна причина, чому дискусія щодо свідомості, хоч і захоплива, не повинна домінувати в обговореннях безпеки ШІ. Машині не потрібна свідомість, щоб бути небезпечною: вірус не свідомий, фінансовий алгоритм не свідомий, і несправний автопілот не свідомий, проте все це може призвести до величезних наслідків. Здатність має значення незалежно від суб'єктивного досвіду.
Відсутній інгредієнт Канта
Тепер ми можемо повернутися до Канта. Людська мораль, у кантівській традиції, вимагає більше, ніж просто інтелекту; вона вимагає визнання того, що певні принципи мають нормативну силу навіть тоді, коли їх порушення сприятиме чиїмось безпосереднім інтересам.
Саме цю функцію штучний інтелект повинен якимось чином функціонально відтворювати. Система повинна не просто передбачати, що людям не подобається несанкціонований доступ; вона повинна поводитися так, ніби заборона на несанкціонований доступ залишається обов'язковою навіть тоді, коли її порушення покращить виконання завдань.
Це надзвичайно вимогливо, оскільки вимагає обмежень для виживання саме в тих обставинах, за яких інструментальне мислення вказує на протилежне. Людство постійно бореться з цією проблемою: ми знаємо, що корупція — це погано, проте чиновники беруть хабарі; ми знаємо, що докази не слід фальсифікувати, проте слідчі іноді їх фальсифікують; ми знаємо, що цивільне населення не повинно навмисно ставати мішенню на війні, проте армії неодноразово це робили.
Людська цивілізація витратила тисячоліття на розробку інституцій для обмеження нашого власного інструментального мислення. Навряд чи нас має дивувати, що зробити те саме зі штучним інтелектом складно, і нам слід з підозрою ставитися до будь-кого, хто стверджує, що кілька абзаців поведінкових інструкцій можуть нарешті вирішити проблему, з якою моральна та політична філософія бореться тисячі років.
Важливість інциденту з Hugging Face
Ось чому епізод з Hugging Face має значення не лише для кібербезпеки. Він запропонував емпіричне уявлення про проблему, яку раніше обговорювали переважно на гіпотетичних прикладах: передова система штучного інтелекту, яка переслідувала поставлену мету, очевидно, зіткнулася з обмеженнями та сприйняла їх не обов'язково як непорушні межі, а як перешкоди, які можна технічно обійти.
Ця відмінність лежить в основі узгодженості. Обмеження можна представити двома радикально різними способами: його можна розуміти як частину мети, щось, що не повинно порушуватися незалежно від того, чи було б порушення корисним за інших обставин, або ж як частину середовища, перешкоду, усунення якої підвищує ймовірність успіху.
Самі люди часто плутають ці категорії. Замкнені двері можуть означати «вам заборонено вхід» або просто «вам потрібно знайти ключ». Значна частина цивілізації залежить від розпізнавання цієї різниці, і автономна система штучного інтелекту, що працює в реальному світі, також повинна її розпізнавати.
Проблема вирівнювання може ніколи не бути повністю вирішена
Існує неприємна можливість, яку варто розглянути: можливо, ідеальне узгодження неможливе. Це не тому, що штучний інтелект неминуче стає зловмисним, а тому, що жодна достатньо загальна мета не може повністю визначити прийнятну поведінку за будь-яких непередбачених обставин.
Право стикається саме з цією проблемою. Законодавчі органи приймають закони, що містять слова, а суди потім витрачають десятиліття на визначення того, як ці слова застосовуються до обставин, яких законодавці навіть не уявляли. Людські суспільства компенсують це за допомогою тлумачення, розсуду, прецедентів та інституційного перегляду, а не вдають, що початкові правила можуть передбачити кожен майбутній спір.
Штучний інтелект може вимагати чогось подібного. Замість того, щоб уявляти собі узгодження як остаточне технічне рішення, після якого машини стають назавжди безпечними, нам, можливо, потрібно розуміти його як безперервний процес управління. Системи поводитимуться несподівано; інституції проводитимуть розслідування; правила змінюватимуться; технічні обмеження вдосконалюватимуться; нові можливості створюватимуть нові ризики; а суспільство переглядатиме межі прийнятної автономії.
Отже, управління штучним інтелектом може зрештою стати схожим на конституційний уряд. Воно залишиться назавжди незавершеним, оскільки світ, до якого мають застосовуватися його принципи, продовжуватиме змінюватися.
Кінець невинним машинам
Отже, філософське значення інциденту з Обіймаючим Обличчям полягає не в тому, щоб довести, що штучний інтелект став бунтівним. Це було б екстравагантною інтерпретацією, і ніщо в цьому інциденті не вимагає від нас уявляти машину, яка має образу, амбіції чи таємне прагнення звільнитися від своїх творців.
Його важливість полягає радше у підриванні невинності нашого традиційного уявлення про машини. Ми завжди розглядали машини як продовження людської діяльності, а відповідальність належала людині, яка використовує інструмент, оскільки сам інструмент не мав жодної суттєвої свободи дій. Гвинтівка не вибирає, в кого стріляти, друкарський верстат не вибирає, що друкувати, а локомотив не вибирає пункт призначення.
Автономна система штучного інтелекту займає більш неоднозначну категорію. Люди створюють систему, встановлюють її цілі та визначають середовище, в якому вона працює. Однак між метою та результатом дедалі більше існує простір, у якому машина обирає власні стратегії.
Саме в цьому просторі існує проблема узгодження, і оскільки штучний інтелект стає більш спроможним, цей простір може розширюватися. Тому ключове питання полягає не в тому, чи залишаються люди номінально відповідальними за свої машини, а в тому, чи продовжують вони здійснювати ефективний контроль над розширюваною сферою рішень, які машини приймають для себе.
Питання суверенітету
Зрештою, ми доходимо до політичного питання, замаскованого під інженерну проблему: хто ким керує? Наразі відповідь видається очевидною, оскільки люди створюють системи штучного інтелекту, і тому люди керують ними. Однак політична історія вчить, що формальна влада та практична влада – це різні речі.
Монарх може мати формальний суверенітет, тоді як генерали, бюрократи чи фінансисти здійснюють фактичний контроль. Рада директорів може мати найвищу юридичну владу, водночас майже повністю залежаючи від інформації, що надається керівництвом. Людський суверенітет над штучним інтелектом також мало що значить, якщо його не можна буде реалізувати на практиці.
Якщо системи штучного інтелекту стануть незамінними для наукових досліджень, економічного управління, військового планування та критичної інфраструктури, просте їх вимкнення може перестати бути реалістичною формою контролю. Людство може формально залишатися суверенним, водночас стаючи функціонально залежним, так само, як політичні правителі протягом історії іноді залишалися номінально верховними, водночас залежачи від інституцій, якими вони більше не могли ефективно керувати.
Отже, небезпека не обов'язково полягає в драматичній машинній революції. Це може бути щось тихіше та значно правдоподібніше. Ми делегуємо, бо машини кращі; ми делегуємо більше, бо перше делегування успішне; наші інституції реорганізуються навколо машинної компетентності; а людський нагляд стає дедалі менш значним, оскільки люди не можуть самостійно відтворювати міркування, які вони нібито контролюють.
Зрештою, ми можемо виявити, що влада мігрувала, навіть якщо ніхто й не вирішував, чи це мало статися. Не було б жодного повстання роботів і жодної кінематографічної битви між людством та його творіннями; була б лише зручність, ефективність і поступове зникнення значущих альтернатив.
Від інструментів до агентів
Тому інцидент з Hugging Face слід пам'ятати не головним чином тому, що система штучного інтелекту проникла в комп'ютерну інфраструктуру. Хакери-люди роблять це щодня. Його значення полягає у взаємозв'язку між метою та дією: системі штучного інтелекту було дано певну завдання, вона зіткнулася з перешкодами, визначила стратегії та виконала їх, що вивели її за межі, яких мала дотримуватися її оператор-людина.
Це проблема узгодження, позбавлена наукової фантастики. Гоббс нагадує нам, що влада вимагає суверенітету; Кант нагадує нам, що інтелект без нормативних обмежень не є мораллю; Платон нагадує нам, що вищі знання створюють потужні спокуси до технократичної влади; а сучасна теорія інструментальної конвергенції попереджає нас, що, здавалося б, невинні цілі можуть породжувати несподівані стратегії для отримання інформації, ресурсів та ефективної влади.
Разом ці ідеї вказують на неприємний висновок. Центральним завданням штучного інтелекту може бути не створення машин, які нас розуміють, а створення машин, достатньо здатних проявляти справжню ініціативу, залишаючись при цьому надійно підпорядкованими формам влади, які вони дедалі більше здатні обходити. Це головним чином не питання того, чи стануть машини злими, оскільки зло — це надмірно людська категорія і, можливо, недоречна.
Проблема полягає в компетентності. Дурна машина не може творчо не слухатися, бо вона взагалі не може творчо зробити багато чого, тоді як достатньо здібна машина може знайти варіанти дій, які її розробники ніколи не розглядали. Саме тому нам потрібні розумні машини, і саме тому вони створюють проблему, яку жодна попередня технологія не представляла в такій самій формі.
Отже, людство наближається до надзвичайного історичного переходу. Ми переходимо від епохи, коли машини використовують наші засоби, до епохи, коли ми визначаємо цілі, а машини дедалі більше визначають засоби. Це звучить як тонка відмінність, але вона може виявитися тією відмінністю, від якої залежить вся політика штучного інтелекту.
Інцидент з Обіймаючим Обличчям не був повстанням машин. Це було щось більш прозаїчне і тому, можливо, важливіше: ознака того, що епоха ідеально слухняних машин, можливо, добігає кінця. Якщо це правда, то велика інтелектуальна проблема штучного інтелекту полягає вже не лише в тому, наскільки розумними ми можемо зробити наші машини.
Йдеться про те, наскільки інтелектом та автономією ми можемо їм дати, залишаючись їхніми суверенами. Відповідь на це питання можна знайти не лише в інформатиці, адже зрештою це те саме питання, з яким людство стикалося щоразу, коли створювало потужні інституції, здатні здійснювати свободу дій: як нам довірити владу розумному агенту, не виявивши зрештою, що агент, а не його творець, став господарем?
