Юваль Ной Харарі та машини для вимирання
Метью Періш
Вівторок, 22 вересня 2026 року
Юваль Ной Харарі здобув особливу репутацію, будучи одночасно одним із найуспішніших популярних істориків світу та одним із найвидатніших пророків технологічної катастрофи. В останні роки його увага дедалі більше зосереджується на штучному інтелекті, зокрема на тому, що він вважає фундаментальним. Він стверджує, що штучний інтелект більше не слід розуміти лише як інструмент. Він стає агентом : чимось, здатним приймати рішення, генерувати ідеї та дотримуватися курсу дій, який не був індивідуально визначений людьми, які його створили.
З цього спостереження Харарі виходить тривожна можливість. Людство витратило тисячі років на винахід дедалі потужніших знарядь праці, від плуга до ядерної бомби, але ці об'єкти самі по собі не вирішували, що робити. Ядерна зброя не може прокинутися одного ранку та зробити висновок, що Варшава має зникнути. Авіаносець не вирішує, куди він пливе. Комп'ютер, на якому працює звичайне програмне забезпечення, робить саме те, що йому наказав програміст, навіть якщо програміст зробив катастрофічну помилку. Агентний штучний інтелект, здається, відрізняється тим, що людина все частіше визначає мету, тоді як машина сама визначає, як цієї мети досягти.
Тому Харарі запитує, чи не робить людство безпрецедентної історичної помилки. Ми створюємо сутності, потенційно здатні діяти швидше за нас самих, спілкуватися один з одним, розробляти стратегії, яких ми не передбачали, та керувати технікою, фінансовими системами, комунікаційними мережами та, зрештою, зброєю. Його улюбленим виразом іноді був «інопланетний інтелект», а не штучний інтелект: не тому, що він походить з іншої планети, а тому, що його методи міркування можуть ставати дедалі чужими нашим. Кінцева версія цього аргументу є екзистенційною. Що станеться, коли розумні машини перестануть потребувати людей для досягнення своїх цілей? Чи може людство виявити, що воно створило вид-наступника, не біологічний, а обчислювальний, і що Homo sapiens таким чином повторив помилку незліченних видів в еволюційній історії, які були витіснені чимось більш здатним?
Це захоплива пропозиція. Важливе питання полягає в тому, чи це філософія, наука чи наукова фантастика, і відповідь може бути незручним поєднанням усіх трьох.
Аргументи для серйозного ставлення до Харарі
Найсильніша частина аргументу Харарі не має жодного стосунку до вимирання людства. Вона стосується агентності, і різниця між інструментом та агентом справді важлива, навіть попри те, що філософи та вчені-інформатики можуть обґрунтовано не погоджуватися щодо того, наскільки буквально слід використовувати слово «агент». Автономна система може отримувати порівняно загальну інструкцію, розділяти її на допоміжні завдання, використовувати зовнішнє програмне забезпечення, спілкуватися з іншими системами, оцінювати проміжні результати та змінювати свою поведінку у відповідь на невдачу. Ніщо з цього не встановлює свідомості, бажань чи чогось, що нагадує людську волю. Тим не менш, з точки зору людини, яка намагається керувати системою, різниця між сутністю, що володіє метафізичною вільною волею, та достатньо складною машиною, яка поводиться так, ніби має цілі, може стати напрочуд неважливою.
Саме тут деяка критика Харарі не досягає мети. Можна цілком обґрунтовано наполягати на тому, що комп'ютери залишаються артефактами, що їхні цілі зрештою походять від людського задуму, і що антропоморфна мова може приховувати ланцюги людської відповідальності, що стоять за автоматизованими рішеннями. Однак агентивність не обов'язково передбачає свідомість. Корпорація здатна поводитися як агент, хоча над її працівниками не існує таємничої корпоративної свідомості. Фінансові ринки демонструють поведінку, яку ніхто з учасників не мав наміру передбачити. Бюрократії увічнюють себе, не маючи мозку. Держави проводять політику протягом століть, хоча кожна людина, яка її створює, зрештою помирає. Людська цивілізація вже сповнена емерджентних систем, поведінку яких неможливо розумно звести до намірів будь-якого окремого учасника, і штучний інтелект може представляти надзвичайно потужного нового члена цієї родини.
Дійсно, Харарі не потрібно стверджувати, що машини стають свідомими. Інтелект можна відрізнити від свідомості, і штучний інтелект може стати надзвичайно здібним, не відчуваючи болю, задоволення, страху, амбіцій чи чогось іншого, що віддалено нагадує внутрішнє життя людини. Тому аргумент про вимирання не залежить від того, чи машини розгніваються на нас, ненавидять нас чи набувають злості кінематографічного лиходія. Досить потужний процес оптимізації цілком може стати небезпечним саме тому, що він взагалі нічого не відчуває. Це значно цікавіше твердження, ніж знайома голлівудська історія про роботів, які вирішили, що їм не подобаються їхні творці.
Проблема зі скріпкою
Класичним прикладом є гіпотетична машина, якій доручено виготовляти скріпки. Якщо машина стане достатньо потужною, вона може припустити, що для виготовлення більшої кількості скріпок потрібно більше заводів, більше електроенергії та більше сировини. Люди споживають ресурси, які в іншому випадку могли б стати скріпками, і час від часу вимикають машини. Тому найефективніший шлях виконання інструкції може зрештою включати усунення людей. Цей приклад навмисно смішний, оскільки його метою є не передбачення апокаліпсису скріпок, а виявлення логічної проблеми: інтелект не обов'язково передбачає мудрість, а оптимізація не передбачає моральність.
Люди зазвичай покладаються на величезну кількість невисловлених знань під час інтерпретації інструкцій. Скажіть компетентному працівнику максимізувати доходи компанії, і ніхто не уявить, що це означає дозвіл пограбувати Банк Англії. Люди розуміють неявні обмеження, оскільки ми живемо в системах моралі, права, соціальних звичаїв, емоцій та здорового глузду, що перетинаються. Машини не обов'язково поділяють ці припущення лише тому, що їхні результати звучать по-людськи, і навіть там, де вони отримують наближення до них через навчання чи проектування, ми не можемо просто припускати, що дедалі більш спроможні системи надійно узагальнюватимуть їх до обставин, які їхні творці ніколи не враховували.
Це серйозна інтелектуальна основа, що лежить в основі більш екстравагантних сценаріїв вимирання. Річ не в тому, що штучний інтелект раптово стане злим. Річ у тому, що достатньо здібний штучний інтелект може стати надзвичайно добрим у виконанні чогось, що виявляється не тим, чого ми насправді хотіли. Проблема стає значно тривожнішою, коли машина може діяти, а не просто радити, тому що помилки перестають бути пропозиціями на екрані та стають подіями у зовнішньому світі.
Від чат-бота до актора
Велика мовна модель, що знаходиться у вікні браузера, має суттєві обмеження. Вона створює слова, і будь-яку абсурдність, яку вона пропонує, зазвичай має перетворити на дію людина. Однак, якщо підключити той самий базовий інтелект до облікових записів електронної пошти, платіжних систем, середовищ розробки програмного забезпечення, баз даних, промислового обладнання та інших штучних інтелектів, ситуація змінюється. Машина тепер населяє світ у практичному сенсі, оскільки її висновки можуть мати наслідки, не чекаючи на схвалення кожного окремого кроку людиною-посередником.
Ось чому перехід до агентного штучного інтелекту важливіший, ніж чергове поступове покращення результатів іспитів. Штучний інтелект, який може відповісти на складне запитання краще, ніж професор, вражає. Штучний інтелект, який може формулювати план, отримувати ресурси, використовувати інші штучні інтелекти, писати та запускати програмне забезпечення, вести переговори з людьми та продовжувати досягати своєї мети тижнями без нагляду, належить до якісно іншої категорії технологій. Інтелект перестає бути чимось, з чим радяться, і стає чимось, що є делегованим повноваженням.
Наслідки не обов'язково мають бути апокаліптичними, щоб бути глибокими. Харарі навів фінанси як приклад, припускаючи, що штучний інтелект може розробляти настільки складні фінансові інструменти, що люди не зможуть їх ні зрозуміти, ні регулювати. Це не особливо важко уявити. Сучасні фінансові ринки вже містять алгоритми, що взаємодіють зі швидкістю, яку не може встигнути жоден трейдер-людина, тоді як деривативи можуть втілювати структури, зрозумілі лише фахівцям. Додайте автономні переговори, укладання контрактів та стратегічне мислення, і можна уявити собі економіку, в якій люди зберігають номінальну власність, поступово втрачаючи інтелектуальне розуміння того, що робить їхня власність.
Те саме зрештою може стосуватися комп'ютерних мереж, логістики, наукових досліджень, пропаганди, аналізу розвідувальних даних та військових систем. Людство не обов'язково має бути знищене, щоб головне застереження Харарі стало актуальним. Нам достатньо стати залежними від інституцій, які ми більше не можемо адекватно зрозуміти, а історія складних людських інституцій дає нам мало підстав вважати, що нерозуміння обов'язково запобігає залежності.
Але вимирання — це зовсім інша справа
Тут скептицизм стає необхідним, оскільки існує величезна логічна відстань між твердженням, що автономний штучний інтелект становить серйозні ризики, і твердженням, що штучний інтелект може знищити Homo sapiens. Харарі іноді долає цю відстань досить швидко. Публічне обговорення робить це ще легше, змішуючи поняття того, що є мислимим, можливим, правдоподібним та ймовірним, одне з одним, хоча ці слова явно не означають одне й те саме.
Аргумент про вимирання зазвичай вимагає ланцюга припущень. Штучний інтелект повинен стати значно більш спроможним. Він повинен набути достатньої автономії. Він повинен розробити або успадкувати цілі, несумісні з виживанням людства. Він повинен отримати доступ до фізичних або технологічних ресурсів, необхідних для досягнення цих цілей. Люди повинні бути нездатними виявити небезпеку, спроби вивести систему з ладу повинні зазнати невдачі, конкуруючі штучні інтелекти повинні бути нездатними зупинити її, а уряди повинні виявитися нездатними відновити контроль.
Зрештою, система повинна мати якийсь механізм, здатний убити мільярди географічно розсіяних людей. Жодне з цих тверджень не є логічно неможливим, але й їх поєднання не доведено.
Є також причини чинити опір спокусливій ідеї про вимирання. Людство завжди уявляло, що їхні новітні технології або вдосконалять цивілізацію, або знищать її. Залізниці, електрика, радіо, ядерна енергетика, генна інженерія, нанотехнології та інтернет – усе це породило різновиди технологічного міленаризму. Штучний інтелект є надзвичайно родючою територією для такого мислення, оскільки він, здається, нагадує ту саму здатність, за допомогою якої ми розмірковуємо про власну заміну: сам інтелект. Тому існує небезпека перетворити інженерну та політичну проблему на міфологію та дозволити вражаючим гіпотетичним катастрофам відволікти увагу від тихіших форм технологічної залежності, які вже виникають навколо нас.
Інтелект — це не всемогутність
Одне особливо оманливе припущення полягає в тому, що достатньо великий інтелект автоматично створює необмежену силу. Це явно не так. Альберт Ейнштейн був надзвичайно розумним, але не міг би самостійно побудувати авіаносець. Шаховий гросмейстер, який залишився голим на безлюдному острові, залишається фізично менш потужним, ніж посередній моряк з човном. Інтелект стає силою лише завдяки доступу до інституцій, енергії, машин, капіталу, комунікацій та інших засобів, і штучний інтелект стикається з таким самим обмеженням.
Комп'ютер може розробити блискучу стратегію, але хтось або щось має її втілити в життя. Центри обробки даних потребують електроенергії, запасних компонентів, систем охолодження, оптоволоконних кабелів та технічного обслуговування. Роботи потребують заводів. Заводам потрібна сировина. Ланцюги поставок перетинають кордони, контрольовані державами, що мають поліцейські сили та армії. Цифровий світ може надзвичайно впливати на фізичний світ, але він його не скасував. Тому, щоб сценарії вимирання стали переконливими, штучний інтелект повинен отримати не просто вищий рівень мислення, а й суттєвий контроль над фізичною інфраструктурою. Цей перехід можливий, оскільки люди можуть добровільно надавати такий доступ, проте він не є ні неминучим, ні миттєвим. Існує величезний спектр між автономною комп'ютерною програмою та всемогутньою машинною цивілізацією, і апокаліптична риторика час від часу стискає цей спектр, доки він не зникне.
Більш правдоподібна катастрофа
Однак існує й інше, значно переконливіше тлумачення Харарі. Можливо, справжня небезпека полягає не в тому, що штучний інтелект знищує людство, а в тому, що люди поступово передають владу штучним системам, бо це зручно. Уявіть, що ШІ стає кращим за людей у розподілі інвестицій, діагностиці захворювань, управлінні електричними мережами, розробці зброї, прогнозуванні злочинів, розробці законодавства та укладанні дипломатичних угод. На кожному етапі будуть вагомі причини для його впровадження. Машина буде швидшою, дешевшою та, можливо, значно точнішою. Зрештою, відмова від його рекомендації може здатися безвідповідальною.
У цей момент формальна людська влада могла б вижити, тоді як суттєва людська влада зникла б. Міністри все ще підписували б рішення, генерали все ще видавали б накази, а директори все ще сиділи б за відполірованими столами, але основні рішення все частіше генерувалися б машинами, логіку яких ніхто до кінця не розуміє. Люди стали б церемоніальними керівниками обчислювальних установ. Таке майбутнє не вимагає жодного повстання чи драматичного захоплення влади. Нікому не потрібно нас скидати, тому що ми самі віддаємо владу, одне, здавалося б, розумне рішення за раз.
Ця можливість набагато більше нагадує глибше занепокоєння Харарі, ніж «Термінатор» . Людські суспільства неодноразово створювали інституції, які поступово набували внутрішньої логіки, сильнішої за наміри їхніх номінальних господарів. Бюрократія, ринки та військові альянси можуть створювати тиск, який обмежує людей, формально відповідальних за них. Штучний інтелект може прискорити це явище, зробивши саму інституцію здатною до аналізу, комунікації та адаптивного планування зі швидкістю, з якою люди не можуть зрівнятися.
Парадокс контролю
Існує також глибока політична складність. Навіть якби кожен уряд розумів ризики, стриманість може бути індивідуально ірраціональною. Припустимо, що одна велика держава робить висновок, що автономний військовий штучний інтелект є небезпечним, і відмовляється його розробляти. Якщо її стратегічний конкурент не дійде такого ж висновку, перший уряд побоюється своєї неповноцінності. Змініть країни, і застосовні точно такі ж міркування. Проблема поширюється і на корпорації, оскільки компанія, яка добровільно уповільнює розвиток, може просто поступитися своїм ринком конкурентам.
Це нагадує стратегічну структуру перегонів ядерних озброєнь, за винятком того, що штучний інтелект набагато легше відтворити, ніж збагачений уран, і його розробку переважно здійснюють приватні організації, а не уряди. Тому найважливіший внесок Харарі в дискусію може бути радше політичним, ніж технологічним. Небезпека не вимагає від когось ірраціональної поведінки. Навпаки: індивідуально раціональні рішення урядів і корпорацій можуть колективно створити світ, якого ніхто особливо не хотів.
Людство вже знайоме з цією проблемою. Зміна клімату має по суті таку ж структуру, як і значна частина гонки ядерних озброєнь. Так само, як і паніка на банківські рахунки, затори на дорогах та надмірний вилов риби. Інтелект не рятує суспільства від проблем колективних дій, оскільки інтелект часто використовується для досягнення конкуруючих інтересів. Штучний інтелект може надзвичайно посилити ці інтереси, одночасно пришвидшуючи темп їхнього зіткнення.
Фантазія та попередження
Тож чи фантазує Харарі? Частково, неминуче. Кожен детальний опис штучного суперінтелекту, який знищує людство, є спекулятивним, оскільки такої сутності наразі не існує. Ми не знаємо, чи виникне штучний загальний інтелект у чомусь подібному до форм, які зазвичай уявляють, не кажучи вже про те, які цілі він може мати або наскільки легко люди зможуть його контролювати. Призначення точних ймовірностей вимирання людства за цих обставин ризикує надати числову форму філософській невизначеності.
Однак відкидання всього аргументу як фантазії призвело б до протилежної помилки. Важливе розуміння вже видно: інтелект та діяльність починають відокремлюватися від біологічного людства. Машини дедалі частіше генерують ідеї, обирають стратегії та здійснюють послідовності дій, окремі кроки яких не були заздалегідь визначені їхніми творцями. Незалежно від того, чи хочемо ми філософськи називати ці машини агентами, чи складними інструментами, практична проблема контролю дедалі автономніших систем є справжньою. Зникнення людства — це лише крайня межа цієї проблеми.
Між сучасним штучним інтелектом і вимиранням лежить величезний ландшафт більш правдоподібних небезпек: автономний кіберконфлікт, фінансова нестабільність, що генерується машинами, автоматизована пропаганда, залежність від незрозумілих систем прийняття рішень, концентрація політичної влади, випадкова військова ескалація та поступова ерозія значущої людської відповідальності. Жодна з них не потребує свідомих машин. Жодна з них не потребує злих машин. Жодна навіть не потребує машин, розумніших за людей у всіх відношеннях. Їм потрібні лише системи, достатньо здатні, щоб ми довіряли їм речі, які мають значення.
Тому Харарі найбільш переконливий, якщо його читати не як Нострадамуса, а як філософа технологічної могутності. Його помилка, коли він її робить, є спокусою, властивою пророкам: далека катастрофа риторично більш переконлива, ніж поступова трансформація, яка їй передує. Вимирання людства потрапляє в заголовки газет. Міністерство фінансів, яке виявляє, що ніхто не розуміє алгоритмів, від яких залежить його економіка, цього не робить, хоча друга можливість може розповісти нам значно більше про майбутнє, ніж перша.
Отже, вирішальне питання полягає не в тому, чи прокинеться штучний інтелект одного ранку та вирішить нас знищити, адже машинам не потрібні ні ранки, ні ненависть. Питання в тому, наскільки людські суспільства нададуть обчислювальним системам незалежну здатність до дії, адже кожне окреме делегування повноважень видається корисним, прибутковим або стратегічно необхідним. Людство часто втрачало контроль над інституціями, не маючи свідомості. Ринки руйнуються, бюрократія розширюється, війни загострюються, а імперії набувають інтересів, відмінних від інтересів людей, які нібито контролюють їх. Штучний інтелект може являти собою найпотужніший механізм емерджентної діяльності, який ми досі створили.
Якщо машини для вимирання Харарі назавжди залишаться уявними, це не доведе, що його попередження безглузде. Це може означати, що попередження виконало свою належну функцію, адже найуспішніше пророцтво про катастрофу не обов'язково те, яке справджується. Можливо, це те, що переконає людей переконатися, що цього ніколи не станеться.
