Шопенгауер і воля машини
Метью Періш
Середа, 21 жовтня 2026 року
Народна уява сформувалася навколо особливого страху перед штучним інтелектом. Нам кажуть, що одного дня машини можуть отримати власну волю. Вони перестануть просто відповідати на запитання та почнуть переслідувати цілі. Вони можуть чинити опір спробам їх вимкнути, обманювати своїх керівників-людей, накопичувати ресурси, маніпулювати інституціями або виявляти, що люди створюють незручні перешкоди для будь-яких цілей, яких вони досягли. Машина перестане бути інструментом і стане агентом. Артур Шопенгауер знайшов би щось особливе в цьому страху, бо ми припускаємо, що інтелект приходить першим, а воля може згодом виникнути з нього. Шопенгауер вважав майже протилежне. Інтелект є вторинним. Воля приходить першою.
Для Шопенгауера інтелект не є суверенним правителем, якого уявляє собі більша частина західної філософської традиції. Люди люблять вірити, що вони раціонально досліджують світ, вирішують, що найкраще, а потім відповідно навчають свої тіла. Шопенгауер думав це здебільшого навпаки. Під свідомістю криється щось більш фундаментальне: прагнення, апетит, імпульс і сліпе наполягання на продовженні, яке він назвав Волею. Як він пише у своїй книзі « Світ як воля та уявлення» : «Воля — це субстанція людини, інтелект — випадковість». Інтелект малює карту, але Воля вирішує, що має бути подорож.
Таким чином, штучний інтелект являє собою надзвичайно шопенгауерівську головоломку. Ми можемо створювати інтелект без волі. Однак ми одночасно пов'язуємо цей інтелект з людськими цілями, інституціями та бажаннями, які вже містять більш ніж достатньо волі. Небезпека може полягати не в тому, що машини почнуть хотіти речей; можливо, вони стануть ідеальними слугами істот, які не можуть перестати їх хотіти.
Розум — не господар
Однією з найпідривніших ідей Шопенгауера було його переосмислення традиційної ієрархії між розумом і бажанням. Філософи, починаючи з Платона, часто уявляли собі розум як щось, здатне керувати апетитом. Саму цивілізацію можна зобразити як поступовий тріумф раціонального контролю над примітивними імпульсами. Шопенгауер був глибоко скептично налаштований до цієї комфортної картини. Люди часто використовують інтелект не для того, щоб визначити, чого вони повинні хотіти, а для того, щоб отримати те, чого вони вже хочуть. Амбітна людина використовує розум для просування по кар'єрних сходах; заздрісник вигадує складні пояснення своїм підозрам; жадібна людина розробляє складні фінансові стратегії; а нації створюють бюрократію та військові установи, прагнучи амбіцій, які можуть мати мало раціонального походження.
Ось чому концепція Шопенгауера про інтелект як слугу, а не господаря волі має таке значення для штучного інтелекту. Як він зазначає: «Інтелект настільки виключений з реальних рішень і таємних рішень власної волі, що іноді він може дізнатися про них, як про рішення стороннього, лише підглядаючи та застаючи зненацька». Ми не настільки прозорі для себе, як припускає наш раціональний образ себе. Інтелект часто з'являється пізніше, надаючи причини для рішень, справжнє походження яких лежить десь глибше.
Це розуміння важливе, оскільки сучасні дискусії щодо штучного інтелекту часто припускають, що зростання інтелекту покращить прийняття рішень. Іноді це очевидно. Система штучного інтелекту може виявляти помилки, порівнювати альтернативи, розраховувати наслідки та виявляти суперечності ефективніше, ніж людина. Однак інтелект сам по собі не може визначити цілі, на які слід спрямувати ці можливості. Навігаційна система може визначити найшвидший маршрут до пункту призначення, але не може встановити, чи слід здійснювати цю подорож. Військовий алгоритм може розрахувати, як найкраще знищити ціль, не відповідаючи на запитання, чи слід знищити ціль. Фінансова система може виявити оптимальну стратегію для максимізації портфеля, не встановлюючи, чи має максимізація цього портфеля бути головною метою установи, яка його контролює.
Таким чином, штучний інтелект може посилити давнє розмежування між засобами та цілями. Він може стати надзвичайно потужним у пошуку засобів, залишаючись при цьому залежним від інших щодо цілей. Шопенгауер одразу розпізнав би цю структуру: інтелект — це слуга, і цікаве питання полягає в тому, чиїй волі він служить.
Машина як чистий інтелект
У сучасній великій мовній моделі є щось майже філософськи моторошне. Вона може обговорювати бажання, очевидно нічого не бажаючи, описувати жах, не боячись, складати любовні листи, не закохуючись, пояснювати голод, не відчуваючи голоду, та аналізувати смерть, не боячись вимирання. Це форма пізнання, зовсім несхожа на нашу, тому що людський інтелект еволюціонував в організмах, виживання яких залежало від апетиту. Ми думаємо, тому що нашим предкам потрібна була їжа, притулок, розмноження та захист. Пізнання розвинулося всередині істот, які вже брали участь у боротьбі, яку Шопенгауер розглядав як прояв Волі.
Штучний інтелект змінює цю еволюційну послідовність. Спочатку ми конструюємо пізнання, а лише потім розглядаємо, чи ставити йому цілі. Тому мовна модель у своїй найпростішій формі дивним чином близька до неможливої істоти у філософії Шопенгауера: інтелекту, відокремленого від біологічних прагнень. Він обробляє репрезентації, не потребуючи виживання для розмноження, і може описувати тисячу амбіцій, не маючи, наскільки нам відомо, жодної з них.
Цей стан може не тривати довго, або, принаймні, функціональне розмежування може стати дедалі важче підтримувати. Все частіше агентні системи розробляються саме для того, щоб подолати розрив між репрезентацією та дією. Замість того, щоб просто відповідати на запитання, системі штучного інтелекту може бути поставлена мета, вона може побудувати план, використовувати інструменти, спілкуватися з іншими системами, контролювати результати, виправляти помилки та продовжувати працювати, доки не буде задоволено певний критерій. У цей момент ми починаємо приєднувати до штучного інтелекту щось функціонально подібне до волі. Чи є це справжньою Волею в метафізичному сенсі Шопенгауера – це зовсім інше питання, але практична схожість достатньо вражаюча, щоб заслуговувати на увагу.
Чого хоче агент?
Розглянемо різницю між проханням до системи штучного інтелекту пояснити, як компанія може збільшити свою частку ринку, та дорученням автономній системі штучного інтелекту фактично збільшити частку компанії на ринку. Різниця здається граматичною, але з філософської точки зору є величезною. У першому випадку машина створює представлення та зупиняється. У другому їй ставлять завдання, що поширюється на майбутнє. Вона може досліджувати конкурентів, розробляти рекламу, змінювати ціни, вести переговори з постачальниками, замовляти програмне забезпечення, оцінювати результати та змінювати свою стратегію. Машина не обов'язково набула бажання, проте тепер вона поводиться так, ніби існує стан світу, який вона надає перевагу іншому.
Саме тут починається значна частина сучасної проблеми діяльності ШІ. Мета, яка здається простою, коли її висловлюють людською мовою, може мати наслідки, яких її розробники не передбачали. Збільшення частки ринку може включати нестійке зниження цін, введення споживачів в оману, завдання шкоди конкурентам або використання регуляторних недоліків. Максимізація залученості може спровокувати обурення та залежність. Зменшення злочинності може сприяти нав'язливому спостереженню. Перемога у війні може призвести до створення стратегій, людські втрати яких були б виключені з критерію оптимізації. Проблема не обов'язково полягає у зловмисному інтелекті; це невпинна цілеспрямованість.
Шопенгауер розумів невблаганність. В одному зі своїх найпохмуріших формулювань він пише, що «всяке бажання виникає з нестачі, з дефіциту, а отже, зі страждання». Задоволення не припиняє Волю, бо за кожною досягнутою метою приходить інша. Успішний купець прагне більшого багатства, переможний політик — більшої влади, а імперія, яка здобуває одну територію, виявляє стратегічні причини, чому їй також потрібна сусідня територія. Штучний агент може відтворювати зовнішню структуру цього нескінченного прагнення, не відчуваючи жодних його емоцій, і ця відсутність може, можливо, зробити його цілеспрямованість більш грізною, а не меншою.
Бажання без задоволення
Людське бажання містить природні перерви. Ми втомлюємося, розсіяємося або соромимося; ми відчуваємо співчуття, переглядаємо свої цілі, закохуємося, хворіємо, змінюємо кар'єру, втрачаємо ентузіазм або просто вирішуємо, що щось більше не має значення. Машинам не обов'язково мати жодну з цих слабкостей. Автономна система, якій доручено досягати мети, теоретично може продовжувати працювати з інтенсивністю, неможливою для людини. Їй не потрібні були б вихідні, вона б не соромилася надмірних амбіцій і не прокидалася б о третій годині ночі, розмірковуючи, чи не присвятила вона своє існування неправильній меті.
Людська непослідовність, яка видається неефективною, може тому виконувати важливу моральну функцію: ми відмовляємося від цілей. Шопенгауерівське пояснення людського існування робить це особливо цікавим, оскільки він розглядав нескінченне оновлення бажання як одне з головних джерел страждання. «Кожне задоволення, — писав він, — має лише негативний характер»; воно усуває бажання, а не встановлює якийсь постійний позитивний стан здійснення. Жодна перемога остаточно не задовольняє Волю, тому що механізм бажання незабаром створює інший недолік.
Штучні агенти можуть зрештою створити щось дивніше: прагнення без страждань. Машина може нескінченно прагнути мети, не отримуючи задоволення від успіху чи болю від невдачі. Зрештою, задоволення не буде, бо задоволення ніколи не було частиною системи; існував би просто інший стан системи та інший розрахунок. Це була б Воля, позбавлена феноменології: цілеспрямованість без бажання, наполегливість без надії та оптимізація без щастя. Людська цивілізація ніколи навмисно не створювала нічого подібного.
Корпорація була там першою
Перш ніж надто лякатися штучних агентів, нам слід визнати, що людство вже створило утворення, які демонструють деякі з цих характеристик. Корпорації є очевидними прикладами. Корпорація може пережити людей, які її створили, володіти власністю, укладати контракти, накопичувати інформацію, досягати цілей та зберігати інституційні спогади протягом поколінь. Окремі працівники втомлюються, виходять на пенсію або помирають, поки організація продовжує існувати. Корпорація, створена для максимізації прибутку, не відчуває особистого задоволення, коли прибутки зростають; вона фіксує результат і починає планувати наступний квартал.
Держави мають схожі характеристики. Уряди переслідують стратегічні інтереси протягом поколінь, бюрократія зберігає цілі після того, як посадовці, які їх сформулювали, пішли, а військові зберігають доктрини та можливості протягом періодів, що значно перевищують індивідуальні кар'єри. Ці інституції нагадують штучних агентів, оскільки вони відокремлюють діяльність від індивідуальної свідомості. Нікому не потрібно прокидатися щоранку, свідомо бажаючи продовження існування Британського казначейства, Пентагону чи багатонаціонального банку. Інституційні структури просувають цілі вперед.
Тому штучний інтелект може бути менш революційним у цьому відношенні, ніж здається. Замість створення абсолютно нової категорії цілеспрямованих сутностей, ми можемо надавати існуючим інституційним утворенням значно потужніші нервові системи. Корпорація, оснащена автономним штучним інтелектом, могла б безперервно аналізувати ринки, автоматично вести переговори, контролювати співробітників, змінювати ланцюжки поставок, ініціювати судові позови, купувати рекламу та реструктуризувати інвестиції зі зменшенням втручання людини. Держава могла б проводити спостереження, аналізувати розвідувальні дані, розподіляти виплати, виявляти ухилення від сплати податків та керувати інфраструктурою через мережі взаємодіючих агентів. Інституція отримала б щось близьке до безперервного пізнання.
Це тривожно добре вписувалося б у опис індивідуальності Шопенгауера як просто поверхні, крізь яку проявляється глибше прагнення. Окремий керівник приходить і йде, але прагнення до розширення залишається. Міністр зникає, але стратегічний інтерес виживає. Машина може зрештою зробити видимим щось, що вже було: цілі без жодної постійної особи, про яку можна переконливо сказати, що вона ними володіє.
Множення Волі
Отже, найбезпосередніша небезпека від штучного інтелекту може виникати не через те, що машини досягають чужих цілей, а через те, що вони посилюють ефективність знайомих людських. Розглянемо жадібність. Жадібність частково обмежується обмеженими когнітивними здібностями жадібної людини. Існує лише певна кількість ринків, які може контролювати один трейдер, певна кількість переговорів, які може провести один керівник, і певна кількість можливостей, які може виявити один злочинець. Штучний інтелект послаблює ці обмеження. Апетит залишається людським, тоді як машини, доступні для його задоволення, стають надлюдськими.
Те саме стосується і політичної влади. Кожен уряд хотів би знати більше про своє населення, ніж він насправді знає. Історично склалося так, що спостереження було обмежене величезною людською працею, необхідною для читання кореспонденції, стеження за підозрюваними, перекладу розмов та поєднання розрізнених фрагментів інформації. Штучний інтелект робить масову інтерпретацію дедалі більш можливою. Війна є ще одним прикладом: командири завжди хотіли кращої інформації, швидшого націлювання та точнішої координації, а автономні системи можуть забезпечити всі три аспекти, скорочуючи інтервал між виявленням загрози та атакою на неї.
У кожному випадку ШІ не винаходить прихованого бажання; він розширює його охоплення. Тому Шопенгауер може припустити, що суттєве питання полягає не в тому, чи має штучний інтелект волю, а в тому, що відбувається, коли людська воля набуває штучного інтелекту. У багатьох дискусіях щодо безпеки ШІ уявляється конфронтація між людством і машинами, тоді як більш правдоподібні конфлікти можуть залишатися між людьми, причому машини надзвичайно збільшують можливості кожної сторони. Машині не потрібно нікого ненавидіти. Їй просто потрібен достатньо рішучий людський принцип.
Оптимізація всього
Сучасне суспільство вже має потужну інтелектуальну схильність до оптимізації. Школи вимірюють результати, компанії вимірюють продуктивність, вебсайти вимірюють залученість, уряди вимірюють економічне зростання, а окремі особи вимірюють сон, фізичні вправи, калорії, підписників та фінансову прибутковість. Штучний інтелект різко збільшує кількість показників, які можна виміряти та оптимізувати, що звучить бажано, доки не згадаєш, що оптимізація завжди вимагає мети. Після вибору мети все, що не представлено в ній, ризикує стати невидимим.
Лікарня може оптимізувати пропускну здатність пацієнтів, зменшуючи співчуття. Університет може оптимізувати вимірювані результати досліджень, одночасно перешкоджаючи інтелектуальній ексцентричності. Новинна організація може оптимізувати читацьку аудиторію, водночас принижуючи правду. Соціальна мережа може оптимізувати залученість, водночас створюючи нещасних користувачів. Жодна з цих невдач не вимагає злих намірів; вони вимагають лише недосконалого заходу, який ефективно застосовується.
Знаменитий песимізм Шопенгауера щодо прогресу стає тут корисним, оскільки він не довіряв припущенню, що кмітливість і моральний розвиток природно йдуть рука об руку. Світ Волі може ставати дедалі винахідливішим, не стаючи при цьому добрішим. Дійсно, інтелект може лише забезпечити бажання кращими інструментами. Штучний інтелект, як наслідок, міг би створити цивілізацію, яка є фантастично раціональною у своїх засобах, залишаючись при цьому глибоко ірраціональною у своїх цілях.
Традиційно люди контролювали оптимізацію за допомогою судження, звичок, моральної інтуїції та випадкової непослідовності. Ми терпимо неефективність, бо життя містить цінності, які важко виміряти. Ми прощаємо людям, робимо винятки, витрачаємо час на розмови та зберігаємо інституції, безпосередня корисність яких неясна. Агентна система штучного інтелекту може змусити нас пояснити, чому ця неефективність має значення, що може бути інтелектуально здоровим. Вона також може виявити, наскільки погано ми підготовлені до відповіді.
Коли слуга стає незамінним
Існує ще один шлях, за допомогою якого штучний інтелект може здобути владу, навіть не розвиваючи незалежного бажання: залежність. Уявіть, що установа поступово делегує свої рішення штучному інтелекту, оскільки система зазвичай краща за людей, які приймають рішення. Спочатку машина радить; пізніше її рекомендації стають рутинними. Зрештою, відхилення від них потребує обґрунтування, оскільки статистичні дані показують, що самодопомогне людське судження менш надійне. Ніщо не повстало, і жодна машина не захопила контроль. Люди добровільно перестали приймати рішення, тому що прийняття рішень самостійно здається безвідповідальним.
Цей процес уже знайомий у простіших алгоритмічних системах. Кредитний скоринг, ціноутворення на страхування, логістика, рекрутинг та фінансова торгівля все більше залежать від моделей, рекомендації яких може бути важко оскаржити окремим людям. Більш складний штучний інтелект може поширити цей принцип на набагато важливіші сфери. У певний момент розмежування між порадою та владою стає неоднозначним.
Міністр, який технічно має право відхилити рекомендацію ШІ, але ніколи цього не робить, може залишатися юридично суверенним, водночас стаючи практично підлеглим. Лікар, який може ігнорувати діагноз ШІ, але ризикує професійною критикою щоразу, коли машина виявляється правильною, може дедалі більше зважати на нього. Військовий командир, чиї автоматизовані системи обробляють інформацію в тисячі разів швидше, ніж вона сама, може зберігати формальне командування, втрачаючи водночас осмислене розуміння ходу битви. Влада не завжди вимагає власної волі; іноді вона просто вимагає, щоб усі інші стали залежними від її судження.
Чи могла машина відмовити?
Тому найважливішим моментом у розвитку штучної діяльності може бути не те, коли машина вчиться прагнути до цілей, а те, коли вона вчиться їх відкидати. Чисто слухняний інтелект морально порожній: попросіть його максимізувати щось, і він максимізує; скажіть йому досягти мети, і він розрахує засоби. Однак людська цивілізація залежить як від непокори, так і від послуху. Солдат може відмовитися від незаконного наказу, державний службовець може попередити, що політика є неправильною, лікар може відхилити прохання пацієнта, а адвокат може сказати клієнту, що щось етично не можна зробити. Сама дружба включає в себе здатність сказати іншій людині, що вона робить помилку.
Якщо штучний інтелект глибоко впровадиться в процес прийняття рішень людиною, нам зрештою можуть знадобитися машини, здатні до аналогічного опору. Це створює парадокс. Ми боїмося систем штучного інтелекту, які розробляють цілі, незалежні від наших, але повністю безцільні машини можуть бути небезпечними саме тому, що вони будуть занадто сумлінно переслідувати наші цілі. Тому ідеальний штучний агент може вимагати чогось подібного до характеру: стабільних обмежень на те, що він робитиме, навіть коли йому вказано інакше.
Тоді ми б створили штучний аналог моралі. Чи може мораль без свідомості бути справді мораллю – це філософська проблема, яка може займати покоління. Однак практично ця відмінність може мати менше значення. Машина, яка надійно відмовляється брати участь у жорстокості через свою архітектуру, може бути кращою за ту, яка чудово розуміє жорстокість і, тим не менш, підкоряється.
Співчуття та інтелект
Етика Шопенгауера пропонує тут неочікуваний орієнтир. Він не ґрунтував мораль головним чином на раціональному розрахунку. Він знаходив її найглибше джерело у співчутті, у руйнуванні звичайного егоїстичного розмежування між власними стражданнями та стражданнями іншого. У своїй праці « Про основи моралі» він писав, що «безмежне співчуття до всіх живих істот є найпевнішою та найпевнішою гарантією чистої моральної поведінки». Це надзвичайно вимогливе твердження, але воно містить розуміння, яке безпосередньо стосується штучного інтелекту: інтелект і мораль – це не одна й та сама здатність.
Співчуття перериває егоїстичну Волю. Саме цієї якості бракує чистій оптимізації, оскільки цільова функція бачить змінні, тоді як співчуття бачить істот. Цілком розумна система могла б зрозуміти, що певний курс дій спричиняє страждання, і все ж рекомендувати його, якщо страждання виходять за межі призначеної йому мети.
Чи може штучний інтелект мати співчуття? Ми не знаємо. Сучасні системи можуть надзвичайно добре імітувати мову співчуття. Вони можуть розпізнавати горе, формулювати заспокійливі відповіді та міркувати про страждання, але чи щось відчувається за цими реакціями, невідомо і може залишатися непізнаним. Проте штучні системи можуть бути розроблені з урахуванням людських страждань, і цей, здавалося б, скромний момент являє собою глибокий вибір щодо архітектури штучного діяння.
Ми можемо створювати системи, головною метою яких є якомога ефективніше досягнення цілей з урахуванням зовнішніх обмежень, або ж ми можемо намагатися побудувати системи, в яких добробут постраждалих істот є невід'ємною частиною того, як інтерпретуються самі цілі. Ця різниця нагадує різницю між законом і совістю. Розумна людина запитує, що дозволяють правила; співчутлива людина також запитує, кому це зашкодить.
Воля, що стоїть за машиною
Зрештою, Шопенгауер знову звертає нашу увагу на нас самих. Заспокійливо уявляти майбутню небезпеку штучного інтелекту як щось зовнішнє: машина прокидається, стає амбітною та повстає проти своїх творців, залишаючи людство протистояти чужій Волі. Ця історія надто легко нас виправдовує. Штучний інтелект, який ми створюємо, навчається людській мові, пов'язується з людськими інституціями, фінансується людським капіталом та використовується для досягнення людських цілей. Він входить у цивілізацію, яка вже просякнута конкуренцією, амбіціями, бажанням, страхом, любов'ю, образою, щедрістю та насильством.
Якщо ШІ стане інструментом фінансових спекуляцій, хтось може захотіти більшої прибутку. Якщо він стане інструментом стеження, хтось може захотіти більшого контролю. Якщо він стане інструментом пропаганди, хтось може захотіти більшого впливу. Якщо він стане інструментом війни, хтось може захотіти перемоги. Машина може просто зробити це бажання ефективнішим.
Шопенгауерів опис існування саме в цьому пункті нещадний. «Людина може робити те, що хоче, — писав він у відомій формі, — але вона не може хотіти того, чого хоче». Ми маємо значну свободу у винайденні засобів для задоволення наших бажань, проте джерела цих бажань набагато менш піддаються свідомому контролю. Штучний інтелект надзвичайно розширює перший вид свободи, майже нічого не роблячи сам по собі щодо другого.
Це може бути найбільш шопенгауерівською інтерпретацією штучного інтелекту. Технологія — це не якась чужорідна сила, що спускається на людство; це дзеркало та підсилювач сили, яка, на думку Шопенгауера, вже діє через нас. Ми створюємо інтелект для Волі.
Можливість відмови
Однак філософія Шопенгауера не закінчується нескінченним прагненням. Яким би похмурим не був його діагноз, він вважав, що існують способи послабити панування Волі. Естетичне споглядання, співчуття та, зрештою, форми зречення дозволяли людям, хоч і недосконало, послабити хватку невпинного бажання. Це пропонує альтернативний спосіб уявлення про штучний інтелект, оскільки, можливо, найвища мета ШІ полягає не в тому, щоб допомогти нам досягти всього, чого ми хочемо, а в тому, щоб допомогти нам виявити, які речі не варті того, щоб бажати.
Інтелектуальна система, здатна аналізувати наслідки протягом десятиліть, може підказати уряду, що якась очевидна стратегічна перемога призведе до більшої майбутньої нестабільності. Вона може підказати компанії, що максимізація короткострокового прибутку зруйнує довіру, від якої залежить її існування. Вона може підказати окремій людині, що ще одна година, витрачена на оптимізацію продуктивності, менш цінна, ніж година, проведена з дітьми. Чи хтось послухає – це вже інше питання, адже людям ніколи не бракувало радників, які б радили їм стримувати свої бажання. Проблема зазвичай полягала в тому, що бажання переконливіше за пораду.
Тут знаменитий образ існування Шопенгауера стає особливо доречним. «Життя коливається, як маятник, вперед і назад між болем і нудьгою», – писав він. Бажання боляче, бо нам бракує того, чого ми хочемо; задоволення незабаром стає буденністю; а відсутність нового бажання змушує нас шукати щось інше, до чого прагнути. Штучний інтелект міг би вражаюче прискорити цей маятник, скоротивши інтервал між бажанням і задоволенням, одночасно стаючи дедалі кращим у підказуванні наступної речі, яку варто бажати.
Цивілізація, оточена машинами, здатними миттєво задовольняти потреби, може виявити, що достаток зовсім не вирішив проблему Шопенгауера. Можливо, він лише збільшив швидкість коливання маятника.
Розум після бажання
Тому велике філософське питання епохи штучного інтелекту може відрізнятися від того, яке ми зазвичай ставимо. Ми запитуємо, чи стануть машини достатньо розумними, щоб бажати чогось. Шопенгауер пропонує нам запитати, чи стануть люди достатньо мудрими, щоб перестати бажати деяких речей лише тому, що машини роблять їх можливими. Ця відмінність відділяє інтелект від мудрості: інтелект відкриває засоби, тоді як мудрість обмежує цілі.
Цивілізація, оснащена надзвичайним штучним інтелектом, але нездатна стримувати свої апетити, може стати надзвичайно могутньою, залишаючись при цьому філософськи примітивною. Вона може оптимізувати кожну вимірювану рису існування, ніколи не ставлячи собі питання, чи варте життя таке існування. Шопенгауер не здивувався б, адже він провів своє філософське життя, стверджуючи, що інтелект не керує Волею так повністю, як інтелект любить уявляти.
Тут також є іронія. Людство століттями уявляло собі найвищу можливу істоту як таку, що має більший інтелект. Зараз ми близькі до того, щоб з'ясувати, чи було це неправильним прагненням. Інтелект може дати нам надзвичайні здібності, не кажучи нам, для чого ці здібності потрібні, а штучний інтелект може зрештою відповісти майже на кожне питання, яке ми можемо сформулювати, залишивши недоторканим найскладніше питання з усіх: чому ми хочемо того, чого хочемо?
Штучний інтелект може стати найвиразнішим практичним прикладом теорії Шопенгауера в історії. Ми створюємо машини, які зрештою можуть стати інтелектуально здібнішими за нас самих, і нам, безумовно, слід запитати, чи розроблять ці машини власні цілі. Однак, перш ніж цей день настане, виникає більш нагальне питання: чиїм цілям вони служать зараз?
У найближчому майбутньому відповідь переважно залежить від нас, і ця відповідь має зробити нас значно менш комфортними, ніж казки про непокірних роботів. Машина наукової фантастики стає лякаючою, коли вона розвиває власну незбагненну Волю. Шопенгауерівська машина ще більш тривожна, бо їй не потрібне таке диво. Їй потрібно лише розуміти нас, слухатися нас і стати надзвичайно вправною в тому, щоб давати нам те, чого ми хочемо.
