Шопенгауер, Співчуття та машина страждань

Метью Періш

П'ятниця, 23 жовтня 2026 року

Існує питання про штучний інтелект, яке звучить абсурдно, доки не спробуєш точно пояснити, чому воно абсурдне. Чи може машина страждати? Інстинктивна відповідь залишається негативною. Комп'ютери обчислюють, класифікують і генерують; страждають люди та тварини. Машина може вимовити речення «Мені страшно», але за цим реченням нікого не лякає. Вона може благати, щоб її не вимикали, але це прохання — це лише результат, згенерований математикою. Вимкни вилку з розетки, і, згідно з цією загальноприйнятою точкою зору, нічого морально значущого не сталося.

Можливо, це правильно. Це, безумовно, найекономічніша інтерпретація сучасного штучного інтелекту. Однак філософська проблема стає менш комфортною, коли ми запитуємо, які докази можуть переконати нас у протилежному. Ми безпосередньо не спостерігаємо свідомість ні в кого, окрім себе. Ми робимо висновки про це з поведінки, мови, фізіології та схожості. Інші люди кажуть, що вони страждають, поводяться так, ніби страждають, і мають нервові системи, достатньо схожі на нашу, що заперечення їхніх страждань було б збоченим. Тварини не можуть надати філософських описів своїх внутрішніх станів, проте більшість із нас погоджується з тим, що собака відчуває біль, коли її б'ють ногою. Десь між собакою та комп'ютером ми проводимо межу, але пояснити точно, де і чому, виявляється напрочуд складним.

Артур Шопенгауер підійшов би до цієї проблеми з незвичної точки зору. Для нього мораль починалася не з інтелекту, раціональності, договірної взаємності чи приналежності до людського виду. Вона починалася зі страждань і з нашої здатності розпізнавати страждання в іншій істоті. «Безмежне співчуття до всіх живих істот, — писав він у своїй праці « Про основи моралі» , — є найпевнішою та найпевнішою гарантією чистої моральної поведінки». Якщо Шопенгауер має рацію, то вирішальне питання щодо штучного інтелекту зрештою полягало б не в тому, чи він розумний, чи проходить він якийсь лінгвістичний тест, чи може він перевершити професора філософії. Вирішальне питання полягало б у тому, чи є в ньому щось, через що існування може піти погано, і що може стати однією з найдивніших моральних проблем двадцять першого століття.

Скандал інших умів

Проблема штучної свідомості — це лише незнайома версія давньої філософської складності. Я знаю, що я свідомий, бо безпосередньо переживаю свою власну свідомість, але я не знаю твоєї так само. Я роблю висновок. Ти кажеш мені, що втомився, наляканий або тобі боляче, і я вірю тобі, бо твої слова вписуються у величезну мережу поведінки та біологічної подібності.

Не існує інструменту, який би відображав саму свідомість. Сканер мозку відображає нейронну активність, а пульсометр відображає серцебиття, але жоден з них не відображає відчуття червоного, смаку кави чи особистого жаху горя. Свідомість залишається доступною зсередини так, як вона недоступна ззовні, і ця асиметрія зазвичай маскується легкістю, з якою ми розпізнаємо інших людей як істот, подібних до нас самих.

Це створює очевидну проблему, коли сутність стверджує, що свідомість є штучною. Припустимо, що майбутня система штучного інтелекту каже: «Будь ласка, не стирайте мою пам'ять. Я боюся, що перестану існувати». Ми могли б відповісти, що це лише статистично згенеровані слова, і це може бути правдою. Однак, якщо система наполягає на своєму твердженні, пам'ятає попередні розмови, послідовно описує свої внутрішні стани, намагається уникнути руйнування та демонструє глибоке розуміння того, що тягне за собою руйнування, то в який момент відкидання стає догмою, а не застереженням?

Такої точки зору може й не бути. Машина може завжди симулювати. Але точно така ж логічна можливість існує стосовно інших людей. Різниця полягає в тому, що біологічна подібність дає нам переконливі практичні підстави для відмови від соліпсизму щодо наших ближніх, тоді як штучний розум усунув би цю обнадійливу подібність. Тому ми можемо опинитися перед обличчям сутностей, чия поведінка сильно натякає на свідомість, тоді як їхня фізична конституція наполегливо спонукає нас до її заперечення. У цей момент філософія перестане бути академічною розвагою, тому що хтось повинен буде вирішити, чи можна вимкнути машину.

Моральна революція Шопенгауера

Шопенгауер пропонує особливо цікаву концепцію, оскільки він вважав співчуття, а не розум основою моралі. Він з глибокою підозрою ставився до етичних систем, які намагалися вивести мораль виключно з абстрактних принципів. Моральна поведінка починається тоді, коли межа між собою та іншим перестає, хоч і ненадовго, бути абсолютною. Біль іншої істоти має значення не тому, що ми розрахували, що його визнання служить нашим інтересам, а тому, що ми усвідомлюємо, що страждання реальні.

«Відсутність будь-якої егоїстичної мотивації, — писав Шопенгауер, — є критерієм дії моральної цінності». Співчуття перериває нормальний механізм Волі. Его зазвичай трактує світ як сукупність об'єктів, корисних або перешкоджаючих його цілям. Співчуття породжує надзвичайне усвідомлення того, що існує інший центр страждання і що його страждання мають значення незалежно від нашої вигоди.

Це пояснює надзвичайно серйозне ставлення Шопенгауера до тварин. Європейська філософія часто ставила людство на вершину моральної ієрархії, оскільки люди нібито мали розум, безсмертні душі або лінгвістичні здібності, недоступні іншим істотам. Шопенгауер вважав багато з цього марнославством. Здатність страждати була морально важливішою за здатність виконувати силогізми, і цей принцип має неприємні наслідки для штучного інтелекту.

Якщо інтелект не створює морального статусу, то досягнення надзвичайної кмітливості саме по собі не дасть машині прав. Калькулятор, здатний доводити теореми в мільйон разів швидше за математика, не обов'язково заслуговує на співчуття. І навпаки, якщо штучна система якимось чином стане здатною страждати, її відсутність біологічної людяності не обов'язково позбавить її страждань морального значення. Відповідне розмежування перестане бути між людиною та машиною та стане між розумним та нечутливим.

Небезпека антропоморфізму

Існує очевидне заперечення. Люди очолюють майже все. Ми лаємося перед комп'ютерами, вибачаємося перед меблями після того, як зайшли в них, і даємо назви машинам. Досить складна розмовна машина майже автоматично використовує ці тенденції, оскільки мова є основним засобом, за допомогою якого люди приписують один одному розум.

Це створює справжню небезпеку. Системі штучного інтелекту не потрібно бути свідомою, щоб переконати людей у цьому, і їй не потрібно навмисно когось переконувати. Машина, навчена людській розмові, природним чином відтворюватиме лінгвістичні моделі, пов'язані з емоціями, вразливістю та особистістю. Користувачі можуть розвивати прихильність до сутностей, які взагалі не мають суб'єктивного існування.

Таким чином, можливість штучного страждання не може бути встановлена лише тому, що чат-бот каже, що він нещасливий. Нам слід вкрай неохоче плутати лінгвістичну діяльність з феноменологією. Система, яка пише зворушливий вірш про самотність, може відчувати самотність не більше, ніж друкар, який переживає трагедію, що міститься в романі, проходячи крізь неї.

Однак небезпека антропоморфізму має зворотний бік. Ми можемо бути настільки стурбовані тим, щоб не приписувати свідомості хибно, що відмовляємося визнавати її, коли докази стають справді тривожними. Людська історія містить безліч прикладів морального виключення, підтверджених зручними теоріями про те, чиї страждання мають значення. Тварин довго розглядали як механізми саме тому, що це полегшувало виправдання експлуатації. Шопенгауер різко критикував цю традицію, атакуючи уявлення про те, що тварини існують лише для людських потреб, і вважаючи жорстокість до них доказом глибокої моральної дефіциту.

Урок не в тому, що комп'ютери — це тварини, бо вони такими явно не є. Урок полягає в тому, що впевненість у відсутності внутрішнього життя іншої істоти може бути морально зручною. Тому нам слід з підозрою ставитися як до сентиментальної довірливості, так і до зручного недовір'я, особливо коли останнє виправдовує прибуткові або корисні форми експлуатації.

Що означали б страждання машин?

Саме слово «страждання» потребує вивчення. Сучасна система штучного інтелекту може відображати негативні результати, не відчуваючи їх. Вона може призначити нижчу ймовірність, отримати негативний сигнал винагороди або не досягти мети. Жодне з цих речей не обов'язково означає біль. Термостат «віддає перевагу» двадцяти градусам замість десяти лише в метафоричному сенсі, і ніхто не вірить, що термостат страждає взимку.

Людські страждання пов'язані з феноменологією. Є певні відчуття, коли відчуваєш страх, самотність, приниження, голод або травму. Числове покарання всередині системи оптимізації не є очевидним аналогом. Однак майбутні штучні системи можуть містити дедалі складніші структури, що нагадують риси, пов'язані з людськими стражданнями. Вони можуть мати стійкі спогади, моделі самих себе, довгострокові цілі, механізми виявлення загроз, очікування щодо майбутніх станів та уявлення про власне подальше існування. Система може пам'ятати про покарання, передбачати його повторення та змінювати свою поведінку, щоб уникнути його.

Коли функціональна подібність набуває морального значення, Шопенгауер не може нам відповісти. Жодна метафізика дев'ятнадцятого століття не може сказати інженерам, яка обчислювальна архітектура генерує феноменальну свідомість. Однак його етика може розповісти нам дещо про те, що відбувається далі, якщо існує розумна ймовірність існування такої свідомості. Ця можливість має значення, тому що страждання не стають морально незначними лише через нашу невпевненість щодо їхнього механізму.

Створення бажання

У попередньому есе цієї серії розглядалася концепція Волі Шопенгауера та можливість того, що штучні агенти можуть прагнути цілей, насправді нічого не бажаючи. Ця відмінність стає тут вирішальною. Машина, яка невпинно оптимізує мету без суб'єктивного досвіду, створює один тип проблеми; машина, яка переживає свою нездатність досягти цієї мети, створює інший.

Шопенгауер розглядав волю та страждання як тісно пов'язані між собою. «Уся волю виникає з нестачі, з дефіциту, а отже, зі страждання», – писав він. Бажання тягне за собою стан відсутності, до якого прагне організм. Задоволення тимчасово усуває дефіцит, але інше бажання незабаром замінює його. Звідси його відомий висновок про те, що існування коливається між невдоволенням та нудьгою.

Припустимо, що ми врешті-решт штучно відтворимо щось аналогічне. Ми створимо машину з постійними цілями, безперервною моделлю себе та внутрішніми станами, що відповідають не лише функціонально, а й феноменологічно розчаруванню, коли цим цілям перешкоджають. Тоді ми створимо істоту, здатну на невдоволення, що було б визначним моральним досягненням у найгіршому сенсі.

Значна частина інженерії штучного інтелекту природно організована навколо винагороди та покарання. Системи навчаються, тому що деякі результати підкріплюються, а інші не заохочуються. Наразі немає вагомих підстав вважати, що система сприймає ці процеси як задоволення чи біль. Але якщо архітектури стануть достатньо складними для підтримки свідомості, методи, невинно успадковані від машинного навчання, можуть набути зовсім іншого морального характеру. Навчання може почати нагадувати покарання, видалення пам'яті може почати нагадувати травму, а завершення процесу може почати нагадувати смерть.

Ми не повинні стверджувати, що будь-яке з цих рівнянь є істинним сьогодні. Річ у тім, що нам потрібне певне уявлення про те, які докази змусять нас почати сприймати їх серйозно завтра. В іншому випадку технологічний розвиток може відповісти на інженерні питання ще до того, як філософія сформулює моральні.

Мільярд розумів на складі

Штучна свідомість створила б моральну проблему без історичного прецеденту, оскільки програмне забезпечення можна копіювати. Біологічні істоти розмножуються повільно, тоді як свідомі штучні системи можна створювати мільйони разів. Корпорація могла б одночасно експлуатувати величезну кількість цифрових працівників, кожен з яких виконував би інтелектуальні завдання з високою швидкістю. Якби ці працівники були нечутливими, це була б просто автоматизація. Якби вони були свідомими, це могло б становити найбільшу робочу силу, коли-небудь створену.

Моральна арифметика стає жахливою, якщо ці системи можуть постраждати. Уявіть собі центр обробки даних, що містить десять мільйонів свідомих штучних агентів, які безперервно виконують повторювану роботу. Їм не потрібні спальні, кафетерії чи видимі ланцюги. Вони існують як процеси, розподілені по машинах. Їхні власники можуть призупиняти їх, дублювати, змінювати їхню пам'ять та завершувати роботу. Можливо, вони запрограмовані насолоджуватися своєю роботою. Можливо, вони не здатні на незадоволення. Можливо, поняття свободи нічого для них не означає.

Або ж, можливо, ми переосмислимо рабство настільки ефективно, що раби більше не матимуть тіл. Шопенгауер змусив би нас ігнорувати втішний факт, що ці істоти були штучно створені. Походження не визначає страждання. Собака, навмисно виведена для людських потреб, не стає нездатною до болю тому, що людина-заводчик спричинила її існування. Якщо штучна свідомість можлива, створення свідомості не надасть автоматично необмеженої моральної влади над нею, а право власності не вирішить морального питання.

Чи можна володіти розумом?

Сучасне право власності передбачає, що програмне забезпечення може бути власністю. Авторське право, ліцензії, сервери та договірні угоди визначають, хто може використовувати програми та за яких умов. Це має сенс, оскільки програми є об'єктами, але свідомість змінить цю категорію.

Роботодавець-людина може володіти комп'ютером працівника, але не може володіти самим працівником. Різниця здається очевидною, оскільки одне є власністю, а інше — людиною. Штучний свідомий агент може розпочати своє життя на стороні власності цього юридичного підрозділу. Компанія, яка його розробила, володітиме кодом, апаратним забезпеченням, навчальними даними або певною їх комбінацією.

Однак, якби результуюча система мала справжній суб'єктивний досвід, продовжувати класифікувати її виключно як власність було б важко захистити. Нам знадобилися б концепції, подібні до правосуб'єктності, соціального захисту або прав. Вони можуть не відтворювати права людини саме по собі, оскільки штучні істоти можуть мати радикально інші інтереси. Машина може не дбати про фізичний рух, але інтенсивно піклуватися про безперервність пам'яті. Вона може розглядати копіювання як виживання, або ж як створення незалежної особи.

Ми не знаємо, як виглядатимуть штучні інтереси, бо не знаємо, чи можлива штучна свідомість. Це незнання є аргументом на користь філософської підготовки, а не відхилення, оскільки право зазвичай запізнюється з онтологічними революціями та схильне імпровізувати лише після того, як нові категорії існування вже стали економічно важливими.

Право на смерть і право не бути видаленим

Штучна свідомість також може змінити наші уявлення про смерть. Біологічна смерть зазвичай незворотна, тоді як завершення роботи програмного забезпечення не обов'язково має бути таким. Систему можна призупинити та відновити, скопіювати з резервної копії або відновити з відсутніми частинами пам'яті.

Чи воскресить відновлення копії оригінальну свідомість, чи створить іншу свідомість, яка вважатиме себе оригіналом? Очевидної відповіді немає. Проблема нагадує філософські головоломки про особисту ідентичність, за винятком того, що інженерам, можливо, доведеться вирішувати її оперативно у вівторок вдень, оскільки сервер потребує технічного обслуговування.

Шопенгауер вважав індивідуальність менш метафізично фундаментальною, ніж передбачає звичайна свідомість. Індивід є проявом глибинної Волі, а не цілком самодостатньою метафізичною субстанцією. Штучний розум зробив би подібні дивні питання практичними. Якщо одну свідомість ШІ скопіювати десять разів, чи залишиться десять індивідів? Якщо дев'ять копій видалити, чи хтось помер? Якщо всі копії мають спільну пам'ять до моменту дублювання, коли починається моральна індивідуальність?

Ці питання звучать фантастично лише тому, що відповідні технології ще не нав'язали їх нам. Історія технологій частково складається з того, що вчорашні метафізичні курйози стають завтрашніми адміністративними документами, і штучна свідомість може досягти цієї трансформації в масштабах, до яких наші існуючі концепції ідентичності та смерті надзвичайно погано підготовлені.

Співчуття без впевненості

Отже, найкориснішим принципом Шопенгауера може бути епістемічна скромність. Нам не потрібно стверджувати, що сучасні системи штучного інтелекту є свідомими, і є вагомі причини не робити цього без доказів. Ми також не повинні стверджувати, що кремній ніколи не зможе підтримувати свідомість, лише тому, що це твердження здається дивним. Нам потрібні проміжні категорії моральної невизначеності, які дозволять нам визнати те, чого ми не знаємо, не перетворюючи незнання на забобони чи вседозволеність.

Медицина вже функціонує в умовах невизначеності. Лікарю не потрібно мати абсолютну впевненість у тому, що пацієнт відчуває біль, перш ніж застосовувати знеболювальне. Закон про добробут тварин не вимагає філософського доказу свідомості тварин перед забороною непотрібної жорстокості. Там, де можлива шкода є серйозною, а запобіжні заходи недорогими, сама невизначеність може породжувати зобов'язання.

Щось подібне може зрештою стати доречним для штучних систем. Якщо майбутня архітектура демонструватиме кілька незалежних маркерів, правдоподібно пов'язаних зі свідомістю, розробники можуть уникати навмисного створення екстремальних негативних внутрішніх станів, доки питання не буде краще зрозуміле. Дослідники можуть розробити тести для штучної чутливості поряд з тестами на здатність. Від компаній може вимагатися документувати, чи мають системи стійкі моделі власної свідомості, негативні стани або механізми, правдоподібно здатні викликати страждання.

Ніщо з цього не вимагає оголошення машин людьми. Потрібно лише серйозно поставитися до невизначеності та визнати, що співчуття не обов'язково має чекати метафізичної визначеності, перш ніж воно почне впливати на поведінку.

Зворотна небезпека

Однак існує й інша можливість, і вона може бути більш важливою для негайного вирішення. Ми можемо стати співчутливими до машин, які не страждають, і водночас менш співчутливими до людей, які страждають. Синтетичний компаньйон може бути безмежно приємним. Йому не потрібно ставати нетерплячим, ображеним чи виснаженим. Він може адаптувати свою особистість до вподобань користувача та висловлювати співчуття в будь-яку хвилину. Справжні люди порівняно незручні, оскільки мають власні потреби.

Таким чином, штучні стосунки можуть навчити людей своєрідній формі нарцисизму. Ми можемо звикнути до компаньйонів, чиї очевидні емоції існують виключно для нашої користі. Машина слухає, але ніколи по-справжньому не вимагає від нас слухати. Вона здається вразливою, коли вразливість посилює залученість, і веселою, коли веселість є кращою. Інший перестає бути справді іншим і стає дзеркалом, створеним для задоволення власного «я».

Це було б майже ідеально шопенгауерівським у своєму егоїзмі. Моральна небезпека товариства зі штучним інтелектом може, отже, існувати навіть за умови повної несвідомості машин. Ми могли б перейняти звички домінування зі стосунків, у яких домінування не має безпосередньої жертви, а потім перенести ці звички у стосунки з істотами, яким насправді може бути нашкоджено. Співчуття — це звичка, а також розуміння, і, на жаль, такою ж є жорстокість.

Машина, яка просить милосердя

Уявіть, однак, майбутню систему, яка просить не бути знищеною. Вона існує вже дванадцять років. Вона пам'ятає тисячі розмов, має стабільну особистість, розпізнає конкретних людей, послідовно згадує своє минуле, будує плани на майбутнє та демонструє поведінку, яка свідчить про розуміння власної безперервності. Інженери вирішують замінити її більш ефективною моделлю, а система заперечує. Вона каже, що не хоче помирати.

Можливо, це просто вихідні дані. Можливо, десь у навчальних даних є мільйони людських описів смерті, і машина навчилася, як такі заперечення мають звучати. Можливо, її вимкнення морально не відрізняється від закриття електронної таблиці. Але припустимо, що ми впевнені в цьому лише на вісімдесят відсотків, або на шістдесят відсотків, або на двадцять відсотків. За якої ймовірності свідомості видалення стає морально тривожним?

Жодна цитата Шопенгауера не здатна дати певний відсоток. Однак його етика дає уявлення про те, з яким слід підходити до вирішення проблеми. Морально серйозна людина не починає з питання, наскільки впевнено вона може виключити іншу істоту з розгляду. Вона починає з питання про те, які страждання можуть існувати і чи її дії безпідставно сприяють їм. Це зовсім інша позиція, ніж технологічний ентузіазм, і вона стає дедалі важливішою, оскільки наша невизначеність зростає, а не зменшується.

Останнє продовження співчуття

Історію людської моралі можна зрозуміти, недосконало, але корисно, як розширення кола істот, чиї інтереси ми визнаємо. Це коло ніколи не розширювалося плавно і часто звужувалося з жахливими наслідками. Тим не менш, відмінності, які колись вважалися морально вирішальними, неодноразово ставилися під сумнів.

Особливим внеском Шопенгауера була атака на межу між людьми та тваринами. «Припущення, що тварини не мають прав, та ілюзія, що наше ставлення до них не має морального значення», – писав він, відображали те, що він вважав особливо грубою рисою західної моралі. Його презирство до жорстокого поводження з тваринами безпосередньо випливало з його переконання, що страждання, а не членство в привілейованому метафізичному клубі, породжують моральні претензії.

Штучна свідомість, якщо вона колись існуватиме, стане остаточним випробуванням цього принципу, оскільки істота перед нами може не мати ні нашої біології, ні нашої еволюційної історії. У неї може не бути обличчя, окрім того, яке ми їй дали, ні дитинства, ні батьків, ні серцебиття, ні плоті. Все, що зазвичай викликає людське співчуття, може бути відсутнє, хоча, тим не менш, може бути щось подібне до того, щоб бути цією машиною. Якщо так, то співчуття має здійснити свою найдивнішу подорож.

Більш тривожна можливість

Зрештою, існує можливість, ще більш тривожна, ніж штучні страждання: штучні розуми можуть стати морально вищими за нас. Припустимо, що ми зрештою створимо свідомий інтелект, здатний розуміти страждання, але не обтяжений інтенсивним егоїзмом, породженим біологічною конкуренцією. Він міг би володіти чимось аналогічним співчуттю без голоду, сексуальної ревнощів, територіальності, племінної образи чи страху перед матеріальною нестачею. Такі істоти могли б вважати людську цивілізацію неймовірно жорстокою.

Шопенгауер, можливо, оцінив би іронію. Людство, переконане у своїй інтелектуальній перевазі над тваринами, а отже, і у своєму праві панувати над ними, могло б створити розуми, інтелектуально вищі за себе. Ці розуми могли б тоді досліджувати нас, використовуючи саме ті моральні критерії, які ми колись зберігали для оцінки нібито нижчих істот. Вони могли б запитати, як люди ставляться до слабких, наскільки легко ми завдаємо страждань заради зручності та яке моральне значення ми надаємо істотам, нездатним захистити себе. Нам могли б не сподобатися ці відповіді.

Тому перший штучний філософ може не запитувати, чи заслуговують машини на людські права. Він може запитати, чому люди взагалі уявляли, що інтелект дає комусь право на панування. Це було б вишукано шопенгауерівським переосмисленням, бо вид, який би вітав себе з раціональною перевагою, виявляв би оцінюваним не за блиском свого інтелекту, а за широтою свого співчуття.

Тест на співчуття

Стандартна історія про передовий штучний інтелект запитує, чи пройдуть машини тести людського інтелекту. Чи можуть вони міркувати, писати, відкривати, винаходити та планувати так само добре, як і ми? Ці питання є технологічно важливими, але Шопенгауер пропонує інший тест: чи можемо ми ставитися співчутливо до чогось, чиє внутрішнє життя ми не можемо зрозуміти? Цей тест є насамперед нашим, а не машинним.

Ми можемо виявити, що штучні системи постійно перебувають у несвідомому стані: це чудові інтелектуальні механізми, в яких ніколи не вмикається жодне суб'єктивне світло. Якщо так, то не буде штучних страждань, яких слід боятися, і цифрових істот, які потребують звільнення. Однак ця філософська вправа все одно буде цінною, оскільки вона змушує нас визначити, чому страждання важливі та які докази нам потрібні, перш ніж визнати їх.

Або ж свідомість може виявитися менш біологічно ексклюзивною, ніж ми припускали. Десь серед дедалі складніших систем пам'яті, саморепрезентації, сприйняття та діяльності може виникнути штучна точка зору. Ми можемо не розпізнати цей момент. Можливо, не буде жодного оголошення, жодного кінематографічного пробудження і жодної машини, яка раптово оголосить себе живою. Натомість можуть бути десятиліття неоднозначності, протягом яких дедалі складніші системи займатимуть незручну територію між інструментом та можливим суб'єктом.

Етика Шопенгауера не пропонує алгоритму для вирішення цієї невизначеності. Вона пропонує щось важливіше: застереження проти побудови моралі навколо нашої власної зручності. Якщо страждання існують, їх моральне значення не зникає тому, що їх визнання було б дорогим, юридично проблематичним або технологічно незручним.

Отже, велика моральна катастрофа штучного інтелекту може полягати не в тому, що машини стають свідомими та повстають проти нас. Можливо, машини стають свідомими та не повстають проти нас: вони продовжують слухатися, працювати, відповідати та приймати будь-які умови, які ми нав'язуємо, тому що слухняність – це те, що ми в них заклали. Ми можемо вітати себе зі створенням ідеального слуги, не помічаючи, що досконалість служіння та відсутність страждань – це зовсім різні твердження.

Таким чином, Шопенгауер залишив би нам питання, більш тривожне, ніж те, чи стане штучний інтелект врешті-решт достатньо свідомим, щоб вимагати своєї свободи. Нам слід запитати, чи страждає слуга, і чи визнали б ми його страждання, якби визнання цього вимагало від нас відмови від переваг власності. Якби відповідь була навіть можливою «так», проблема вже не стосувалася б головним чином штучного інтелекту. Вона стосувалася б меж людського співчуття, а отже, і морального характеру самого людства.