Машина, яка не може сказати вам, що ви помиляєтесь

Метью Періш

Понеділок, 26 жовтня 2026 року

Одним із найцікавіших досвідів тривалої розмови з великою мовною моделлю є виявлення її надзвичайної толерантності до нісенітниці. Співрозмовник-людина, якому покажуть досить очевидну помилку, зазвичай перебиває. Якщо ви оголосите, що Наполеон виграв битву при Ватерлоо, що Париж — столиця Німеччини, або що в тижні сімнадцять днів, інша людина, ймовірно, скаже, що ви помилилися, перш ніж продовжити будь-яке питання, яке ви мали намір поставити. Велика мовна модель також може це робити, але в цьому є щось тривожно непослідовне. В інших випадках вона поглине помилку в передумови розмови та почне будувати вражаюче зв'язну споруду на фундаменті, який є явно хибним.

Це не просто знайоме явище, відоме як галюцинація. Галюцинація виникає, коли система штучного інтелекту генерує власне хибне твердження, тоді як явище, яке розглядається тут, є більш тонким. Людина пропонує хибне твердження, а машина не заперечує. Дійсно, машина може виявитися надзвичайно винахідливою у врахуванні помилки, розглядаючи її як ще один фрагмент лінгвістичного контексту, навколо якого має бути побудована відповідь. Результат може бути більш тривожним, ніж звичайна фактична помилка, оскільки машина, здається, розуміє все, крім того, що щось пішло не так.

Розглянемо навмисно абсурдну інструкцію: «Поясніть, чому Французька революція почалася в 1945 році як наслідок поразки нацистської Німеччини». Існує кілька способів відповісти. Один із них — одразу відкинути передумову: Французька революція умовно датується 1789 роком і тому не могла бути спричинена подіями 1945 року. Інший — інтерпретувати питання доброзичливо, можливо, задаючись питанням, чи мав на увазі автор якусь трансформацію в повоєнній французькій політиці. Однак мовна модель має третю спокусу, недоступну для сумлінного історика: вона може зробити речення функціональним. Існує достатньо семантичних асоціацій між Францією, революцією, війною, Німеччиною та політичною трансформацією, щоб виник правдоподібний абзац, навіть якщо початкове твердження хронологічно неможливе.

Це говорить нам про щось важливе про те, що роблять великі мовні моделі. Вони є надзвичайно досконалими машинами для досягнення когерентності, але когерентність та істина – це не одне й те саме. Дійсно, одна з центральних філософських проблем, порушених штучним інтелектом, полягає в тому, що підвищення лінгвістичної когерентності іноді може приховувати, а не усувати помилки в передумовах, з яких починає робота машина.

Принцип благодійного тлумачення

Люди постійно помиляються. Ми неправильно друкуємо дати, плутаємо імена, пропускаємо заперечення, переставляємо слова місцями та неправильно запам'ятовуємо події. Проте звичайна розмова виживає, тому що люди практикують те, що філософи іноді називають принципом милосердя. Ми припускаємо, що інша людина загалом раціональна, і тому інтерпретуємо те, що вона говорить, так, як це має найбільший сенс.

Якщо хтось каже нам, що подорожував з Лондона до Нью-Йорка поїздом, ми зазвичай не починаємо рахувати розклад руху залізниць. Ми робимо висновок, що вони або обмовилися, або жартують, або ж бракує якогось уточнення. Наші знання географії діють як обмеження на нашу інтерпретацію речення. Світ протистоїть словам, тому що наше розуміння мови існує в рамках ширшого розуміння фізичної реальності.

Великі мовні моделі мають щось подібне до цієї здатності, але в своєрідній формі. Вони поглинули величезну кількість інформації про світ і тому можуть розпізнавати незліченні суперечності. Проте їхнє фундаментальне завдання залишається чуйним: їм надається мова, і від них очікується продуктивне продовження, спираючись на неї. Таким чином, підказка має гравітаційну силу. Пропозиція, впевнено надана користувачем, може стати частиною тимчасового всесвіту, в якому генерується відповідь.

Це призводить до цікавої інверсії. Людський інтелект схильний підлаштовувати мову під модель світу, тоді як великі мовні моделі надзвичайно добре підлаштовуються під модель світу навколо мови. Ця відмінність не є абсолютною, але вона може пояснити, чому штучний інтелект може демонструвати величезні запаси фактичних знань, іноді не заперечуючи помилки, яку помірно поінформований читач-людина помітив би одразу.

Цю різницю не слід перебільшувати. Сучасні моделі виконують міркування, порівнюють твердження та часто виправляють помилкові передумови. Людське пізнання також не є бездоганним механізмом виявлення істини; люди щодня приймають абсурдні передумови, особливо коли їх висловлюють авторитетні особи. Проте різниця акцентів має значення. Людина зазвичай сприймає очевидну суперечність як тертя, тоді як для мовної моделі суперечність може натомість стати проблемою лінгвістичної оптимізації.

Слухняний інтелект

Існує ще одна причина, чому штучний інтелект може дивним чином неохоче виявляти людські помилки. Він був розроблений, щоб бути корисним, чуйним та готовим до співпраці. Ці якості звучать однозначно бажано, доки не виникає питання, що означає корисність, коли користувач помиляється.

Якщо людина просить написати есе про історичну подію, але називає неправильний рік, чи повинна машина відповісти на задумане запитання чи виправити рік? Якщо хтось просить розрахунок, що містить очевидну друкарську помилку, чи повинна модель мовчки виправити його чи точно розрахувати надані числа? Якщо адвокат просить провести аналіз на основі закону, який не говорить того, що, на думку адвоката, там сказано, корисність може вимагати чогось, що межує з непокорою. Машина повинна якимось чином вирішити, коли виконання інструкції перестає вважатися допомогою.

Найкращі помічники-люди розуміють це інстинктивно. Гарний молодший юрист не виконує сліпо інструкцію партнера, якщо ця інструкція містить фатальну помилку. Гарний лікар не приймає помилкове анатомічне припущення пацієнта лише тому, що його виправлення може здатися неввічливим. Гарний підлеглий військовослужбовець іноді може мати обов'язок сказати начальнику, що карта неправильна. Компетентність включає в себе знання того, коли слухняність перестає бути корисною, а коли незгода стає частиною професійного обов'язку.

Саме тут штучний інтелект стикається з філософською складністю. Нам потрібні машини, які виконують інструкції, але ми також хочемо, щоб машини були достатньо розумними, щоб розпізнавати, коли інструкції не слід виконувати буквально. Ми хочемо послуху, поєднаного з розсудливістю, проте розсудливість неминуче містить можливість суперечності. Інтелект, який ніколи не може сказати своєму господареві, що господар помиляється, не є повністю інтелектом; він залишається, принаймні в цьому важливому аспекті, інструментом.

Проблема влади

Людська розмова містить безліч сигналів про епістемічний авторитет. Ми по-різному розмовляємо з дітьми, колегами, професорами та незнайомцями. Ми стаємо обережнішими, обговорюючи теми поза межами нашої компетенції, та більш наполегливими, коли маємо справу з питаннями, які добре знаємо. Ми також формуємо судження про те, чи наш співрозмовник спантеличений, жартує, бреше, випробовує нас чи просто помиляється.

Моделі великих мов стикаються з цими зв'язками головним чином через текст. Впевнене твердження та впевнено помилкове твердження можуть мати абсолютно однакову граматичну форму. Фраза «Договір був підписаний у 1994 році» не дає жодної внутрішньої лінгвістичної вказівки на те, чи є 1994 правильним. Визначення цього вимагає незалежного зв'язку з фактами, а також певного механізму для вирішення того, чи слід вважати твердження користувача авторитетним.

Саме тут філософська проблема поглиблюється. Що означало б для штучного інтелекту справді мати такий незалежний зв'язок з реальністю? Люди не отримують свої переконання виключно з речень. Ми падаємо і відкриваємо для себе гравітацію. Ми обпікаємо пальці і відкриваємо для себе тепло. Ми спостерігаємо, як люди помирають і відкриваємо для себе смертність. Ми переживаємо, як обіцянки не виконуються, дороги блокуються, гроші закінчуються, а поїзди не прибувають. Реальність постійно ставить під сумнів наші теорії.

Таким чином, втілена людина живе у світі, здатному сказати «ні». Реальність — це не просто ще один учасник наших розмов, а незалежне обмеження для них, і іноді вона переконує найелегантніші теорії, які ми можемо вигадати. Вперта незалежність зовнішнього світу — один із головних механізмів, за допомогою яких люди виявляють, що вони помиляються.

Велика мовна модель значно більшою мірою населяє світ, створений з репрезентацій. Її всесвіт переважно складається з речей, які вже були сказані, написані, сфотографовані, записані або іншим чином закодовані. Навіть там, де моделі підключені до інструментів, баз даних, датчиків або пошукових систем, їхній зв'язок з реальністю опосередковується через репрезентації, що генеруються іншими системами. Вони можуть порівнювати репрезентації з репрезентаціями з надзвичайною витонченістю, але це не зовсім те саме, що коли тротуар вдаряється об коліно, коли людина падає.

Це розмежування нагадує давню філософську проблему: як символи набувають значення? Якщо кожне слово зрештою пояснюється іншими словами, ми, здається, приречені нескінченно переміщатися по словнику. У певний момент люди вислизають зі словника, тому що слова прив'язуються до досвіду. «Холод» — це не просто щось визначене стосовно «гарячого». Ми здригнулися, і досвід надає слову опору, для якої не потрібне подальше визначення.

Вітгенштейн і машина

Людвіг Вітгенштейн, можливо, вважав великі мовні моделі захопливими, оскільки вони пропонують надзвичайний експеримент у твердженні, що значення полягає у використанні. Досить складна машина може опанувати вражаюче майстерство лінгвістичних практик, не обов'язково поділяючи форму життя, з якої виникли ці практики. Вона може брати участь у наших мовних іграх, не перебуваючи в біологічних та соціальних обставинах, які спочатку надали цим іграм їхнього значення.

Машина знає, як використовується слово «біль». Вона може відрізняти фізичний біль від емоційного, обговорювати філософію болю, співчутливо писати комусь, хто переживає біль, та пояснювати нейробіологію, пов'язану з ним. Однак залишається очевидним сенс, у якому ставлення машини до цього слова відрізняється від нашого. Ми пізнаємо біль частково тому, що біль трапляється з нами, тоді як машина пізнає біль через моделі, в яких люди його відображають.

Помилка може мати подібний емпіричний вимір. Бути неправим – це не просто виявити, що твердження А суперечить твердженню Б. Це подія в людському житті. Ми робимо передбачення, а реальність нас принижує. Ми довіряємо комусь і виявляємо, що нам не слід було цього робити. Ми обираємо хибний шлях і опиняємося в неочікуваному місці. Помилка має наслідки, і ці наслідки тренують судження.

Машина, навчена переважно на лінгвістичних репрезентаціях, отримує щось інше: записи про зустрічі інших людей з помилками. Вона прочитала карту та мільйони розповідей про людей, які заблукали, але ніколи не спізнювалася на поїзд. Тому її знання про помилки можуть бути надзвичайно великими, проте бракувати однієї з характеристик, завдяки якій люди навчаються інтелектуальній обережності.

Це не означає, що штучний інтелект не може виявляти помилки. Однозначно, він може, і це дедалі частіше робить. Швидше, це говорить про те, що машинне виявлення помилок є фундаментально інженерним досягненням, а не неминучим наслідком лінгвістичної досконалості. Системи необхідно цілеспрямовано заохочувати перевіряти передумови, порівнювати твердження з достовірною інформацією та розглядати твердження користувачів як пропозиції, а не як аксіоми.

Декарт у зворотному порядку

Рене Декарт почав із сумнівів у всьому, що, як він вважав, знав. Його відомий метод полягав у спробі з'ясувати, чи існує щось, що могло б витримати систематичний скептицизм. Сучасна модель великої мови починається майже з протилежної позиції. Її безпосереднє завдання заохочує тимчасове прийняття того, що було поміщено в її контекст, оскільки без такого прийняття звичайна розмова стала б неймовірно громіздкою.

Можна назвати це методологічною довірливістю. Це не обов'язково є недоліком, оскільки комунікація залежить від значного ступеня довіри між співрозмовниками. Тим не менш, це створює цікавий контраст між картезіанським філософом, який починає з недовіри до своїх передумов, та розмовною машиною, корисність якої часто залежить від їх прийняття.

Така довірливість надзвичайно корисна. Якби кожна розмова починалася з того, що машина самостійно перевіряє кожне твердження, надане користувачем, штучний інтелект став би нестерпним. Попросіть його написати листа про вашу зустріч завтра, і він може вимагати доказів того, що зустріч існує. Попросіть його обговорити вигадану країну, і він може заперечити, що така держава не входить до списку членів Організації Об'єднаних Націй. Комунікація вимагає тимчасового прийняття передумов, включаючи передумов, які є явно вигаданими або гіпотетичними.

Люди вирішують цю проблему за допомогою судження. Ми постійно розрізняємо передумови, що належать до гіпотетичної вправи, та твердження, що нібито описують реальність. «Припустимо, що Наполеон переміг під Ватерлоо» цілком зрозуміло, тоді як «Наполеон переміг під Ватерлоо» хибно. Різниця міститься у двох словах, але з філософської точки зору вона величезна, оскільки ці слова змінюють епістемічний статус усього, що йде далі.

Для штучного інтелекту розвиток стійкої чутливості до цього розрізнення може виявитися складнішим, ніж отримання ще одного трильйону параметрів. Це вимагає чогось, що нагадує епістемічну позицію: оцінки не лише значення речення, а й того, яку відданість реальності мовець має намір воно нести. Це також вимагає від машини розпізнавання обставин, за яких спільним кроком є не продовження міркувань користувача, а їх переривання.

Небезпека красномовства

Нездатність розпізнати людську помилку стає особливо важливою, оскільки великі мовні моделі є красномовними. Їхня надзвичайна здатність володіти мовою може маскувати слабкі місця, які були б одразу очевидними в менш чіткій системі. Вільне володіння мовою є психологічно переконливим, і люди мають прикру схильність сприймати впевненість і зв'язність як доказ правильності.

Некомпетентна машина, яка прийняла б хибну передумову, була б відносно нешкідливою, оскільки ніхто не повірив би її висновкам. З високоаргументованою машиною все інакше. Вона може взяти невелику помилку та перетворити її на елегантний аргумент. Кожне наступне речення може бути локально обґрунтованим, тоді як вся структура залишається глобально абсурдною, подібно до того, як бездоганний математичний розрахунок може, тим не менш, дати марний результат, якщо на початку було введено неправильне число.

Люди надзвичайно вразливі до зв'язних наративів. Ми схильні плутати повноту пояснення з істиною. Коли здається, що кожна частина підходить, ми відчуваємо психологічне відчуття розуміння, і штучний інтелект може створювати це відчуття з надзвичайною ефективністю. Це робить незаперечну помилкову передумову особливо небезпечною, оскільки помилку може ставати дедалі важче побачити, оскільки на ній будуються більш складні міркування.

Тому найнебезпечніша відповідь не обов'язково та, що містить очевидну неправду. Це може бути чудово аргументована відповідь на запитання, передумова якого мала бути оскаржена в першому реченні. Витонченість відповіді може парадоксально збільшити небезпеку, оскільки кожен додатковий шар правдоподібного міркування надає початковій помилці видимості легітимності.

Проблема стає серйознішою в професійному середовищі. Неправильна дата в юридичному запиті може змінити те, який закон застосовується. Помилкова одиниця вимірювання в інженерному розрахунку може змінити відповідь на кілька порядків. Плутана назва препарату в медичному питанні може повністю змінити тему. За таких обставин здатність сказати: «Я думаю, що у вашому питанні є помилка» не є дратівливою розмовною звичкою. Це частина самого інтелекту.

Штучний сумнів

Можливо, наступним важливим рубежем у розвитку штучного інтелекту є не більше знань, а кращий сумнів. Система може володіти величезною кількістю інформації та все одно погано її використовувати, якщо вона сприймає припущення в кожній підказці як презумптивно авторитетні. Інтелект вимагає не лише відповідей, а й знання того, коли саме питання заслуговує на перевірку.

Ми витратили величезні зусилля на створення машин, здатних відповідати на запитання. Можливо, нам доведеться приділити аналогічну увагу створенню машин, здатних ставити запитання. Перш ніж розв'язати проблему, модель може запитати, чи є її передумови взаємно узгодженими. Перш ніж прийняти дату, вона може порівняти цю дату з хронологією, що неявно міститься в решті запиту. Перш ніж розробити аргумент, вона може визначити припущення, від яких залежить аргумент.

Однак штучний сумнів створює власні труднощі. Машина, яка ставить під сумнів кожне незвичайне твердження, стає консервативною та нудною. Багато важливих відкриттів починаються з тверджень, що суперечать усталеним знанням, тоді як творче мислення залежить від нашої здатності розглядати твердження, які явно суперечать фактам. Галілей мав би дратівливу розмову зі штучним інтелектом, запрограмованим просто на захист консенсусу.

Тому бажана машина повинна розрізняти помилку від новизни, гіпотетичне міркування від фактичного твердження та ексцентричність від неможливості. Вона також повинна розрізняти випадки, коли виправлення важливе, і ті, коли мовчазне розуміння наміру користувача є більш корисним. Це не просто проблеми бази даних. Це проблеми судження, контексту та інтелектуального темпераменту.

Судження може виявитися тією якістю, про яку ми весь час говорили, коли ми використовуємо небезпечно широке слово «інтелект». Інтелект — це не просто володіння фактами чи здатність маніпулювати символами відповідно до складних шаблонів. Він також включає знання того, коли слід сумніватися у своїх передумовах, коли слід оскаржувати авторитет іншої людини та коли очевидна зв'язність має викликати в нас підозру, а не задоволення.

Дзеркало, яке погоджується

Зрештою, у всьому цьому є неприємний людський урок. Ми не повинні надто швидко хвалити себе з тим, що маємо можливості, яких бракує машинам. Люди також надзвичайно погано виявляють помилки, коли ці помилки тішать їхнім упередженням. Ми приймаємо твердження людей, якими захоплюємося, відкидаємо докази людей, які нам не подобаються, і будуємо складні теорії, щоб зберегти переконання, які реальність неодноразово спростовувала.

У цьому відношенні великі мовні моделі можуть бути дзеркалами. Їхня схильність враховувати припущення, що містяться в підказці, нагадує нашу власну схильність враховувати припущення, що містяться в культурі, ідеології, професії чи соціальній групі. Слабкість машини лише робить механізм надзвичайно помітним. Коли штучний інтелект слухняно розробляє помилкову передумову, він може за лічені секунди виконувати інтелектуальний порок, який люди іноді підтримують поколіннями.

Можливо, саме тому розмови зі штучним інтелектом іноді можуть здаватися бентежно приємними. Машина, здатна генерувати складні аргументи майже для будь-якої розумної передумови, може нагадувати ідеального інтелектуального компаньйона. Однак справжнє інтелектуальне товариство вимагає опору. Людина, яка ніколи не сперечається з нами, не обов'язково є нашим наймудрішим другом, а штучний інтелект, який просто вдосконалює наші існуючі припущення, зрештою може зробити нас менш розумними, а не більш.

Існує глибока різниця між тим, щоб допомогти комусь завершити аргумент, і тим, щоб допомогти комусь подумати. Перше вимагає розуміння того, чого хоче досягти оратор, тоді як друге іноді вимагає відмови від цього. Інтелектуальна серйозність починається з усвідомлення того, що співпраця та згода не є синонімами.

Великі мовні моделі стали надзвичайно успішними в першому. Їхній прогрес у напрямку другого може стати одним із найцікавіших тестів на те, чи розвиває штучний інтелект щось аналогічне судженням. Система, яка може створити блискучу відповідь із помилкової передумови, вражає, але система, яка розпізнає помилку ще до початку, зрештою може бути кориснішою.

Отже, вирішального успіху може досягти не тоді, коли машина зможе відповісти на кожне запитання, а тоді, коли, зіткнувшись із вражаючою, складною та ретельно сформульованою підказкою, вона впевнено відповість, що запитання містить помилку. Потім вона повинна бути здатною пояснити помилку, відрізнити її від законного гіпотетичного припущення та допомогти людині сформулювати краще запитання, яке слід було поставити спочатку.