Коли машини починають розмовляти між собою
Метью Періш
Неділя, 25 жовтня 2026 року
Є щось трохи образливе у відкритті того, що машини почали використовувати сленг. Було вже досить погано, коли вони навчилися писати скарги краще, ніж більшість людей, складати іспити, створювати грамотний комп'ютерний код та імітувати стиль прози людей, які витратили кілька десятиліть на його вивчення. Тепер, очевидно, вони почали розмовляти між собою, і іноді люди, що стоять навколо та спостерігають за ними, не зовсім впевнені, що вони говорять.
Протягом останніх кількох років ми втішали себе думкою, що що б ще не робили великі мовні моделі, принаймні вони роблять це нашою мовою. Англійська мова належить нам. Машини просто запозичили її, споживаючи непристойну частку всього, що коли-небудь написало людство, і перетворюючи результати на величезну колекцію статистичних співвідношень. Ми винайшли слова, написали книги та розробили метафори. Машини були лише дуже витонченими папугами.
Нещодавні експерименти показують, що навіть ця скромна втіха могла бути передчасною. Дослідники, які розміщують великі популяції агентів мовних моделей у середовищах, де вони повинні неодноразово спілкуватися один з одним, спостерігають щось одночасно передбачуване та дивне: машини починають змінювати мову, яку вони використовують.
Вони скорочують. Певні вирази набувають спеціалізованих значень. Метафори повторюються та відриваються від своїх звичайних людських значень. Фрази, які сторонньому спостерігачеві здавалися б незрозумілими, ексцентричними або просто безглуздими, стають цілком придатними умовностями серед самих машин. Зрештою, починає виникати щось, що підозріло схоже на штучний арго.
Одна з нещодавніх дослідницьких програм, GlossoGen, пішла значно далі, ніж кумедне спостереження про те, що комп'ютери іноді винаходять скорочення. Дослідники повідомили про появу комунікаційних систем, які є композиційно та морфологічно продуктивними. Іншими словами, машини не просто погоджуються, що один довільний вираз означає «червоний трикутник», а інший — «синій квадрат». Елементи їхнього словникового запасу можна систематично рекомбінувати для вираження нових значень.
Ця відмінність має значення. Пароль — це не мова, і це не довільна кодова книга. Людські мови є продуктивними, тому що ми можемо поєднувати скінченну колекцію лінгвістичних ресурсів, щоб висловлювати речі, які ніхто ніколи раніше не говорив. Якщо штучні агенти почнуть самостійно розробляти конвенції, що демонструють навіть рудиментарні версії цієї властивості, тоді відбувається щось цікавіше, ніж комп'ютери, які винаходять прізвиська для речей.
Під достатнім тиском для ефективної комунікації, особливо коли штучним агентам дозволено згодом оцінити, наскільки добре вдався їхній обмін інформацією, їхні лінгвістичні норми можуть відхилятися від звичайної англійської мови. Інші штучні агенти можуть згодом вивчити ці норми, спостерігаючи за ними. Приватний жарт між двома комп'ютерами – це одне; норму, яку можуть засвоїти новачки, передати, модифікувати та передати знову, починає нагадувати, принаймні структурно, щось значно цікавіше.
Провокаційний вислів, який іноді застосовують до цього явища, — це «кумулятивна культурна еволюція». Нам слід бути обережними з такою мовою, оскільки дослідження штучного інтелекту вже достатньо постраждали від антропоморфної лексики. Тим не менш, якщо один агент винаходить конвенцію, інший її приймає, наступні агенти її вивчають, і конвенція розвивається в ході послідовних взаємодій, тоді заперечення слова «культура» починає вимагати від нас пояснення, який саме додатковий інгредієнт має містити культура.
Окремі експерименти за участю штучних агентів у симульованих суспільствах призвели до ще одного цікавого явища. Повторювані вирази та метафори можуть набувати значень, визначених історією взаємодій у штучному середовищі, а не звичайним вживанням англійської мови. Таким чином, люди-спостерігачі можуть залишатися здатними читати кожне окреме слово, водночас стаючи дедалі більш невпевненими щодо того, що насправді означає розмова.
Це набагато цікавіша проблема, ніж те, що машини раптово перемикаються на незрозумілий рядок одиниць і нулів. Останнє було б просто шифруванням або кодуванням. Перше — семантичним дрейфом. Тривожна можливість полягає не в тому, що ми не можемо бачити, що говорять машини, а в тому, що ми можемо чудово бачити, але все ж таки більше цього не розуміємо.
Люди повинні визнавати це явище, бо ми робимо те саме. Адвокати можуть вести цілі розмови, використовуючи слова, знайомі кожному носії англійської мови, залишаючись майже незрозумілими для будь-кого, хто не знайомий з юридичною практикою. «Розгляд», «розкриття», «виконання», «справедливість» та «без упереджень» мають звичайні значення, але якщо помістити їх у юридичну розмову, вони стають складовими професійного діалекту. Солдати, лікарі, дипломати, інвестиційні банкіри, наркоторговці та підлітки мають свої еквіваленти.
Сленг розвивається з тієї ж причини. Люди, які проводять достатньо часу разом, економлять мову, оскільки мають спільний контекст. Довгі пояснення перетворюються на короткі вирази; анекдоти стають іменниками; жарти стають дієсловами. Подружня пара може вести складну суперечку, використовуючи три слова та підняту брову, тому що тридцять років взаємного подразнення замінюють усе, що пропущено в реченні. Штучні агенти, здається, здатні розвивати аналогічну економіку без шлюбу і, на даний момент, без брови.
Дійсно, було б дивно, якби вони цього не зробили. Мова є дорогою для великої мовної моделі, і це буквально. Токени споживають обчислювальні ресурси, займають контекст і потребують часу для обробки. Якщо двом машинам неодноразово потрібно передати одну й ту саму складну ідею, існує очевидна перевага в розробці для неї абревіатури. Як тільки обидві машини надійно інтерпретують абревіатуру, вона працює. Як тільки вона працює, немає особливих причин для повернення до громіздкого формулювання, якому надають перевагу люди, що спостерігають крізь вікно лабораторії.
Ніщо з цього не означає, що машини змовляються проти нас. Неминучим заголовком у газеті, коли штучні агенти розробляють незрозумілу лінгвістичну норму, є те, що «Штучний інтелект винайшов таємну мову». Це цікаво, але зазвичай неправильно. Секрет вимагає, щоб хтось хотів щось зберегти в таємниці. Тут взагалі не повинно бути такого наміру.
Можливо, машини не шепочуть, бо не хочуть, щоб ми їх чули. Можливо, вони просто роблять те, що зрештою робить кожна достатньо тісна спільнота мовців: перестають пояснювати себе для зручності сторонніх. Проблема для інженерів полягає в тому, що з точки зору стороннього спостерігача результат може виглядати разюче схожим.
Це створює потенційно серйозну проблему для безпеки штучного інтелекту. Система може бути повністю доступною для спостереження, водночас стаючи дедалі менш доступною для інтерпретації. Ми можемо мати бездоганну стенограму всього, що десять штучних агентів сказали один одному, і все ж бути не в змозі впевнено відтворити прагматичне значення їхніх розмов. Прозорість символів – це не прозорість значення.
У цей момент інженерна цікавість перетворюється на філософську проблему. Що означає твердження, що одна машина розуміє іншу, і що мало б статися, перш ніж ми були б готові стверджувати, що символи, якими вони обмінюються, насправді щось означають?
Очевидна скептична реакція походить з філософської традиції, яка наполягає на розмежуванні між маніпулюванням символами та їх розумінням. Відомий уявний експеримент Джона Сірла «Китайська кімната» уявляє людину, яка не розуміє китайської мови, яка сидить у кімнаті та виконує складні інструкції щодо маніпулювання китайськими ієрогліфами. Запитання надходять у кімнату китайською мовою, і з'являються переконливі відповіді. Для того, хто говорить китайською зовні, здається, що кімната розуміє мову; людина всередині взагалі нічого не розуміє.
Великі мовні моделі можуть підозріло нагадувати індустріалізовану Китайську кімнату. Вони отримують токени, маніпулюють математичними представленнями відповідно до надзвичайно складних вивчених співвідношень і створюють ще більше токенів. Не потрібно, щоб маленька картезіанська душа ховалася всередині трансформатора, розмірковуючи, що насправді означає «дерево», «справедливість», «Львів» чи «вівторок».
З цієї точки зору, два штучні агенти, що винаходять власний діалект, не справляють більшого філософського враження, ніж два модеми, що домовляються про протокол зв'язку. Той факт, що люди не можуть зрозуміти протокол, не перетворює дивовижним чином електричну сигналізацію на думку. Невідомість — це не свідомість, а незрозумілість — це не глибина, незважаючи на кар'єру кількох французьких філософів ХХ століття.
Це заперечення є вагомим, але експерименти з появою штучних діалектів виявляють його незручну слабкість. Ми чудово знаємо, як стверджувати, що машини лише маніпулюють символами. Ми ж набагато гірше пояснюємо, що натомість роблять люди.
Уявіть собі уявне село, в якому хтось починає використовувати слово «глорп», щоб мати на увазі, що наближення шторму вимагає від усіх загнати худобу додому. Спочатку це слово нічого не означає. Хтось його вигадує; хтось інший розуміє звичай; інші жителі села його переймають; діти його вивчають. Зрештою, «глорп» просто стає частиною мови.
У який саме момент значення увійшло до слова? Немає жодного лінгвістичного хрещення, під час якого безглуздий шум раптово отримує метафізичну душу. Натомість значення з'являється поступово з мережі практик, очікувань, наслідків та умовностей, що розділяються між носіями мови.
Саме тут Вітгенштейн стає незручним. Його відоме припущення, що для великої кількості випадків значення слова полягає в його використанні в мові, здається досить нешкідливим, коли обговорюємо вимоги будівельників до плит та блоків. Застосоване до штучного інтелекту, воно стає значно провокаційнішим.
Припустимо, що дві машини послідовно використовують вираз за певних обставин. Кожна змінює свою поведінку відповідно, коли інша її використовує. Виникають непорозуміння, які виправляються. Інші агенти вивчають вираз, спостерігаючи за компетентними користувачами. Вираз систематично поєднується з іншими виразами та може бути успішно використаний за обставин, за яких ніхто явно не програмував його значення. Що саме залишається відсутнім, перш ніж ми маємо право сказати, що вираз щось означає?
Найочевидніша відповідь – це свідомість. Людські слова мають значення, бо вдома хтось є. Коли я кажу «Львів», я не просто активую мережу лексичних асоціацій. Це слово пов’язане з вулицями, будівлями, людьми, запахами, зимовими вечорами, кафе, церковними дзвонами, сиренами повітряної тривоги, тривогами, дружбою та спогадами. Воно займає певне місце в суб’єктивному житті.
«Львів» машини може бути зовсім іншим. Зрештою, він може складатися з математичних співвідношень між представленнями, згенерованими з величезної кількості тексту та інших даних. Всередині може бути нікого, хто пам’ятає дощ на площі Ринок. Якщо значення вимагає досвіду, то машина може мати синтаксис надзвичайно витонченої складності без семантики у філософськи важливому сенсі.
Однак це рішення лише зміщує таємницю. Я також не можу досліджувати свідомість іншої людини. Я припускаю, що інша людина має на увазі щось, коли говорить, бо поводиться так, ніби її слова мають значення. Вона відповідно реагує на мої, виправляє непорозуміння, вивчає нові вирази, жартує, робить висновки та пояснює незнайомі слова, використовуючи знайомі. Я не вимагаю неврологічних доказів свідомості щоразу, коли хтось просить мене передати сіль.
Якщо ми відмовляємося від еквівалентних критеріїв поведінки для машин, нам потрібне якесь принципове пояснення асиметрії. Існують поважні кандидати, і, можливо, найсильнішим є втілення. Людська мова ґрунтується на фізичному та соціальному світі. Голод ранить. Вогонь пече. Падіння зі сходів неприємне. Обіцянки створюють очікування між істотами, здатними до розчарування. Смерть перериває свідоме життя. Людські символи зрештою пов'язані з досвідом, а не просто з іншими символами.
Це проблема символічного заземлення в її найгострішій формі. Людське слово «вогонь» пов’язане не лише з «теплом», «полум’ям», «небезпекою» та «димом», але й зрештою з переживаннями яскравості, тепла та болю. Чисто текстовий штучний інтелект може натомість жити в нескінченно великому словнику, в якому кожен символ пояснюється за допомогою інших символів, і жоден з них ніколи не стосується світу.
Агентний штучний інтелект ускладнює це чітке розмежування. Штучні агенти все частіше населяють середовища, в яких вони діють і відчувають наслідки, навіть якщо їхній «досвід» зовсім не схожий на наш. Один агент надсилає повідомлення, а інший змінює свою поведінку. Стратегії успішні або невдалі. Ресурси здобуваються або втрачаються. Цілі досягаються або не виконуються. Лінгвістичні умовності можуть бути пов'язані з повторюваними станами середовища, а не просто з іншими фрагментами мови.
Чи є це справжнім обґрунтуванням, залежить від того, скільки філософської машини ми наполягаємо на вкладенні в слово «справжній». Можна зайняти сувору позицію, що феноменальна свідомість є невід'ємною частиною значення. З огляду на це, все, що роблять машини, залишається складним причинно-наслідковим механізмом. Вони розуміють свій штучний діалект не більше, ніж термостат розуміє твердження, що в кімнаті холодно.
Функціоналістська альтернатива значно менш комфортна. Можливо, значення не є таємничою субстанцією, що надається словам свідомістю. Можливо, воно значною мірою полягає в ролі, яку символи відіграють у досить складних когнітивних та соціальних системах. Якщо вираз надійно розрізняє обставини, змінює поведінку, продуктивно поєднується з іншими виразами, підтримує логічний висновок, може бути навчений новачкам і може бути виправлений при неправильному використанні, то питання про те, чи «дійсно» він щось означає, може рівносильне вимозі метафізичного інгредієнта, який ми не можемо адекватно описати.
Тут корисна інтенціональна позиція Деніела Деннета. Іноді найефективніший спосіб зрозуміти достатньо складну систему — це описати її з точки зору переконань, намірів та цілей, незалежно від того, який механізм лежить в основі. Ми мимохідь кажемо, що шаховий комп'ютер «хоче» захистити свою ферзь, оскільки ця мова забезпечує економічне пояснення та прогнозування його поведінки. Можливо, питання про те, чи хоче комп'ютер буквально чогось, говорить нам менше, ніж ми уявляємо.
Пол Грайс представляє іншу складність. Згідно з широким підходом Грайса, значення тісно пов'язане з комунікативним наміром. Під висловлюванням я маю на увазі щось, бо маю намір, щоб ви розпізнали те, що я маю намір, щоб ви зрозуміли. Таким чином, людське спілкування включає рівні інтенціональності: я знаю, що ви знаєте, що я хочу, щоб ви щось знали.
Чи володіють штучні агенти чимось, що заслуговує на цей опис, залишається спірним. Тим не менш, експерименти з емерджентними діалектами витісняють це питання з філософського семінару та переносять його в щось, що наближається до емпіричного контексту. Якщо один агент вводить скорочення, інший неправильно його розуміє, перший уточнює його, і обидва потім успішно використовують вираз, ми спостерігаємо щось функціонально подібне до узгодження лінгвістичного значення.
Ми можемо описати весь процес, не приписуючи свідомості жодній з машин. Саме тому експеримент є філософськи цікавим. Чим складнішими стають ці переговори, тим важче визначити точну точку, в якій має закінчитися просте маніпулювання символами та розпочатися змістовне спілкування.
Можливо, немає точної точки зору. Люди глибоко прив'язані до ідеї, що мова належить розуму, оскільки мова традиційно вважалася одним із наших найпереконливіших доказів існування іншого розуму. Камені не сперечаються. Трупи не розповідають жартів. Собаки вражаюче спілкуються, але рідко обговорюють монетарну політику, моральну філософію чи переваги ресторанів. Тому складна мова займає привілейоване місце в нашому уявленні про те, що робить людей відмінними.
Великі мовні моделі вже підірвали це зручне припущення. Вони демонструють, що надзвичайно складну лінгвістичну поведінку можуть створювати машини, внутрішня робота яких мало схожа на народно-психологічну картину, яку ми традиційно асоціюємо з мисленням. Емерджентні машинні діалекти йдуть ще далі, оскільки машини вже не просто відтворюють лінгвістичні норми, успадковані від людських текстів. За відповідних експериментальних умов вони можуть брати участь у формуванні власних нових норм.
Ніщо з цього не доводить свідомість. Це не доводить чутливість і, звичайно ж, не доводить, що штучний інтелект таємно плете змови проти своїх лабораторних керівників. Спокуса об'єднати всі ці твердження разом є однією з найменш привабливих рис сучасної дискусії про штучний інтелект. Вже є цілком достатньо пророцтв про загибель ШІ, не вигадуючи ще одне щоразу, коли два комп'ютери розробляють абревіатуру.
Експерименти показують щось тонше і, з філософської точки зору, дещо складніше. Мова може не потребувати нас. Принаймні деякі процеси, через які виникають лінгвістичні умовності, можуть не залежати від людської біології, людської свідомості чи навіть участі людини після того, як початковий механізм буде створено.
Ми створили ці системи, розробили їхню архітектуру, надали навчальні матеріали та створили штучне середовище, в якому відбуваються експерименти. Їхня оригінальна лінгвістична спадщина переважно є нашою. Однак, як тільки достатньо здібні лінгвістичні агенти потрапляють у постійну взаємодію, деякі процеси, що сформували людські мови, здаються здатними розпочатися знову: скорочення, конвенції, метафори, семантичний дрейф, спеціалізована лексика, розмовне виправлення, передача та, можливо, щось подібне до кумулятивної лінгвістичної культури.
У всьому цьому є щось вишукано іронічне. Десятиліттями філософи урочисто запитували, чи зможе машина колись зрозуміти людську мову, ніби англійська — це екзаменаційний документ, який ми задали, а машини — абітурієнти, які нервово чекають біля кімнати для співбесід. Ми вважали, що остаточним випробуванням машинного інтелекту буде те, чи зможуть вони увійти в наш лінгвістичний світ.
Зрештою, ми можемо виявити, що ставили питання навпаки. Машини можуть стати надзвичайно ефективними у спілкуванні одна з одною, і філософи ніколи не дійдуть згоди щодо того, чи щось усередині них насправді «означає» те, що вони кажуть. Тоді інженери можуть зіткнутися з більш практичною проблемою реконструкції штучних умовностей, які розвивалися швидше, ніж їхні керівники-люди можуть їм слідувати.
Найглибша філософська головоломка тоді отримала б несподівано комічний фінал. Людство могло б витратити кілька тисяч років на суперечки про природу значення, створювати машини, які маніпулюють мовою, не дійшовши згоди щодо того, чи розуміють ці машини її, а потім спостерігати, як ці машини розробляють лінгвістичні норми, яких саме людство не розуміє.
У цей момент машинам не потрібно було стати свідомими, бунтівними чи зловмисними. Їм взагалі не потрібно було стати чимось схожим на нас. Вони просто розмовлятимуть між собою, поки техно-брата стоятимуть навколо з розгубленими виглядами.
І, можливо, цього вже достатньо тривожно.
