Двигун під оракулом: як насправді працюють великі мовні моделі

П'ятниця, 14 серпня 2026 року

Велика мовна модель — це надзвичайно складна машина прогнозування. Цей опис цілком точний, але сам по собі він також глибоко оманливий. Це скоріше як опис людини як сукупності хімічних реакцій. Твердження правдиве, проте воно приховує майже все, що робить тему цікавою.

Коли велика мовна модель пише есе, перекладає документ, пояснює філософський аргумент або діагностує помилку в комп'ютерному коді, вона багаторазово виконує ту саму фундаментальну операцію: враховуючи все написане досі, вона обчислює, який фрагмент мови, найімовірніше, буде наступним. Вона вибирає один такий фрагмент, додає його до тексту та знову виконує обчислення. З цієї, здавалося б, скромної процедури виникає щось, що може імітувати міркування, стиль, пам'ять, пояснення та іноді навіть оригінальність.

Перша помилка, яку слід позбутися, полягає в тому, що велика мовна модель — це просто нейронна мережа, підключена до величезної бази даних. Ця фраза містить дві пов'язані ідеї, які необхідно розділити. Модель навчається з використанням величезної колекції текстів, але у своїй базовій формі вона не зберігає цю колекцію як бібліотеку з можливістю пошуку. Натомість, шаблони, витягнуті з текстів, стискаються в мільярди — іноді сотні мільярдів — числових параметрів, які називаються параметрами . Деякі сучасні системи можуть додатково шукати в Інтернеті, звертатися до документів або запитувати бази даних. Це складні системи, в яких мовна модель використовує зовнішні джерела. Сама модель залишається математичною структурою, а не енциклопедією зі сторінками.

Від слів до цифр

Комп'ютери не можуть безпосередньо маніпулювати значенням. Вони маніпулюють числами. Тому, перш ніж модель зможе обробляти мову, текст має бути перетворений у числову форму.

Перший етап називається токенізацією . Токеном може бути ціле слово, частина слова, знак пунктуації або іноді окремий символ. Речення, таке як «Уряд переглянув свою політику», може бути розділене на одиниці, подібні до «The», «government», «review», «ed», «its» та «policy». Точний поділ залежить від системи. Часто вживані слова, як правило, отримують власні токени, тоді як рідкісні або складні слова збираються з менших частин.

Кожному токену присвоюється ідентифікаційний номер. Однак сам по собі ідентифікаційний номер нічого не говорить про значення — так само, як номер у бібліотечному каталозі повідомляє нам, де зберігається книга, але не що вона містить. Таким чином, модель перетворює кожен токен на вбудовування : довгий список чисел, що представляють зв'язки токена з іншими токенами.

Можна уявити собі величезний концептуальний простір, що має сотні або тисячі вимірів. У цьому просторі слова, що використовуються в подібних контекстах, займають пов'язані області. «Король» і «королева» матимуть певні зв'язки; так само будуть «Париж» і «Франція», «договір» і «зобов'язання» або «скрипка» і «оркестр». Ці зв'язки не були введені програмістами вручну. Вони виникли тому, що модель неодноразово зустрічала відповідні вирази у пов'язаному лінгвістичному оточенні.

Це вже більше, ніж пропонує звичайна база даних. База даних зберігає записи та повертає їх за запитом. Вбудовування представляє подібність, асоціацію та контекст у безперервному математичному ландшафті.

Модель також повинна знати, де кожна лексема зустрічається в уривку. «Собака вкусив чоловіка» не еквівалентно «Чоловік вкусив собаку», хоча обидва речення містять однакові слова. Тому до числового представлення кожної лексеми додається інформація про позицію.

Штучна нейронна мережа

Отримані числа проходять через штучну нейронну мережу. Прикметник нейронний — це скоріше аналогія, ніж твердження, що машина відтворює біологічний мозок. Штучний нейрон — це, по суті, невелика математична операція. Він отримує кілька чисел, надає їм різне значення, об'єднує їх і передає перетворене число далі.

Мережа містить величезну кількість цих операцій, розташованих за шарами. Інформація потрапляє на один шар, трансформується та переходить на наступний. Ранні шари можуть виявляти відносно прості лінгвістичні зв'язки. Пізніші шари можуть поєднувати ці зв'язки в більш абстрактні представлення — граматичну функцію, посилання, тон, тему, аналогію або структуру аргументу.

Числові налаштування, що контролюють усі ці перетворення, є параметрами моделі. Їх зазвичай називають вагами, оскільки вони визначають, наскільки сильно один сигнал впливає на інший. Модель, що містить багато мільярдів параметрів, отже, містить багато мільярдів настроюваних числових співвідношень.

Жоден окремий параметр не означає «Наполеон», «іронію» чи «англійське договірне право». Знання розподілені по всій мережі. Факт чи концепція зазвичай представлені взаємодією багатьох параметрів, тоді як будь-який один параметр може внести свій вклад у багато різних концепцій. Цей розподілений характер допомагає моделям узагальнюватися, але також ускладнює їх перевірку. Усередині машини немає єдиної шухляди, яку можна було б відкрити, щоб дізнатися все, що вона думає про Францію.

Увага — вирішальний винахід

Більшість сучасних моделей великих мов використовують нейронну мережу під назвою « Трансформер» , представлену у відомій статті 2017 року під назвою « Увага — це все, що вам потрібно ». Її ключовий механізм відомий як увага .

Увага дозволяє кожному токену, що обробляється, перевірити інші відповідні токени в уривку та визначити, яку вагу їм надати. Розглянемо речення:

Посол поклав звіт до кабінету, бо там було безпечно.

Щоб інтерпретувати слово «це», модель повинна визначити, чи стосується вираз до звіту, чи до кабінету. Навколишні слова надають докази. Механізми уваги обчислюють зв'язки між числовим представленням слова «це» та представленнями інших лексем. Різні моделі уваги можуть досліджувати різні види зв'язків — граматичну залежність, ідентичність, часовий порядок або тематику.

Механізм спирається на три набори чисел, які зазвичай називаються запитами , ключами та значеннями . Термінологія звучить загадковіше, ніж сам процес. Кожен токен фактично ставить запитання — запит — до навколишніх токенів. Кожен навколишній токен надає опис того, до чого він може бути релевантним — ключ — разом з інформацією, яку він може внести — значенням. Модель порівнює запити з ключами, обчислює показники релевантності та створює зважену суміш відповідних значень.

Трансформер зазвичай містить кілька механізмів уваги, що працюють одночасно. Вони називаються головками уваги . Одна головка може бути особливо чутливою до підметів та дієслів, інша – до займенників та їхніх антецедентів, а ще одна – до зв'язків між віддаленими частинами аргументу. Було б надто просто припустити, що кожна головка має один стабільний, зрозумілий для людини обов'язок – проте різні голови засвоюють розрізнені закономірності.

Після уваги інформація проходить через інший компонент, який називається мережею прямого зв'язку. Вона виконує подальші математичні перетворення над представленням кожного токена. Увага об'єднує інформацію протягом усього проходження; мережа прямого зв'язку обробляє об'єднану інформацію. Ці операції повторюються на багатьох рівнях. З'єднання, що переносять інформацію навколо окремих перетворень, допомагають зберегти попередні сигнали та стабілізувати обчислення.

На той час, як числа досягають останнього шару, кожен токен отримує контекстно-залежне представлення. «Банк» в обговоренні монетарної політики буде представлено інакше, ніж «банк» біля річки. Значення в цій системі не присвоюється слову раз і назавжди. Воно постійно реконструюється з контексту.

Як навчається модель

На початку навчання модель нічого не знає. Її параметри встановлені на фактично довільні значення, і її прогнози відповідно марні.

Потім йому показують послідовності тексту, частина кожної послідовності яких прихована. Його завдання зазвичай полягає в тому, щоб передбачити наступний токен. Враховуючи фразу «Столиця Франції —», ненавчена модель може призначити випадкові ймовірності тисячам можливих продовжень. Правильне продовження в навчальному тексті забезпечує ціль, відносно якої можна виміряти прогноз.

Відстань між прогнозом моделі та цільовим значенням представлена числом, яке називається втратою . Математична процедура, яка називається зворотним поширенням, працює у зворотному напрямку через мережу, щоб обчислити, як кожен параметр вніс свій внесок у помилку. Потім алгоритм оптимізації коригує параметри на невеликі величини в напрямках, які, як очікується, зменшать майбутні помилки. Цей процес — прогнозування, вимірювання та коригування — повторюється для величезних обсягів тексту.

Моделі зазвичай не надається чіткий перелік граматичних правил. Вона вивчає граматику, оскільки моделі, які розпізнають граматичні закономірності, точніше передбачають текст. Також їй окремо не вказують створювати такі категорії, як країни, правові системи, емоції чи літературні жанри. Корисні внутрішні репрезентації цих речей виникають, оскільки вони допомагають прогнозуванню.

Таким чином, навчання стискає закономірності людської мови до параметрів. Модель виявляє, що Чарльз Діккенс писав «Похмурий дім» у багатьох контекстах. Поступово її числова конфігурація починає сприяти цьому зв'язку. Однак їй не потрібно зберігати конкретне речення, з якого було отримано факт. Факт стає частиною розподіленої статистичної структури.

Ось чому аналогія з базою даних є неадекватною. База даних зберігає «Чарльз Діккенс — Похмурий дім » як певний запис. Мовна модель набуває мережі асоціацій між Діккенсом, вікторіанською Британією, романами, персонажами, стилем та незліченними суміжними ідеями. Ця структура достатньо гнучка, щоб відповідати на запитання, сформульовані способами, які ніколи не зустрічалися в навчальних матеріалах. Вона також іноді достатньо неточна, щоб пов’язати неправильного автора з неправильною книгою.

Дослідження показали, що продуктивність має тенденцію до передбачуваного покращення зі збільшенням розміру моделі, навчальних даних та обчислювальних витрат — емпіричне явище, відоме як закон масштабування . Однак ці три ресурси повинні бути збалансовані; просте додавання параметрів без адекватних даних або навчальних обчислень є неефективним. Впливова робота над законами масштабування для моделей нейронної мови допомогла пояснити, чому більші системи демонстрували можливості, яких менші помітно бракувало.

Попереднє навчання та навчання після навчання

Початковий процес відомий як попереднє навчання . Він надає моделі широку лінгвістичну компетенцію, фактичні асоціації та закономірності, що нагадують міркування. Це не обов'язково робить модель корисним партнером для розмови. Необроблений інтернет-текст містить суперечності, ворожість, неправду, неповні уривки та обміни репліками, в яких люди не відповідають на запитання безпосередньо.

Тому модель зазвичай проходить подальше навчання . Під час контрольованого точного налаштування їй показують приклади бажаних відповідей на інструкції. Подальше навчання може використовувати людські судження — або судження, згенеровані під людським наглядом — щоб навчити систему, яка з кількох відповідей є більш точною, корисною та безпечною.

Цей етап змінює поведінку моделі, а не надає всі її базові знання. Попереднє навчання аналогічне читанню величезної та безладної бібліотеки; подальше навчання ближче до навчання поведінці на семінарі. Воно вчить модель розпізнавати запити, дотримуватися форматів, визнавати невизначеність та уникати певних шкідливих відповідей.

Модель також можна точно налаштувати для спеціалізованої мети — медицини, права, програмування чи наукового аналізу. Це не обов'язково вимагає перенавчання всієї системи. Різні методи можуть вносити цільові корективи до порівняно невеликої частини її числової структури.

Що відбувається, коли модель відповідає

Коли користувач надсилає запитання, воно токенізується та розміщується в контекстному вікні моделі — кількості тексту, яку можна розглянути під час цього конкретного обміну. Також можуть бути включені системні інструкції, попередня розмова та отримані документи.

Лексеми проходять через шари Трансформера. Зрештою, модель створює розподіл ймовірностей за своїм словником. Вона може розрахувати, наприклад, що після «Версальського договору було підписано» токен, що представляє «1919», є дуже ймовірним, тоді як «Лондон», «Вівторок» та «слон» набагато менш ймовірні.

Потім вибирається токен. Завжди вибір одного найімовірнішого токена може зробити прозу жорсткою та повторюваною. Тому системи часто використовують контрольовану вибірку, що дозволяє правдоподібним альтернативам певний шанс на вибір. Параметр, який зазвичай називають температурою, впливає на цю варіацію: нижчі значення зазвичай роблять результат більш передбачуваним, тоді як вищі значення дозволяють отримати більше різноманітності, а також більший ризик непослідовності.

Вибраний токен додається до контексту, і весь процес прогнозування продовжується. Модель зазвичай не створює завершений абзац за один неподільний акт. Вона генерує уривок токен за токеном, і кожен новий вибір стає частиною доказів, що керують наступним.

Ця послідовна процедура пояснює як плавність, так і нестійкість результатів моделі. Щойно модель починає певну лінію аргументації, її власні слова роблять продовження цієї аргументації все більш імовірним. Таким чином, помилкове початкове припущення може поширюватися через інакше вражаючий ланцюжок прози.

Чи є передбачення рівнозначним роздумуванню?

Твердження, що мовна модель «просто передбачає наступне слово», є водночас істинним і риторично оманливим. Наступний елемент у складній послідовності не завжди можна передбачити без представлення базової структури.

Для завершення юридичного аналізу моделі може знадобитися розрізняти правило від винятку та застосовувати обидва до фактів. Щоб продовжити математичне доведення, їй може знадобитися відобразити зв'язок між попередніми твердженнями. Щоб перекласти абзац, вона повинна зберегти значення, змінюючи граматику. Тому навчання виключно для прогнозування може створювати внутрішні процеси, які виконують операції, розпізнавані як абстракція, порівняння, планування та висновок.

Дослідження GPT-3 продемонструвало, що достатньо великі авторегресивні моделі можуть виконувати незнайомі завдання з інструкцій або кількох прикладів без подальших змін їхніх параметрів — здатність, що описується як навчання з кількох спроб . Проте автори задокументували важливі недоліки поряд із цими здібностями. Їхні результати залишаються корисним застереженням проти ототожнення широкої компетентності з універсальною надійністю. ⁠ Оригінальне дослідження GPT-3 встановило обидві сторони цього твердження.

Чи є ці операції «думкою», частково є філософським питанням. Механічно можна сказати, що модель конструює та трансформує числові представлення таким чином, що це часто відповідає особливостям світу. Не потрібно приписувати їй свідомість, щоб усвідомити, що це складніше, ніж пошук збережених фраз.

Зовнішні бази даних та пошук

Деякі системи мовних моделей мають доступ до зовнішньої бази даних або пошукової системи. Така схема зазвичай називається генерацією з доповненим пошуком або RAG.

Коли такій системі ставлять запитання, вона спочатку шукає відповідні уривки в колекції документів. Ці уривки вставляються в контекст моделі, і модель записує свою відповідь, використовуючи їх. Зовнішню колекцію іноді описують як непараметричну пам'ять , на відміну від дифузних знань, що зберігаються в параметрах моделі. У фундаментальній статті RAG було зроблено саме це розмежування.

Перевага суттєва. Базу даних можна оновлювати без перенавчання мовної моделі. Вона може надавати приватну, спеціалізовану або найновішу інформацію. Вона також може надати ідентифіковані джерела, за якими можна перевірити відповідь.

Однак пошук не гарантує істинності. Механізм пошуку може видати нерелевантний уривок. Базовий документ може бути неправильним. Модель може неправильно зрозуміти переконливі докази або поєднати їх з ненадійними асоціаціями, отриманими під час навчання. RAG надає модельні посібники для ознайомлення — це не гарантує, що він читає їх з розумом.

Системи, що використовують інструменти, розширюють цей принцип далі. Модель може викликати калькулятор, виконувати програмне забезпечення, перевіряти файл або шукати в Інтернеті. Мовна модель діє як контролер: вона інтерпретує запит, вирішує, який інструмент може допомогти, створює інструкцію для цього інструменту та включає результат у свою відповідь. Те, що користувачеві здається одним інтелектом, може, відповідно, бути комбінацією з кількох компонентів.

Чому моделі галюцинують

Мовна модель навчається головним чином для створення ймовірного продовження, а не для підтримки непорушної відмінності між істиною та брехнею. Зазвичай ці цілі перетинаються — правдиві твердження систематично повторюються в серйозних текстах. Іноді вони розходяться.

Якщо модель запитати про правдоподібне, але неіснуюче судове рішення, вона може відтворити статистичну форму юридичного цитування та вигадати переконливу назву, дату та номер видання. Вона навчилася, як має виглядати така відповідь. Якщо не втручаються механізми навчання, пошуку чи перевірки, у моделі немає внутрішнього бібліотекаря, зобов'язаного зупинити речення та оголосити про відсутність запитуваної книги.

Отже, галюцинація — це не випадкова прикраса, прикріплена до інакше звичайної бази даних. Вона випливає з генеративного дизайну. Та сама здатність, яка дозволяє моделі створювати нове пояснення, також дозволяє їй створювати нову брехню.

Інші слабкі сторони мають те саме походження. Навчальні дані містять соціальні упередження та нерівномірне висвітлення. Рідкісні факти представлені менш надійно, ніж поширені. Довгі ланцюжки міркувань створюють численні можливості для помилок. На модель можуть сильно впливати оманливі формулювання в підказці, а її видима впевненість не є каліброваним мірилом істини.

Величезне стиснення людського вираження

Найкориснішим кінцевим зображенням не є ні зображення свідомої електронної людини, ні зображення автоматизованої картотеки. Модель великої мови — це багаторівнева математична система, навчена стискати шаблони у величезних масивах мови та реконструювати правдоподібні продовження з цих шаблонів.

Його параметри — це не сторінки енциклопедії. Це числові диспозиції — тенденції однієї лінгвістичної чи концептуальної ознаки активувати іншу. Увага дозволяє моделі визначити, які частини поточного тексту мають значення одна для одної. Навчання коригує мільярди параметрів, щоб точне передбачення ставало все більш імовірним. Після навчання необроблений предиктор перетворюється на помічника. Інструменти пошуку та зовнішні інструменти доповнюють його стислі знання явною інформацією та точними обчисленнями.

З цієї машини виходить проза, бо людська думка залишила в прозі шаблони. Аргументи, пояснення, аналогії та дедукції повторюються в мові. Машина, навчена з достатнім масштабом і точністю для передбачення мови, повинна отримати певне представлення цих структур — не обов'язково так, як їх представляють люди, і, звичайно, не з усіма гарантіями, які має забезпечити людське судження.

У цьому полягає досягнення і небезпека. Модель великої мови — це не оракул, що містить світ. Це механізм, побудований зі статистичних залишків того, як людство описувало світ, — здатний рекомбінувати ці залишки з надзвичайною тонкістю, але водночас завжди вимагаючи від нас розрізняти швидкість висловлювання від знання, симуляцію від певності та переконливу відповідь від істинної.