Чи покращується ChatGPT?

Понеділок, 17 серпня 2026 року

Існує особлива складність у вимірюванні прогресу штучного інтелекту. Коли автомобілі стали кращими, можна було вимірювати їхню максимальну швидкість, витрату палива, гальмівний шлях та надійність. Коли комп'ютери стали кращими, можна було рахувати транзистори, вимірювати тактову частоту та обчислювати кількість операцій за секунду. Але коли машина стає кращою в мисленні — або, обережніше, краще у виконанні завдань, які люди асоціюють з мисленням — відповідна одиниця вимірювання є неясною. Інтелект — це не скалярна величина. Машина може значно покращитися в математиці, залишаючись при цьому дратівливо буквальною в розмові. Вона може набути вражаючих здібностей у комп'ютерному програмуванні, все ще винаходячи книгу, якої не існує. Вона може покращитися в міркуваннях, але погіршитися в тому, щоб знати, коли перестати говорити.

Тим не менш, доказам зараз важко протистояти. ChatGPT стає кращим. Дійсно, покращення з моменту появи GPT-4 у 2023 році є настільки суттєвим, що просте описування послідовних моделей як незначних оновлень применшує те, що сталося. Цікавіші питання полягають у тому, як він стає кращим, чи можуть користувачі насправді помітити покращення та чи можна визначити певну приблизну величину змін.

Перша складність полягає в тому, що ChatGPT насправді не є окремим об'єктом. Це продукт, в межах якого можуть працювати різні моделі, системи міркувань, інструменти пошуку, механізми пам'яті та інші програмні компоненти. Таким чином, удосконалення ChatGPT виникають як тому, що базові нейронні мережі стають більш потужними, так і тому, що механізми, що їх оточують, стають більш складними. Сучасна система ChatGPT може шукати в Інтернеті, перевіряти документи, маніпулювати файлами, використовувати програмні інструменти, довше міркувати перед відповіддю та вибирати різні обчислювальні стратегії відповідно до складності питання. Питання про те, чи покращився ChatGPT, отже, схоже на запитання про те, чи покращилася армія. Кращі солдати є частиною відповіді, але так само, як і краща розвідка, зв'язок, артилерія, логістика та командування.

Тим не менш, базові моделі явно покращилися. Розглянемо одне відносно чітке історичне порівняння. Коли GPT-5 було представлено у серпні 2025 року, OpenAI повідомив про результат 94,6% у тесті American Invitational Mathematics Examination 2025 року без інструментів, 74,9% у SWE-bench Verified — колекції реальних задач з програмної інженерії — та 84,2% у MMMU, вимогливому тесті мультимодального мислення. У тесті кодування SWE-bench Verified попередня модель OpenAI o3 набрала 69,1%. Таким чином, GPT-5 не просто генерував елегантнішу прозу: він вирішував помітно більшу частку складних задач.

Однак покращення у відсотках можуть приховувати більше, ніж розкривати. Припустимо, що іспит вже складено на 90 відсотків. Перехід від 90 до 95 відсотків звучить як покращення лише на п'ять відсотків, але рівень помилок знизився з десяти питань до п'яти. В одному важливому сенсі машина стала вдвічі надійнішою . Ця відмінність стає дедалі важливішою, оскільки штучний інтелект наближається до високих рівнів компетентності. Прогрес поблизу вершини контрольного показника часто видається чисельно незначним, оскільки залишається мало місця для помилок. Тому зменшення кількості помилок може бути більш показовим показником, ніж покращення чистого балу.

Щодо фактичної надійності, покращення часом було вражаючим. OpenAI повідомив, що GPT-5, при використанні міркувань, видавав приблизно на 80 відсотків менше фактичних помилок, ніж o3, при певних оцінках та приблизно в шість разів менше галюцинацій за певними відкритими критеріями фактичності. З увімкненим веб-пошуком у запитах, що представляють реальний трафік ChatGPT, відповіді GPT-5, як повідомлялося, приблизно на 45 відсотків рідше містили фактичні помилки, ніж GPT-4o, тоді як відповіді GPT-5 з міркуваннями мали приблизно на 80 відсотків меншу ймовірність містити такі помилки, ніж o3. Ці цифри не слід плутати з універсальним твердженням, що ChatGPT став «на 80 відсотків точнішим». Вони стосуються певних оцінок за певних умов. Тим не менш, таке зменшення однієї з визначальних слабкостей моделей великих мов не є косметичним.

Та сама тенденція продовжилася. Оцінювання OpenAI GPT-5.5, випущене у 2026 році, показало, що у навмисно складному наборі розмов, які раніше користувачі позначали як фактичні помилки, його окремі фактичні твердження були на 23 відсотки більш правильними, ніж у GPT-5.4. Частка повних відповідей, що містили фактичну помилку, зменшилася на набагато менші три відсотки, частково тому, що новіша модель містила більше фактичних тверджень у кожній відповіді. Ця очевидна невідповідність ілюструє, наскільки підступним може бути вимірювання штучного інтелекту. Модель, яка намагається більше, пояснює більше та робить більше індивідуально правильних тверджень, може одночасно наражати себе на більше можливостей зробити принаймні одну помилку.

Існує ще один показник, який зрештою може виявитися набагато значущим, ніж результати іспитів. Незалежна дослідницька організація METR намагається оцінити часовий горизонт виконання завдань системою штучного інтелекту. Ідея геніальна. Замість того, щоб запитувати, чи може штучний інтелект відповісти на черговий набір екзаменаційних питань, дослідники запитують, скільки часу займе завдання у компетентного експерта-людини, а потім оцінюють тривалість завдань, які агент ШІ може успішно виконати із заданою ймовірністю. Машина, здатна надійно виконувати завдання лише за п'ять хвилин, явно менш корисна як автономний інтелектуальний працівник, ніж та, що здатна виконувати проекти, які зайняли б у експерта-людини кілька годин.

Згідно з оцінкою METR, GPT-5 мав 50-відсотковий горизонт виконання завдань приблизно дві години сімнадцять хвилин, порівняно з приблизно однією годиною тридцятьма хвилинами для o3. Довірчі інтервали широкі, тому ці цифри не слід фетишизувати. Тим не менш, METR виявила, що GPT-5 випереджає o3 у 96 відсотках своїх порівнянь за допомогою бутстрепу. До квітня 2026 року METR повідомляла про точкову оцінку близько 5,7 години для GPT-5.4 за своєю стандартною методологією, хоча оцінка була надзвичайно чутливою до того, як оброблялися спроби, пов'язані з «зломом винагороди». Сама METR попереджає, що вимірювання понад шістнадцять годин наразі є ненадійними.

Це говорить про щось глибше, ніж поступове покращення еталонів. Рубіж може рухатися від відповідей на запитання до підтримки компетентної діяльності. Це зовсім інший вид прогресу.

Блискуча людина, здатна зосередитися протягом тридцяти секунд, має обмежену професійну корисність. Значна частина людських інтелектуальних досягнень полягає не в окремих спалахах міркувань, а в підтримці ланцюжка компетентних рішень: читання документа, визначення проблеми, пошук відповідних доказів, перевірка гіпотези, виявлення помилки, її виправлення та продовження, доки мета не буде досягнута. Якщо надійний робочий горизонт штучного інтелекту продовжуватиме розширюватися, його економічне значення може зростати набагато швидше, ніж показують його контрольні показники. Перехід від машини, здатної виконувати десятихвилинне завдання, до машини, здатної виконувати денну роботу, – це не просто восьмикратне кількісне покращення. Він потенційно змінює категорію діяльності, для якої машина може замінити або доповнити людську працю.

Це одна з причин, чому досвідчені користувачі іноді сприймають покращення в ChatGPT більш разюче, ніж звичайні користувачі. Запитайте наступні покоління: «Яка столиця Перу?», і практично нічого не зміниться. Попросіть їх проаналізувати складну юридичну проблему, узгодити суперечливі документи, дослідити авторитетні джерела, скласти меморандум, виявити слабкі місця у власних висновках і переглянути результат, і відмінності між поколіннями стануть набагато очевиднішими. Покращення накопичуються на кожному етапі. Якщо складне завдання вимагає десяти залежних кроків міркування, покращення надійності на кожному кроці, скажімо, з 90 до 97 відсотків збільшить приблизну ймовірність правильного виконання всіх десяти кроків з приблизно 35 відсотків до приблизно 74 відсотків. Арифметика є радше ілюстративною, ніж описовою для фактичної продуктивності ChatGPT, але вона демонструє, чому, здавалося б, скромні покращення локальної надійності можуть призвести до величезних покращень корисності для довгих завдань.

Це явище може пояснити цікавий досвід використання сучасних моделей межі. Вони не обов'язково здаються в кілька разів розумнішими в кожному реченні. Швидше, вони рідше розпадаються. Вони довше зберігають нитку аргументації. Вони послідовніше виконують складні інструкції. Вони краще відрізняють докази від висновків. Вони можуть більш компетентно використовувати інструменти. Вони частіше відновлюються після помилок. Все частіше вони можуть розпізнавати, що завдання неможливе або що інформація відсутня, замість того, щоб імпровізувати відповідь. Наприклад, оцінки OpenAI GPT-5 показали, що коли зображення, необхідні для відповіді на запитання, були навмисно видалені, o3 все ж давав впевнені відповіді щодо неіснуючих зображень у 86,7% випадків; GPT-5 робив це лише у дев'яти відсотках випадків. Знання того, що людина не знає, саме по собі є важливим компонентом інтелекту.

Також спостерігається більш тонке якісне покращення — яке набагато важче відобразити в бенчмарках — у розумінні того, що має на увазі користувач . Ранні моделі великих мов були вражаючими машинами для автодоповнення речень. Їхні наступники все частіше поводяться більше як співробітники, які створюють модель завдання. Ця відмінність важлива. Людські інструкції хронічно неповні. Юристи, науковці, бізнесмени та солдати рідко уточнюють кожне припущення, що лежить в основі їхніх слів, оскільки їхні колеги автоматично надають величезну кількість контекстуальних висновків. Система штучного інтелекту стає значно кориснішою, коли вона може робити те саме — уникаючи при цьому протилежної небезпеки впевненого вигадування контексту, який ніколи не був наданий.

Саме тут суб'єктивні враження стають актуальними, незважаючи на їхню наукову неохайність. Довгострокові користувачі розвивають почуття характерних недоліків моделі. Людина дізнається, коли вона може сфабрикувати цитату, неправильно зрозуміти кваліфікацію, втратити інструкцію або створити поверхнево вражаючу нісенітницю. Оскільки ці недоліки стають рідкіснішими, взаємодія змінюється. Користувач витрачає менше зусиль на нагляд за машиною та більше зусиль на її експлуатацію. Це зменшення навантаження на нагляд може зрештою стати одним з найбільш економічно корисних показників прогресу ШІ.

Припустимо, що помічник на базі штучного інтелекту виконує завдання за десять хвилин, але потребує двадцяти хвилин перевірки. Він мало що заощадив. Припустимо, що його наступник виконує завдання за ті ж десять хвилин, але потребує лише п'яти хвилин перевірки. Його контрольний інтелект міг би зрости на десять відсотків, а його практична цінність – у рази. Отже, остаточне питання полягає не в тому, чи може штучний інтелект виконувати чудову роботу. Сучасні системи вже іноді можуть. Це питання в тому, чи може користувач сміливо очікувати чудової роботи.

Залишаються серйозні обмеження. Тести зазнають забруднення, оскільки їхній вміст або характерні проблеми потрапляють у навчальні дані. Розробники природно вибирають оцінки, які сприятливо демонструють їхні системи. Різні моделі мають різні сильні сторони. Деякі очевидні переваги виникають тому, що моделям надаються більші обчислювальні ресурси під час виведення. Використання інструментів може зробити посередню внутрішню відповідь набагато кращою. І навпаки, потужна модель може бути паралізована поганими інструментами, обмежувальними інтерфейсами або неадекватним контекстом. Не існує еквівалента метра чи кілограма для інтелекту, і твердження про те, що одна модель «на 30 відсотків розумніша» за іншу, загалом повинні викликати підозру.

Галюцинації також не зникли. Модель, рівень помилок якої різко знизився, може стати більш небезпечною в певному психологічному сенсі, оскільки користувачі перестають очікувати помилок. До ненадійного свідка ставляться обережно; свідок, який має рацію дев'яносто дев'ять разів і вигадує соту відповідь з такою ж впевненістю, є більш підступним. Оскільки ШІ стає більш надійним, калібрування — зіставлення впевненості з фактичною ймовірністю правильності — стає щонайменше таким же важливим, як і необроблений інтелект.

Існує ще один парадокс. Кращим моделям ставлять складніші питання. Рубіж рухається разом із розвитком машини. Ніхто більше не святкує, що ChatGPT може узагальнити газетну статтю; це досягнення стало буденним. Натомість користувачі просять його інтерпретувати незрозумілі моменти апеляційної процедури, створювати програмні системи, аналізувати тисячі сторінок документів або проводити автономні дослідження. Суб'єктивне враження, що «він все ще робить щось неправильно», тому може чудово співіснувати з вражаючим об'єктивним прогресом. Люди постійно переміщують екзаменаційний білет.

Тож наскільки покращився ChatGPT?

Немає єдиного інтелектуально поважного числа. Залежно від предметної області та базової лінії, виміряні покращення варіюються від скромних відсоткових приростів до скорочення на 50, 80 або навіть більше відсотків у певних категоріях помилок. Щодо автономних програмних завдань, незалежні вимірювання METR показують, що тривалість завдань, які моделі на межі можливостей можуть вирішувати зі значною надійністю, швидко зростає — від десятків хвилин до годин — хоча оцінки стають дедалі невизначенішими у верхній межі. Натомість, у деяких насичених академічних тестах покращення зараз виглядають порівняно невеликими, оскільки машини наближаються до граничних значень тестів.

Однак якісно зміни можуть бути більшими, ніж показує будь-який окремий орієнтир. Важливий перехід відбувається від красномовства до надійності, від реагування до міркування та від міркування до стійкої діяльності. Найперші ChatGPT дивувалися, тому що комп'ютер міг розмовляти. Наступне покоління дивувалося, тому що воно могло вирішувати складні інтелектуальні проблеми. Нове покоління є важливим, оскільки воно може все частіше виконувати послідовності інтелектуальної роботи, використовувати зовнішні інструменти, виявляти деякі власні помилки та наполегливо працювати над досягненням мети.

Цей прогрес має очевидну кінцеву ціль, хоча ніхто не знає, як швидко її буде досягнуто. Справді трансформаційний штучний інтелект не обов'язково повинен мати свідомість, емоції чи щось подібне до внутрішнього життя людини. Йому потрібно лише стати достатньо компетентним, достатньо наполегливим та достатньо надійним, щоб делегування йому складного інтелектуального проекту стало таким же звичайним, як делегування цього проекту здібному колезі.

Ми ще не досягли мети. Помилки залишаються занадто частими, впевненість іноді занадто невластива, а межі компетентності занадто нерівномірними. Але напрямок руху стає дедалі вимірнішим. Якщо наполягати на скороченні відповіді до речення, то це ось що: ChatGPT не просто стає кращим у відповідях на запитання; він стає кращим у виконанні роботи.

І це значно більше покращення.