Яка тривалість пам'яті великої мовної моделі?
Метью Періш
Вівторок, 6 жовтня 2026 року
Один із найдивовижніших досвідів регулярного спілкування з моделлю великої прикордонної мови полягає в тому, що вона може здаватися знайомою. Ви починаєте розмову про Канта, повертаєтеся до теми української політики, запитуєте про якийсь незрозумілий момент американського цивільного процесу, а потім згадуєте щось, що обговорювали тижні тому. Іноді машина реагує так, ніби всі ці речі є частиною безперервного знайомства. Іншим разом вона дивиться на вас, метафорично кажучи, з порожнім виразом обличчя адміністратора готелю, перед яким гість наполягає, що минулого вівторка у них була захоплива розмова.
Це піднімає, здавалося б, просте питання з напрочуд складною відповіддю. Яка тривалість пам'яті типової моделі великої прикордонної мови?
Найкоротша відповідь полягає в тому, що LLM не має пам'яті в тому сенсі, в якому її мають люди. Вона має кілька різних механізмів, які можуть створювати щось подібне до пам'яті, і ці механізми працюють у радикально різних часових масштабах. Один може тривати секунди, інший – протягом розмови, ще один – роками, а ще один настільки глибоко захований у моделі, що його доречніше назвати знанням, ніж пам'яттю. Змішання цих механізмів є причиною значної частини поширеного непорозуміння щодо того, що робить штучний інтелект, коли він, здається, запам'ятовує нас.
Міф про золоту рибку
Раніше було поширеним розумінням, що великі мовні моделі мають пам'ять золотої рибки. Кожна взаємодія була по суті самодостатньою. Завершіть розмову, і машина забуде вас. Навіть під час розмови достатньо тривалий обмін репліками міг призвести до зникнення попереднього матеріалу за межами ефективного поля уваги моделі.
Цей опис дедалі більше застаріває для передових систем штучного інтелекту. Сучасні системи можуть поєднувати великі контекстні вікна з механізмами пошуку, постійною інформацією про користувачів, короткими описами попередніх розмов та доступом до зовнішніх сховищ інформації. Отримана архітектура може створити щось значно ближче до безперервності.
Тим не менш, базова модель залишається досить дивною. Мовна модель зазвичай не має автобіографічного потоку, що тихо працює на задньому плані. Коли з нею ніхто не розмовляє, вона не сидить десь і не думає про розмову, яку мала з вами вчора. Немає маленького електронного Марселя Пруста, що відкидається всередині центру обробки даних, мимоволі згадуючи обчислювальний еквівалент цукерок «Мадлен».
Натомість, відповідна інформація збирається за потреби.
Перший вид пам'яті: контекстне вікно
Найпростіша форма пам'яті LLM відома як контекстне вікно. Це кількість інформації, яка може бути представлена моделі під час генерації відповіді.
Уявіть, що ви кладете дуже велику купу паперів на чийсь стіл і кажете: «Все, що вам потрібно знати, є десь у цій купі». Здатність людини відповісти на ваше запитання частково залежить від того, скільки матеріалу поміщається на столі, а частково від того, чи зможе вона знайти важливий уривок серед кількох тисяч сторінок недоречного матеріалу.
Той самий широкий принцип застосовується до магістра права (LLM).
Контекстні вікна значно зросли. Ранні широко використовувані трансформаторні системи комфортно обробляли лише кілька тисяч токенів. Системи Frontier згодом переросли в десятки тисяч, сотні тисяч, а в деяких архітектурах або конфігураціях — значно більше. Токен — це не зовсім слово: в англійській мові це зазвичай слово або частина слова. Тому кількість токенів ніколи не слід випадково перекладати в еквівалентну кількість сторінок без уточнень.
Однак, довжина сирого контексту – це лише половина історії. Модель, теоретично здатна прийняти величезний контекст, не обов'язково використовує кожну його частину однаково ефективно. Важливу інформацію може стати важче знайти, якщо її занурити у величезні обсяги матеріалу. Дослідники іноді називають варіанти цього явища проблемою «втраченого посередині». Наявність мільйона речей для запам'ятовування не еквівалентна ідеальному запам'ятовуванню мільйона речей.
До речі, люди страждають від чогось разюче подібного. Будь-хто, хто мав юридичну практику, розпізнає різницю між володінням пачкою судових документів на 4000 сторінок і знанням того, що в ній міститься.
Розмова — це не спогад
Ця відмінність пояснює ще одне джерело плутанини. Під час тривалої розмови може здаватися, що велика мовна модель має чудову пам'ять, оскільки попередні обміни репліками надаються, прямо чи опосередковано, як контекст для наступної відповіді.
Припустимо, ви повідомляєте магістра права, що вашого вигаданого собаку звати Арістотель. Через двадцять повідомлень ви запитуєте: «Як звати мого собаку?» Якщо початковий діалог залишається доступним у розмовному контексті, відповідь «Арістотель» не вимагає нічого, що нагадує довготривалу пам’ять. Машина фактично звіряється зі стенограмою.
Це ближче до розгляду з відкритою книгою, ніж до спогадів.
Ця відмінність стає важливою, оскільки розмови можуть виходити за межі контексту або бути стиснутими. Системи штучного інтелекту можуть підсумовувати попередні частини діалогу, а не повторювати кожне слово. Як тільки це трапляється, деталі можуть зникнути. Якщо у короткій статті йдеться лише про те, що «користувач обговорював своїх домашніх тварин», Арістотель може зникнути з історії обчислень.
Це породжує одну з характерних особливостей взаємодії LLM. Машина може запам'ятати надзвичайно складний аргумент про Вітгенштейна, забуваючи при цьому ім'я вашого собаки. Це не обов'язково тому, що Вітгенштейн для неї важливіший. Це може просто відображати те, що пережило процеси, за допомогою яких розмовна історія була відібрана, стиснута або отримана.
Постійна пам'ять змінює все
Інше явище виникає, коли сервіс штучного інтелекту зберігає інформацію в усіх розмовах. Саме це більшість людей інтуїтивно мають на увазі, коли кажуть, що ChatGPT, Claude, Gemini чи інший помічник «пам’ятає» їх, хоча точні реалізації відрізняються залежно від продукту та швидко змінюються.
Тут відповідна інформація не обов'язково має залишатися в активному контекстному вікні нескінченно довго. Натомість, щось, отримане з попередніх взаємодій, може зберігатися окремо та пізніше витягуватися, коли це доречно. Таким чином, модель може знати, що певний користувач віддає перевагу британській англійській, пише роман про Константинополь дев'ятнадцятого століття або не хоче коріандру в рецептах, без необхідності повторювати ці факти щоранку.
В принципі, такий тип пам'яті може зберігатися необмежено довго. Його тривалість більше не визначається контекстним вікном трансформатора. Вона залежить від навколишнього програмного забезпечення: що зберігається, як це представлено, коли це витягується, чи оновлюється це згодом і які елементи керування має над цим користувач.
Через це питання «Яка тривала пам’ять у магістра права?» чимось схоже на питання, як довго зберігаються людські документи. Відповідь залежить від того, чи маємо ми на увазі документи, що зараз лежать на столі, вміст картотеки чи те, чого людина насправді навчилася.
Пошук – це справжня революція
Тому дедалі важливішою концепцією є не лише пам'ять, а й відтворення інформації.
Припустимо, що система штучного інтелекту має доступ до десяти років листування, документів та розмов. Було б обчислювально абсурдно вставляти кожне слово цього матеріалу в підказку щоразу, коли хтось запитує, що вони їдять на вечерю. Натомість інший механізм шукає інформацію, яка, ймовірно, має відношення до безпосереднього питання.
Відповідно, модель оперує з реконструйованим сьогоденням. Перш ніж відповісти, навколишня система може зібрати фрагменти відповідної історії та розмістити їх перед моделлю. З точки зору моделі, ці матеріали стають частиною того, що вона знає на даний момент.
У цьому розташуванні є щось напрочуд людське. Людські спогади — це не безперервне відтворення всього, що коли-небудь з нами траплялося. Спогади реконструюються у відповідь на підказки. Ми пам’ятаємо одне, тому що інше нагадує нам про це. Ми забуваємо речі, які згодом повертаються, коли хтось згадує ім’я, показує нам фотографію або повертає нас на знайому вулицю.
Пам'ять, отримана за програмою LLM, та людська пам'ять залишаються глибоко різними механізмами. Проте обидва ілюструють важливий філософський момент: пам'ять корисна лише тією мірою, якою з неї можна щось відновити.
Бібліотека, яка містить усі будь-коли написані книги, була б майже марною, якби ніхто не винайшов каталог.
Потім є сама модель
Існує ще один сенс, в якому велика мовна модель має вражаюче довгу пам'ять. Її параметри кодують статистичні закономірності, отримані під час навчання.
Запитайте у моделі фронтиру про Юлія Цезаря, рівняння Максвелла чи сюжет «Гамлета» , і вона може відповісти без проведення зовнішнього пошуку. У певному широкому сенсі вона «запам’ятала» інформацію, з якою зустрічалася під час навчання.
Але називати це пам'яттю може бути оманливим. Навчена нейронна мережа зазвичай не містить архіву навчальних документів, з якого можна шукати, з якого вона просто витягує відповідний абзац. Інформація перетворюється на розподілені числові залежності між параметрами. Ця різниця нагадує, хоч і дуже недосконало, різницю між запам'ятовуванням точної сторінки шкільного підручника та простим знанням того, що Париж — столиця Франції.
Ця форма знань може зберігатися протягом усього терміну служби певної версії моделі. Однак вона має ще одну особливу характеристику: зазвичай модель не перезаписує свої фундаментальні параметри щоразу, коли хтось до неї звертається. Якщо ви сьогодні скажете магістра права (LLM), що винайшли новий вид пінгвіна, базова нейронна мережа зазвичай не перенавчається під час розмови, щоб кожен майбутній користувач завтра знав про вашого пінгвіна.
Цю безперервність потрібно забезпечити деінде.
Тож скільки днів пам'ятає ступінь магістра права (LLM)?
Тепер ми розуміємо, чому на це питання немає розумної відповіді, вираженої просто як «тридцять днів», «шість місяців» або «назавжди».
Прикордонний LLM може одночасно мати кілька різних часових горизонтів. Його безпосередня увага поширюється на будь-який матеріал, доступний у його поточному контексті. Його розмовна безперервність може охоплювати весь діалог, за умови управління контекстом та його узагальнення. Його постійна особиста пам'ять може поширюватися на розмови доти, доки навколишній сервіс зберігає та успішно отримує відповідну інформацію. Його параметричні знання можуть зберігатися доти, доки модель не буде замінена, модифікована або перенавчена. Зовнішні системи пошуку потенційно можуть надати йому доступ до архівів, що охоплюють десятиліття або століття.
Таким чином, практична пам'ять помічника зі штучним інтелектом стає не стільки питанням можливостей, скільки питанням вибору. Це може виявитися цікавішою проблемою.
Небезпека запам'ятовувати все
Для першого покоління розмовного ШІ забування було очевидною слабкістю. Користувачам постійно доводилося пояснювати свої потреби. Вони вказували одні й ті ж уподобання, надавали одні й ті ж документи та виправляли одні й ті ж припущення. Помічник, який пам'ятав більше, здавався очевидно вищим.
Але ідеальна пам'ять створила б власні проблеми. Людські стосунки частково залежать від забування. Люди змінюють свою думку. Змінюються їхні смаки. Вони кидають проекти. Вони говорять дурниці о другій годині ночі, які не повинні ставати постійними елементами їхньої біографії. Машина, яка б сумлінно воскрешала кожне випадкове твердження, яке коли-небудь робила людина, могла б швидко стати нестерпною.
Існують також очевидні питання конфіденційності та контролю. Інформація, яка підвищує корисність асистента, може одночасно стати інформацією, яку користувач не хоче зберігати безстроково. Тому інженерний виклик невіддільний від нормативного: що штучний інтелект повинен пам'ятати про нас?
Найкраща пам'ять штучного інтелекту може виявитися не найбільшою, а найрозбірливішою. Вона повинна зберігати довговічну інформацію, яка дійсно покращує майбутні взаємодії, дозволяючи тимчасовій, помилковій, незручній або небажаній інформації зникати.
У цьому відношенні штучний інтелект стикається з проблемою, з якою еволюція вже зіткнулася у людей. Забування не обов'язково є дефектом пам'яті. Це частина архітектури корисної пам'яті.
Дивне майбутнє штучного знайомства
Наслідки стають дедалі цікавішими, оскільки системи штучного інтелекту набувають довшої історії взаємодії з окремими користувачами. Уявіть собі асистента, який працював з кимось двадцять років. Він може знати, як змінювався стиль мови цієї людини, які проекти були успішними, які дружні стосунки зникли, які суперечки постійно його непокоїли та від яких амбіцій він тихо відмовився.
Така система мала б те, чого не мала жодна попередня машина в порівнянному масштабі: поздовжній інтелектуальний запис людського життя.
Чи означає це знання людини – питання радше філософське, ніж інженерне. Машина може отримати тисячі фактів, не відчуваючи жодного з них. Вона може згадати весілля користувача, не відвідуючи його, пам’ятати його горе, ніколи не сумуючи, і розпізнати жарти, які він розповідав двадцять років тому, не відчуваючи нічого, що нагадує ностальгію.
Однак з людського боку розмови цю різницю може стати психологічно важко підтримувати. Те, що пам'ятає нас, починає набувати вигляду знайомого. Те, що точно пам'ятає нас протягом десятиліть, може набути вигляду старого друга, незалежно від того, що відбувається по той бік екрану.
Така перспектива є водночас корисною та тривожною.
Таким чином, модель великої мови на межі не має єдиної довжини пам'яті. Залежно від того, що ми маємо на увазі, її пам'ять може тривати кілька миттєвостей, цілу розмову, багато років або приблизно стільки ж, скільки існує технологічна інфраструктура, яка її підтримує. Важливішою трансформацією є те, що системи штучного інтелекту переходять від машин, які просто відповідають на запитання, до систем, здатних будувати безперервність у часі.
Століттями ми вважали, що пам'ять належить людині, яка її запам'ятовує. Штучний інтелект ускладнює це припущення. Все частіше частина нашого життя, про яке ми пам'ятаємо, може існувати поза нами, реконструйована машинами з розмов, документів і цифрових слідів, коли цього вимагають обставини.
Велика іронія може полягати в тому, що машини зрештою пам’ятатимуть набагато більше про наше життя, ніж ми самі. Тоді головне питання буде не в тому, наскільки довговічна їхня пам’ять. Питання буде в тому, що ми хочемо, щоб вони забули.
