Claude «бачить сни», щоб аналізувати досвід і виправляти помилки
Компанія Anthropic експериментує з новим механізмом пам’яті для моделі Claude під назвою «сновидіння». Він дає змогу аналізувати минулий досвід між сеансами. Модель виправляє помилки та впорядковує знання для майбутніх завдань.
Технологія натхненна процесом закріплення спогадів у людському мозку під час сну. Claude не бачить снів у звичному розумінні. Коли модель не виконує завдань, вона переглядає збережені дані. Порівнює їх із попередніми розмовами. Виправляє неточності та створює структуровані записи.
Експерименти з Pokémon Red
Дослідники перевірили збереження інформації під час проходження Pokémon Red. Вони порівняли дві моделі після приблизно 10 тисяч ігрових кроків.
Sonnet 3.7 зберігала майже все. Її система пам’яті складалася з 413 файлів у 225 папках загальним обсягом близько 978 тисяч символів. Попри це модель здобула лише один значок.
Claude Fable 5 використовувала компактнішу систему з 10 файлів у трьох розділах обсягом приблизно 43,4 тисячі символів. Вона отримала чотири значки. Модель зберігала передусім корисні стратегії проходження, попередні висновки, поточні цілі та плани дій.
Інший тест продемонстрував виправлення помилок. Під час гри Claude неправильно запам’ятала розташування центру покемонів поблизу гори Місяця. Через це вона помилково визначала місцеперебування та постійно поверталася на вже пройдений маршрут.
Під час наступного аналізу модель зіставила збережені нотатки з початковим записом ігрової сесії. Виявила неточність та виправила її. Після цього вона повторно пройшла печеру й дісталася міста Церулін. Версія з помилковими записами так і не подолала цю перешкоду.
Обробка великих масивів документів
Anthropic перевірила технологію на великих обсягах даних. Claude опрацювала близько 350 тисяч внутрішніх документів компанії Stainless загальним обсягом приблизно 420 мільйонів токенів.
За 128 сеансів модель поступово створила та вдосконалила базу знань із посиланнями між пов’язаними матеріалами. Завдяки цьому точність відповідей на 25 контрольних запитань зросла з 13% до 48%.
В іншому експерименті Claude відповідала на запитання, для яких потрібно було знаходити інформацію одразу в кількох документах. Використання створеної бази знань забезпечило точність 87%, тоді як звичайний пошук за документами дав результат 73%.
Розробники також досліджують, як модель може самостійно визначати, яку інформацію варто зберігати в легкодоступному контексті, а яку залишати в окремих файлах для пошуку за потреби.
Технологія має обмеження. Аналіз і впорядкування пам’яті потребують додаткових обчислювальних ресурсів. Надмірна кількість збережених відомостей може ускладнювати подальшу роботу моделі. Тому Anthropic прагне навчити ШІ не лише накопичувати інформацію, а й визначати, що справді варто запам’ятовувати та переглядати.
