Pinterest і NVIDIA запустили ШІ-інфраструктуру на Blackwell
Pinterest розгорнула нову інфраструктуру штучного інтелекту спільно з NVIDIA. Її основу склала обчислювальна платформа з графічними процесорами покоління Blackwell і технологією NVIDIA Dynamo.
Головне завдання системи — масштабувати мультимодальні моделі. Вони одночасно аналізують великі обсяги зображень і тексту. Для сервісу це критично. Пошук і рекомендації тут значною мірою спираються на візуальний контент.
Оновлена архітектура дає змогу обробляти більше візуальних даних. Час очікування відповіді при цьому не зростає пропорційно.
Pinterest Assistant отримав у 25 разів більше контексту
Одним із перших продуктів на новій системі став Pinterest Assistant. Після переходу помічник може використовувати до 25 разів більше візуального контексту в одному запиті.
Модель одночасно враховує значно більшу кількість зображень. Це покращує відповіді на запити, де важливі не лише слова користувача, а й набір візуальних прикладів.
Під час тестування зафіксували приблизно 85-разове прискорення початку генерації відповіді. Загальна затримка скоротилася у 7,3 раза.
Ключовим рішенням стало попереднє обчислення візуальних представлень. Система заздалегідь перетворює зображення у формат для моделі. Далі повторно застосовує ці дані в наступних запитах.
Оригінальні зображення більше не потрібно щоразу пропускати через повний цикл обробки. Навантаження зменшується. Робота з великими масивами контенту прискорюється.
NVIDIA Dynamo керує виконанням ШІ-навантажень. Прискорювачі Blackwell забезпечують необхідну обчислювальну потужність.
Розширення співпраці з NVIDIA відбувається разом зі зростанням витрат на хмарні обчислення. У червні компанія оголосила про розширення довгострокового партнерства з Amazon Web Services. Pinterest планує витратити близько 4 мільярдів доларів на хмарні послуги AWS до 2031 року.
Власний рівень ШІ-інфраструктури та нарощування хмарних потужностей мають забезпечити ресурси для розвитку пошуку, рекомендацій і помічників. Вони працюють одночасно з текстом і зображеннями.
