Улучшить содержательность поисковых ответов, сохранив генерацию за единицы секунд и приемлемую стоимость при массовой нагрузке.
Сочетать энкодер–декодер с разреженными экспертными слоями, обучать модель по оценкам ответов и поведению пользователей, а входной контекст сокращать с учётом качества конечной генерации.
В итоговом A/B-тесте получено +0,34% по SPU. В отдельном парном сравнении с AI Overview (Google) результат составил 56,7% SbS.
Заранее собранный внешний контекст часто добавлял шум, плохо подходил для нескольких изображений и не позволял модели самой запрашивать недостающие сведения.
Обучать модель рассуждать и выбирать полезные обращения к инструментам, получать их реальные результаты и продолжать решение с обновлённым контекстом.
Alice AI 35B Reasoning превзошла инструктивный вариант во всех восьми показанных тестах: например, MathVista — 86,2% против 65,1%. Обученное использование инструментов дополнительно улучшило парные оценки; преимущество относительно Qwen зависело от задачи.
Блочный драфтер быстро предлагает несколько токенов, но проверка длинного продолжения и ограничения движка могут поглотить весь выигрыш.
Совместить параллельную генерацию кандидатов с выбором выгодной длины проверки, подготовкой памяти для всего блока и учётом фактической стоимости графов исполнения.
В измерении V1 при батче 256 DSpark дал 3120 токенов/с с динамическим бюджетом против 2614 при фиксированном K=9 и 2411 у основной модели. Асинхронную V2 на момент доклада ещё не измеряли.
Энкодер объявления обучается по признакам без отдельного вектора для каждого идентификатора. Команда хотела повысить его выразительность, но проблемы стабильности и производительности мешали переходу к более сложной архитектуре.
Заменить DCNv2 трансформером, который моделирует взаимодействия между признаками объявления. Перед заменой исправить обучение, а затем подобрать нормализацию, пересчёт активаций и вычислительные оптимизации под короткие последовательности внутри item-энкодера.
В A/B-тесте модели с новым item-энкодером заявлены +0,8% к числу покупателей, +1,5% к выручке монетизационных инструментов и +10% к конверсии движка из показа в контакт.
Нужно быстро и устойчиво обрабатывать обращения, но развитие автоматизации ограничивают не только вычисления: создание агентов требует ручной работы и согласований между несколькими командами.
Сохранить работающие графы и классификаторы, распределить задачи между моделями разной сложности, организовать общий доступ к вычислениям и передать подготовку сценариев продуктовым менеджерам через Conclave AI.
При нагрузке 10 запросов в секунду задержка ответа составляет около 2 секунд по P50 и 5 секунд по P90. Около 12% обращений уходят в решения без участия человека, а примерно в 34% обращений участвуют LLM.
Старый similarity-алгоритм был интерпретируемым и работал с новыми товарами, но плохо использовал изображения и текст, требовал множества моделей по категориям и почти не персонализировал похожесть.
Перейти к двум дополняющим источникам кандидатов — мультимодальному обученному представлению и отдельному визуальному FashionCLIP — а итоговый порядок персонализировать CatBoost-реранкером.
После объединения двух новых кандидатогенераторов и персонализированного реранкера A/B-тест дал статистически значимый прирост покупок на 1,5%; подробности дизайна теста в источнике не раскрыты.
Прежняя DeepCVR опиралась преимущественно на агрегированные статистики и вручную подготовленные признаки. Они описывали устойчивые свойства пользователя и магазина, но хуже передавали хронологию действий и быстро меняющееся намерение внутри текущей сессии. Дополнительная проблема была инфраструктурной: пакетно рассчитанные признаки могли отставать от реального поведения на сутки и больше.
Uber развивает систему в несколько связанных этапов: сохраняет сильные табличные признаки в DCNv2, добавляет target-aware трансформер для истории поведения, переводит признаки на near-real-time UserContext, а затем отказывается от двух параллельных ветвей в пользу transformer-centered архитектуры, где сразу оценивается список магазинов. Одновременно команда перестраивает обучение и serving: PyTorch v2, BF16, multi-hash embeddings, заранее выполняемая ONNX-to-TensorRT оптимизация и раздельные CPU/GPU ресурсы.
По данным Uber, задержка обновления признаков сократилась с дней до нескольких секунд; предварительная ONNX-to-TensorRT конвертация устранила прежние 10–60 секунд задержки запуска и приблизила cold-start модели к нулю; разделение CPU-предобработки и GPU-инференса дало до двузначного прироста пропускной способности на узел при небольшой дополнительной задержке. Для listwise-подхода авторы оценивают вычислительную сложность на один магазин примерно как 1/T от pointwise-варианта при T одновременно оцениваемых магазинах. Источник не приводит CVR, CTR, GMV, A/B uplift или доверительные интервалы и не позволяет утверждать, что transformer-centered GenRec уже полностью заменил рекомендации Uber Eats на всём трафике.
Поведенческая статистика была привязана к item_id и смешивала периоды с разными ценами и сроками доставки. Поэтому старые клики и заказы могли сильнее влиять на ранжирование, чем актуально более выгодные условия, а новые товары начинали почти без истории.
Перейти от статистики товара к статистике предложения: строить offer_id из item_id, price_bin и delivery_bin, а прошлую историю переносить в новое состояние с весами матрицы W. Для устойчивости бины периодически пересчитываются в Spark, а переходы между ними сглаживаются.
Автор сообщает, что после включения признаков на базе offer_id у новинок выросли просмотры, добавления в корзину и заказы; отдельно выросла доля новинок в общих метриках. На уровне бизнеса два последовательных A/B-теста дали +0,4% к конверсии из поисковой сессии в заказ и +0,9% к среднему GMV на пользователя.
user2vec быстро суммировал недавние интересы, но не учитывал порядок действий, поисковые запросы и сложные связи между намерениями пользователя.
Объявления кодируются одной башней, история объявлений и поисков — трансформером второй башни; их векторы сравниваются скалярным произведением.
Авторы сообщают: мультикатегорийная модель как признак ранжирования дала +2,3% целевых действий покупателей на главной, а модель категории «Личные вещи» как источник кандидатов — +1,1% на главной и +8,1% внутри этой категории.