Агентские модели учатся действовать, а среду, в которой они действуют, до сих пор целенаправленно не моделировал никто: следующее наблюдение либо брали из реальной песочницы, либо доверяли воображению универсальной языковой модели. Alibaba выпустила Qwen-AgentWorld — модель, которая предсказывает состояние среды после очередного действия агента. Семь доменов в одном контуре: терминал, поиск, MCP-серверы, правка кода, браузер, Android и десктопная ОС.
Разница видна на длинных цепочках. Когда терминал изображает обычная LLM, она держит в голове не состояние системы, а текст переписки. Права на файлы, номера строк и коды возврата расходятся с реальностью уже к пятому шагу. Симулятор, обученный на наблюдениях, воспроизводит следующее состояние как отдельную задачу. Ошибается он иначе, предсказуемее.
Alibaba выпустила Qwen-AgentWorld: симулятор среды вместо генератора текста
Ключевое отличие от «ролевых» надстроек — место моделирования в процессе обучения. Здесь предсказание следующего наблюдения служило целью с самого начала, на этапе continual pre-training, а дальше поддерживалось на дообучении и в RL. Универсальная LLM, которую просят прикинуться браузером, решает другую задачу: продолжает текст правдоподобно, а не восстанавливает состояние системы точно.
Обучение шло более чем на 10 млн траекторий реального взаимодействия. Данные собирали в контейнерных песочницах, на MCP-серверах и в эмуляторах, то есть с прицелом на конкретные типы отклика, а не на «что-нибудь похожее». Графические среды при этом модель видит не как картинку, а как разметку.
| Домен | Что симулируется | Что предсказывает модель |
|---|---|---|
| Terminal | Командная строка: вывод шелла, состояние файловой системы, процессы | Полный вывод для многошаговых конвейеров команд |
| Search | Выдача поисковика: адреса, сниппеты, порядок результатов | Правдоподобные URL, естественный порядок источников, факты под запрос |
| MCP | Ответы API-серверов: результаты вызовов инструментов, состояние баз | Согласованность схемы на девяти последовательных вызовах Notion API |
| SWE | Среда редактирования: git diff, тесты, ошибки компиляции | Изменения файлов и исход прогона тестов |
| Web | Состояние DOM после действий пользователя | Обновления HTML и accessibility tree |
| Android | Иерархия интерфейса после тапов и жестов | Разметка UI hierarchy XML |
| OS | Десктоп: файлы, окна, поведение приложений | Обновления дерева доступности |
Тот факт, что интерфейс отдаётся кодом, объясняет и сильную сторону, и границу применимости. Структурные изменения модель предсказывает хорошо: появившееся модальное окно, обновлённый список, новую ветку DOM. Всё, что живёт в пикселях и не попадает в разметку, остаётся вне симуляции — canvas-графика, анимации, капчи, нестандартные виджеты.
От CPT к RL: что добавляет каждый этап обучения
Пайплайн описывают формулой «CPT вливает, SFT активирует, RL заостряет». На первом этапе модель набирает знание о том, как ведут себя оболочки, API и интерфейсы. Хитрость в маскировании лосса: для каждой пары «действие — наблюдение» считают четыре поверхностные статистики и по ним решают, несёт ли ход реальную информацию о среде. Служебные реплики остаются в контексте, но не влияют на градиент. Без этого модель училась бы предсказывать болтовню агента вместо реакции системы.
Корпуса при этом не только про компьютеры: в CPT подмешаны специализированные тексты по промышленной автоматике, кибербезопасности, праву, медицине, финансам. Логика понятна. Агенту в терминале может понадобиться понять вывод банковского API или формат отчёта из медицинской системы, и без таких знаний предсказание рассыпается на незнакомой лексике.
Второй этап делает предсказание явным рассуждением: модель учится писать блок <think>…</think> с разбором состояния до того, как выдать наблюдение. Отбор траекторий шёл через rejection sampling, в итоге осталось 7 094 образца. Цифра скромная именно потому, что задача не выучить новое, а включить уже имеющееся.
Третий этап — RL на гибридной награде. Часть оценки даёт LLM-судья по многомерной рубрике, часть — программные проверки там, где правильность сверяется точно. Оптимизация идёт через GSPO.
AgentWorldBench: как проверяют, что симуляция похожа на правду
Вместе с моделью выложили бенчмарк на семь доменов. Его собрали из реальных наблюдений: пять фронтирных моделей проходили девять известных наборов задач, среди них Terminal-Bench в двух версиях и OSWorld-Verified. Каждый образец снабжён эталонным наблюдением, полученным при настоящем исполнении, поэтому оценка опирается на факт, а не на впечатление судьи.
Судят по пяти измерениям: формат, фактичность, консистентность, реализм и качество. Средний балл флагманской Qwen-AgentWorld-397B-A17B — 58.71. У GPT-5.4 — 58.25.
Разрыв небольшой. Держится он в основном на двух доменах — терминал и работа с кодом, где предсказание требует точной модели исполнения и поведения API. В списке сравнения также Claude Opus 4.8 и Gemini 3.1 Pro: разработчики утверждают, что обе уступают.
Показательнее эффект самого пайплайна на меньшем масштабе. У версии 35B-A3B трёхэтапное обучение подняло средний балл с 47.73 до 56.39, прирост 8.66 пункта, и это уже выше 56.04 у Claude Sonnet 4.6.
У оценки есть слабое место, о котором лучше знать заранее. Вердикт выносит модель по рубрике, значит бенчмарк меряет не инженерную правильность среды, а похожесть на эталон в глазах судьи. Для терминала и API это работает неплохо. Для интерфейсов с нестандартным поведением — хуже.
Где модель пригодится, а где подведёт
Заявленных сценариев два, и риски у них разные. Первый — использовать Qwen-AgentWorld как отсоединённый симулятор среды для RL-обучения агентов. Он даёт масштаб и управляемость, которых реальная песочница не даёт: можно подсовывать редкие сбои, замедления, ошибки прав, которых в продакшене ждут месяцами.
Второй сценарий — прогрев. Модель как основа агента, которую доучивают на многотуровых задачах. Здесь важен результат без всякого RL на агентных задачах: перенос работает на семи наборах, три из которых целиком вне домена обучения. Это скорее подтверждение гипотезы, чем готовый рецепт.
Главный риск в том, что симулятор становится источником награды. Если мир ошибается в мелочи, агент выучит привычку, которая в реальной среде обернётся провалом, и заметят это поздно. Отсюда практическое правило: всё, что проверяется программно, надо проверять по-настоящему, а не по предсказанию.
Ограничение по железу очевидное: 397B-A17B при всей экономичности MoE-архитектуры требует серьёзного сервера, запуск на одной видеокарте не обсуждается. Версия 35B-A3B ближе к земле, но и ей нужна нормальная машина.
Домены — самая незаметная граница. Семь сред покрывают типовые сценарии разработки и веба. Если задача живёт в узком корпоративном софте, на биржевом терминале или в приложении со сложной анимацией, переносить нечего: модель предскажет структуру, но не специфику.
С чего начать знакомство с Qwen-AgentWorld
Начинать логичнее с демо. Там видны внутренние цепочки рассуждений по всем семи доменам, и по ним понятно, насколько модель представляет нужную среду. Дальше — карточка на Hugging Face или ModelScope: из России доступ к обоим репозиториям, как правило, требует обхода или зеркала, а веса весят достаточно, чтобы планировать канал заранее.
Проверять на своих задачах лучше на самом дешёвом сценарии. Взять одну типовую цепочку действий из рабочего процесса, прогнать через симулятор и сравнить с реальным логом. Расхождение на третьем-четвёртом шаге — сигнал, что домен придётся дообучать, а не использовать как есть.
