Решите это однажды: превратите повторяющуюся работу эксперта в навык, который ваш агент сможет выполнять.

Прикладной Фронтир #2: Мировые Модели Перестаньте предсказывать токены, начните моделировать миры Прикладной Фронтир — это интимная техническая встреча для строителей, исследователей, основателей и инженеров, работающих на краю систем ИИ. Второе издание углубляется в Мировые Модели, переход от систем ИИ, которые предсказывают следующий токен, к системам ИИ, которые учат внутреннюю модель реальности, а затем используют эту модель для предсказания, планирования и действий. В последние три года фронтир был доминирован языком. Модели изучали мир через текст, изображения, видео и человеческие описания. Они могли описать падающий стакан, но не понимали, что происходит, когда он наклоняется за пределы центра массы. Они могли генерировать комнату, но не могли надежно смоделировать, какие изменения произойдут, когда агент перемещается через нее. Этот разрыв теперь становится основным событием. Фей-Фей Ли назвала пространственный интеллект одной из следующих границ ИИ. Ян ЛеКун утверждал, что предсказание следующего токена само по себе недостаточно, и что недостающей частью является модель мира, которую можно запускать вперед для поддержки планирования. В области вопрос становится все более актуальным: Можем ли мы создать модели, которые не просто описывают реальность, но и моделируют ее? Мировая модель — это обученный симулятор. Дайте ей состояние и действие, и она предскажет, что произойдет далее. Некоторые мировые модели создают интерактивные среды, по которым можно передвигаться. Некоторые помогают роботам рассуждать о физических последствиях. Некоторые генерируют синтетические миры для обучения и оценки. Некоторые предсказывают абстрактные будущие состояния вместо рендеринга каждого пикселя. Основной вопрос не в том, выглядят ли эти системы впечатляюще. Вопрос в том, полезны ли они, когда агент должен действовать. О чем мы будем говорить Четыре ставки на одном фронтировании Мы сравним основные направления, возникающие в мировых моделях: интерактивное моделирование, пространственный интеллект, предсказательное представление и физическую ИИ-инфраструктуру. Это включает такие системы, как Genie 3 от DeepMind, модели мира реального времени от Decart, Marble от World Labs, V-JEPA от Meta и NVIDIA Cosmos. Каждая делает другую ставку на то, что означает моделировать мир, что должно генерироваться, что должно предсказываться и что фактически полезно для агентов. Генеративные против предсказательных мировых моделей Одна группа генерирует будущее в пикселях и ставит на то, что реализм приведет к пониманию. Другая предсказывает абстрактное скрытое состояние, утверждая, что большинство деталей пикселей не имеет значения для планирования и управления. Этот выбор меняет все в дальнейшем: данные для обучения, оценка, вычисления, память, кондиционирование действий, когерентность и поддерживает ли модель фактически принятие решений. От наблюдения к действию Мировая модель оправдывает свое название, когда агент может планировать против нее. Мы обсудим, что необходимо для перехода от пассивной генерации видео к симуляции, обусловленной действиями, от красивых роликов к полезным контрфактическим сценариям, и от “это выглядит реально” к “это помогает агенту выбрать правильное действие”. Миры как инфраструктура Мировые модели становятся инфраструктурой для робототехники, самостоятельного вождения, воплощенных агентов, игр, синтетических данных и тестирования с замкнутыми петлями. Мы поговорим о генерации сценариев, охвате, событиях долгого хвоста, цифровых двойниках, обучении роботов, оценке на основе симуляций и упрямом разрыве от симуляции к реальности, который все еще разрушает лучшие демонстрации. Где мировые модели терпят неудачу Мировые модели часто проваливаются незаметно. Физика может выглядеть правильно, но быть неверной. Постоянство объектов может колебаться. Долгосрочная когерентность может разрушаться. Агенты могут использовать ошибки симулятора. Визуальный реализм может скрывать причинный абсурд. Глубокий вопрос все еще открыт: Учится ли эта система структуре мира, или она предсказывает пиксели достаточно хорошо, чтобы обмануть нас? Кому это подходит Это для ограниченной группы глубоко технических людей, которые активно строят, исследуют или серьезно изучают мировые модели и физический ИИ. Вы должны прийти, если вы работаете в инженерии ИИ, генерации видео, робототехнике, обучении с подкреплением, симуляции, 3D, графике, воплощенных агентов, синтетических данных, автономных системах или инфраструктуре для оценки ИИ в замкнутых условиях. Приходите с чем-то реальным: моделью, которую вы строите, неудачей от симуляции к реальности, проблемой оценки, историей о роботах, синтетическим данным, сложным исследовательским вопросом или сильным мнением о том, где поле ошибается. Как это работает Это не встреча для налаживания связей. Прикладной Фронтир был разработан как техническая дискуссия с высоким уровнем сигнала в небольшой группе серьезных строителей. Цель состоит в том, чтобы рассуждать вместе, подвергать сомнению предположения, сравнивать архитектуры и выявлять проблемы, которые не проявляются в полированных демонстрациях. Ожидайте сосредоточенной атмосферы, технического разговора и прямых обсуждений о том, что работает, что ломается и что должно существовать далее. Почему это важно Языковые модели изучили мир вторичными способами, через то, что писали, помечали, записывали и загружали люди. Мировые модели пытаются изучить его более непосредственно, через наблюдение, взаимодействие, предсказание и симуляцию. Этот сдвиг важен, потому что следующее поколение систем ИИ не только будет отвечать на вопросы. Они будут перемещаться по средам, управлять машинами, контролировать программное обеспечение, управлять роботами, тестировать решения и планировать в условиях неопределенности. Две модели могут быть обучены на одном и том же видео и казаться одинаково впечатляющими в демонстрации. Одна может изучить достаточную структуру для поддержки планирования. Другая может просто научиться рендерить правдоподобные кадры. Демонстрация может не знать разницы. Инженер знает.