📄 论文信息
- 标题：Cosmos 3: An Omni-Modal World Foundation Model for Physical AI
- 团队：NVIDIA（黄仁勋 GTC 2026 主题演讲重磅发布，由 Cosmo 团队主导）
- 发表：2026 年（技术报告 + 开源权重同步放出）
- 关键词：世界模型、全模态、Mixture-of-Transformers、物理 AI、视频生成、具身智能
- 一句话总结：用一套 Mixture-of-Transformers 双塔架构把语言、图像、视频、音频、动作五模态揉进一个模型，让"看世界、听世界、动世界"在同一个权重里完成，并以宽松开源许可证释放给产业界。
🗺️ Cosmos 三代演进：从"视频生成器"到"全模态世界大脑"
理解 Cosmos 3 必须先看这条演进线。NVIDIA 用三代产品回答了三个递进的问题：世界模型到底该建模什么？
| 代际 | 发布时间 | 核心定位 | 模态覆盖 | 架构关键 | 开源许可证 |
|---|---|---|---|---|---|
| Cosmos 1 | 2025 年 1 月 | 文本到世界的视频生成器 | 文本 → 视频 | 扩散 + 因果 Transformer，连续 token | NVIDIA Open Model License |
| Cosmos 2 | 2025 年中 | 可控、可预测的世界模拟器 | 文本/动作/状态 → 视频 | 引入可预测 token、强化时序一致性 | NOML（更新版） |
| Cosmos 3 | 2026 年 | 全模态世界基础模型 | 语言 + 图像 + 视频 + 音频 + 动作 | MoT 双塔，五模态原生统一 | OpenMDW-1.1 |
三代的逻辑很清晰：第一代证明"能生成物理可信的视频"，第二代证明"生成结果可控可用"，第三代证明"世界可以统一建模"。Cosmos 3 不再是"一个会画视频的模型"，而是"一个能同时理解、生成、预测、控制世界的基座"——这是从"专用工具"到"通用基础设施"的跃迁。
🤔 要解决什么问题？
物理 AI（自动驾驶、机器人、工业仿真）对世界模型的需求与传统生成 AI 截然不同。它要求的不只是"画面好看"，而是物理一致性、时序因果性、多模态对齐。此前的世界模型普遍面临三大瓶颈：
- 模态割裂：语言模型、视频生成模型、音频模型、控制策略各自为政，无法共享世界知识。一个机器人系统往往要串联五六个模型，误差逐级放大
- 物理可信度不足：纯生成模型常出现物体穿模、重力违背、因果倒置，无法直接用于仿真训练
- 闭源垄断风险：商业世界模型多不开源，企业担心数据外泄和断供
Cosmos 3 的目标就是用一个统一架构同时解决这三件事：原生多模态融合、面向物理 AI 的训练目标、以及彻底的开源策略。
🏗️ 核心创新：MoT 双塔架构
Mixture-of-Transformers（MoT，混合 Transformer） 是 Cosmos 3 的灵魂。它没有沿用"一个超大 Transformer 硬吃所有 token"的稠密路线，而是采用双塔（Dual-Tower）+ 共享注意力的设计。
为什么要双塔？
不同模态的统计特性差异巨大：语言是离散、稠密语义；视频是连续、空间冗余；音频是连续、时序高频；动作是连续、低维、强因果。把它们塞进同一个 token 空间强行对齐，要么牺牲语义精度，要么牺牲时序细节。MoT 的解法是——该分开的分开，该共享的共享。
双塔分工
| 模块 | 负责模态 | token 类型 | 设计动机 |
|---|---|---|---|
| 语义塔（L-Tower） | 语言、高层语义 | 离散文本 token | 继承 LLM 的推理与指令能力 |
| 感知塔（P-Tower） | 图像、视频、音频、动作 | 连续 + 离散混合 token | 处理时空冗余与物理动力学 |
两座塔各自拥有独立的 FFN 与归一化层（模态专属参数），但在每一层都通过一个**共享跨模态注意力（Shared Cross-Modal Attention）**模块交互。这样设计的好处是：语义推理和感知生成各有专精，又能在每一层深度对齐，而不是只在最后做一次拼接。
数据流示意
模型的整体数据流可以用一句话概括（为避免框图字符，这里用箭头文字描述）：
任意模态输入 → 分别进入对应塔的自注意力 → 在每层通过共享跨模态注意力交换信息 → 各塔输出 → 解码为对应模态。任意模态都可作为输入，任意模态都可作为输出——这就是"全模态任意到任意（any-to-any）"。
与稠密多模态模型的对比
| 维度 | 稠密单塔（如早期多模态 LLM） | Cosmos 3 MoT 双塔 |
|---|---|---|
| 参数共享 | 全部共享 | FFN 分、注意力合 |
| 模态冲突 | 严重（互相稀释） | 低（专属参数隔离） |
| 扩展新模态 | 需重训 | 加一路编码器即可 |
| 推理效率 | 单塔稠密 | 可按需激活塔 |
| 训练稳定性 | 易失衡 | 塔间负载均衡更稳 |
可以说，MoT 把** mixture-of-experts 的"分而治之"思想从 FFN 粒度提升到了模态粒度**。
训练上的两个工程细节
架构之外，Cosmos 3 在训练侧有两个值得注意的设计。其一是模态负载均衡 loss：由于五模态的数据量与学习难度差异极大（语言 token 极多、动作 token 极少），若不加约束，模型会偏向数据多的模态。MoT 引入了一个轻量的塔间均衡项，让每座塔的梯度贡献相对可控，避免"语言吃掉感知"。其二是模态dropout：训练时随机屏蔽部分模态输入，强迫模型在模态缺失时仍能推理——这正是"任意到任意"生成能力的来源，也让模型在部署时具备容错性（某路传感器失效仍可工作），这对自动驾驶这种对鲁棒性要求极高的场景尤为关键。
🔗 五模态如何统一
统一五模态的关键不在"加输入口"，而在让模型理解模态间的因果与对齐关系。Cosmos 3 的做法可以拆成三层：
第一层：统一 token 化
每种模态都被转成模型可处理的 token 序列，但保留各自特性：
| 模态 | token 化方式 | 特点 |
|---|---|---|
| 语言 | BPE 文本 token | 离散，语义稠密 |
| 图像 | 空间因果 VAE | 按光栅顺序，保留空间结构 |
| 视频 | 时空因果 VAE（3D 压缩） | 时序 + 空间联合压缩 |
| 音频 | 连续频谱 token + 语义码本 | 兼顾声学细节与语义 |
| 动作 | 连续向量 + 时间编码 | 低维但强因果 |
第二层：跨模态对齐预训练
用一个任意模态掩码重建 + 跨模态生成的混合目标训练，让模型学到"看到画面要能想象声音、听到声音要能脑补画面、给出指令要能预测动作"。这种双向补全是世界模型区别于单向生成的核心。
第三层：物理对齐后训练
预训练后，用物理标注数据（物体持久性、重力、碰撞、因果时序）做后训练，把"画面合理"升级为"物理可信"。这也是 Cosmos 3 在 Physics-IQ 上拉开身位的关键。
📊 预训练数据：规模与构建
世界模型的能力上限由数据决定。Cosmos 3 的预训练数据在规模、多样性、质量三个维度都做了升级。
- 总规模：约 2000 万小时量级的多模态数据（视频为主，辅以图文、音频、机器人轨迹）
- 视频来源：互联网爬取 + 版权合作 + 仿真合成，覆盖驾驶、工厂、室内、自然、机器人操作等场景
- 清洗管线：质量分类器去模糊/去文字/去动画 → 运动筛选剔除静态帧 → 物理一致性过滤去除穿模片段 → 去重
- 合成数据：用 NVIDIA Omniverse / Isaac Sim 大量合成带完美标注的物理仿真片段，弥补真实数据中 corner case 的稀缺
| 数据维度 | Cosmos 2 | Cosmos 3 |
|---|---|---|
| 视频时长 | 千万小时级 | 2000 万小时级 |
| 模态种类 | 文本 + 视频 | 五模态 |
| 物理标注 | 弱 | 强（仿真合成） |
| 驾驶场景占比 | 中 | 显著提升 |
合成数据的引入是关键——它让模型在真实世界罕见但安全攸关的场景（如高速爆胎、行人鬼探头）上也能学到合理的物理规律，这对自动驾驶和机器人训练价值巨大。
🔬 基准表现：8 项物理 AI 基准开放第一
Cosmos 3 在三个权威基准族上验证了"全模态 + 物理可信"的价值。
UniGenBench（统一生成基准）
评测多模态生成质量，包括文生视频、图生视频、音生视频、视频续写等。
| 任务 | 闭源 SOTA | Cosmos 3 | 开放模型此前最佳 |
|---|---|---|---|
| 文生视频（物理一致性） | 略高 | 开放第一 | 落后明显 |
| 图生视频 | 持平 | 开放第一 | — |
| 音视频联合生成 | 略低 | 开放第一 | 不支持 |
PAIBench（物理 AI 基准）
评测作为世界模拟器训练策略的能力——能否生成足够真实的"世界"来训练自动驾驶/机器人。
- Cosmos 3 生成的驾驶场景用于训练端到端规划器后，闭环仿真通过率显著优于用 Cosmos 2 的数据
- 在机器人操作策略的 sim-to-real 迁移中，真实环境成功率提升明显
Physics-IQ（物理智商）
专门测物理规律理解：重力、碰撞、物体持久性、因果时序。
| 模型 | 物理一致性得分 |
|---|---|
| 通用视频大模型 | 较低（穿模/因果错误频发） |
| Cosmos 2 | 中等 |
| Cosmos 3 | 开放模型最高，逼近闭源 SOTA |
关键结论：Cosmos 3 在 8 项物理 AI 基准上取得开放模型第一，部分指标甚至超过闭源旗舰。物理对齐后训练和仿真合成数据是拉开差距的核心。
📐 三种规模：覆盖从车端到云端
Cosmos 3 同步发布三个尺寸，对应不同部署场景：
| 规格 | 参数量 | 定位 | 典型部署 |
|---|---|---|---|
| Cosmos 3 Nano | ~4B | 车端 / 机器人端实时 | 实时世界预测、闭环仿真 |
| Cosmos 3 Standard | ~20B | 工作站 / 边缘服务器 | 数据生成、策略训练 |
| Cosmos 3 Large | ~64B | 云端训练与旗舰推理 | 最强物理一致性、研究用途 |
这种分层发布降低了落地门槛：中小团队用 Nano 就能在本地跑世界模型，大厂用 Large 撑起最高质量。同一架构、同一权重配方，只换规模不换范式，这也是基础模型相比专用模型的最大红利。
🔓 开源策略：OpenMDW-1.1 的产业意义
Cosmos 3 采用 OpenMDW-1.1（Open Model Defense Warranty）许可证，相比 NVIDIA 早期许可证更宽松、更明确：
- 允许商用：企业可直接用于商业产品，无需额外授权
- 权重 + 代码 + 部分数据管线全部开放
- 明确防御性条款：约束模型不被滥用于有害用途，同时保护使用方权益
| 维度 | 传统闭源世界模型 | Cosmos 3 (OpenMDW-1.1) |
|---|---|---|
| 商用 | 受限/付费 | 自由商用 |
| 数据安全 | 担心外泄 | 本地部署 |
| 可定制 | 黑盒 | 全可微调 |
| 供应链风险 | 断供风险高 | 自主可控 |
对自动驾驶、机器人这种安全攸关且高度定制的行业，“能自己掌握权重"几乎是从"敢用"到"敢上量产"的决定性因素。NVIDIA 这一招本质上是用开源换生态——把 Cosmos 做成物理 AI 时代的"安卓/Linux”。
🚗 应用场景：自动驾驶与机器人
自动驾驶
- 闭环仿真数据生成：按需生成各种 corner case（雨雪夜、鬼探头、前车掉落物）训练规划器，解决真实数据长尾稀缺
- 世界预测：实时预测未来 3–5 秒的多智能体轨迹与场景演变，作为规划前置模块
- 多视角一致性生成：环视多摄像头画面联合生成，保证跨视角几何一致
- 可解释的世界理解：配合语言塔，输出"我预测前车会变道，因为……“的自然语言解释
值得强调的是，音频模态在自动驾驶里常被忽视，实则价值不低——警车/救护车的鸣笛定位、轮胎异常声响、事故碰撞声，都能成为感知系统的有益补充。Cosmos 3 把音频纳入世界建模，让"听声辨位"成为可能，这是纯视觉世界模型做不到的。
机器人
- 仿真到真实（sim-to-real）：生成多样化物理仿真环境训练操作策略，再迁移到真机
- 动作条件视频预测：给定一个动作，预测世界如何变化，用于模型预测控制（MPC）
- 灵巧操作数据扩增：合成罕见操作场景，补足真实遥操作数据不足
工业与数字孪生
- 工厂产线异常预测、Omniverse 数字孪生的物理填充——NVIDIA 把 Cosmos 与自家 Omniverse / Isaac 生态深度打通，形成"建模型→生数据→训策略→部署"的闭环。
📝 个人思考
读完 Cosmos 3，我最大的感受是：世界模型正在重走 LLM 的路，而且走得更激进。从 GPT 证明"一个架构吃所有 NLP 任务”，到 Cosmos 3 证明"一个架构吃所有模态的世界建模"，叙事高度一致。MoT 双塔的精妙之处不在于它有多复杂，而在于它承认了模态之间的本质差异，并在正确的粒度上做了分离与共享——这比强行用一个稠密塔硬扛所有模态要聪明得多。我判断 MoT 这种"注意力共享 + FFN 分家"的范式会成为下一代多模态基座的主流，就像 Transformer 取代 RNN 一样。
第二点启发是关于仿真合成数据。物理 AI 的核心瓶颈从来不是算法，而是真实世界长尾数据。Cosmos 3 用 Omniverse/Isaac 合成带完美标注的物理数据，本质上是把"数据采集"从"去真实世界碰运气"变成"在仿真里按需生产"。这对自动驾驶意义尤其重大——那些一辈子难得遇到的极端场景，可以在仿真里生成千万遍。谁能把"真实数据 + 合成数据"的混合配方调到最优，谁就掌握了物理 AI 的数据护城河。这也呼应了我在读 DriveVLM 时的判断：壁垒正在从模型结构转向数据闭环。
最后一点关于开源与生态。NVIDIA 用 OpenMDW-1.1 这种宽松许可证开放 64B 级别的世界模型，几乎是在"送基础设施"。这不是慈善，而是精准的生态卡位——当全行业的自动驾驶和机器人都用 Cosmos 生数据、跑仿真，NVIDIA 的 GPU、Omniverse、Isaac 就成了物理 AI 时代的事实标准。对从业者来说，这是难得的窗口期：与其从零自研世界模型，不如站在 Cosmos 肩膀上做上层应用。但也要清醒——开源基座意味着算法红利迅速摊薄，真正的差异化会越来越集中在数据、场景理解、安全验证这些苦活累活上。能在这些地方扎根的团队，才是物理 AI 长跑里的赢家。
📖 这是论文精读系列的第 6 篇。Cosmos 3 把世界模型推向全模态统一，你认为它会在哪些场景最先落地？欢迎留言讨论。