对人类而言，“看”从来都是正在进行时：一边观察，一边判断，画面变了，认知也随之更新。但视频大模型的默认范式仍停留在“离线”阶段——AI像一个事后查看录像的旁观者，面对一个已经结束的世界，先看完、再作答；一旦开始作答，便对正在发生的新画面视而不见。而世界没有进度条，它不会暂停，不能回放，也不等任何人看完再继续。
在2026世界人工智能大会（WAIC）开幕前夕，由上海创智学院、复旦大学邱锡鹏教授领衔的OpenMOSS团队，联合模思智能正式开源实时视觉理解模型MOSS-VL-Realtime。MOSS-VL系列此前已完成底座模型开源，并携手SGLang团队将开源社区首个Cross-Attention多模态高效推理方案合入主分支。此次发布的Realtime版本，让视频理解从“看录像”变成“看直播”——看与答不再分先后，回答在观看中生成，也在观看中被修正，AI与现实世界的流速由此“同频”。目前，MOSS-VL-Realtime的权重与代码已全部开源。
三种更自然的视频交互方式
MOSS-VL-Realtime的交互方式与传统离线视频理解模型不同，主要体现在三点：
1.随时应答：打破“先看后答”的迟滞
用户可以在视频播放任意时刻提问，模型基于当前已观测画面即时回应，而不必等待整段视频结束。
2.主动沉默：“让子弹飞一会儿”
当画面中没有关键事件，或信息不足以形成判断时，模型将保持沉默，持续观察。
3.边看边答，及时纠正：认知随画面动态更新
模型在生成回答时，新的画面仍会持续进入上下文。一旦视频内容发生突发转折，模型可立刻打断甚至修正此前回答。这种能力来自同一底层设计：视频帧、用户提问与模型回答被组织进同一条token流中。提问可以像直播弹幕一样插入时间线任意位置，对话则发生在持续流入的画面之间。
图注：实时输入表示。上半部分为人类视角：观看与回答同步进行，画面发生变化时，模型及时纠正其回答。下半部分为模型视角：同一过程表示为单条交错的token序列，携带绝对时间戳的视频帧插入尚未闭合的对话轮次，用户提问在任意时刻拼接为新轮次，<|silence|>为显式的沉默token。
面向长视频与实时流的架构设计
在架构层面，MOSS-VL-Realtime采用了多项针对实时视频理解的设计：
●交叉注意力架构：视觉编码与语言推理解耦，降低动态视频流响应延迟；
●绝对时间戳：每一采样帧通过专用token锚定到精确时间；
●XRoPE：将文本token与视频patch映射到统一三维坐标空间；
●256K上下文窗口：可将小时级别的视频放入单个上下文。
全链路工程优化
●训练基础设施同步升级。首次实现了支持Cross-Attention-Mask的FlashAttention，训练原生支持2048帧序列，并在常规1FPS之外支持多达16FPS采样——小球碰撞、跳绳计数这类快速变化的画面，由此进入模型的可感知范围。
●数据层面的精细化管理同样是核心。针对通用多模态及流式视频数据建立了更严密的组织与处理标准。这种对质量的把控，从底层保障了模型在复杂动态场景下的表现。
●推理性能实现跨越式提升。 目前模型已完成从底层训练代码到推理引擎的全链路适配，包含SGLang官方支持。实测视频推理端到端吞吐较Transformers原生实现提升超4.57倍；在同使用SGLang框架的条件下，推理性能较Qwen3-VL提升5.48倍。
能力演示
通过上述设计与工程优化，MOSS-VL-Realtime实现了对动态视频流的实时感知与精准捕捉。模型在保持低延迟响应的同时，展现出在时序定位、行为计数以及长周期语境下的信息维护等维度的综合能力。
1.实时观察，主动沉默
设定“穿粉红色衣服的人摔倒后提醒我”，模型持续观察画面，在目标人物摔倒后及时识别。
模型持续观察猫咪的动作，准确捕捉到它四次触碰萝卜，并在每次触碰发生时即时回应“真棒”。
2.实时计数，精准识别
模型持续识别视频中健身动作，每次完成动作后立即输出累计动作次数。
模型效果对比：MOSS-VL-Realtime持续识别视频中的投篮动作，在每次命中后即时更新数字。
3.实时解说，长程追踪
跟随比赛画面实时描述，从C罗主罚任意球到破门庆祝，完整识别出葡萄牙将比分扳为3:3的过程。
模型跟随PPT翻页进行长达3分钟的即兴演讲，可以描述出当前PPT的文字和图片内容并进行适当延展。
模型持续跟进种子萌发的全过程，从生根、出芽到长出枝叶，实时识别每日变化并描述具体变化过程。
4.文本提取，实时解答
随着计算步骤逐行写出，模型实时识别新增的每一行公式并提取文本，最终解答总成本为33万美元。
5.视觉理解，趣味解读
模型跟随换装过程实时分析整体搭配并给出建议。
模型边看边分析生命线、感情线和事业线，最终给出“事业运较稳、贵人运不错”的趣味解读。
性能榜单
MOSS-VL-Realtime的流式交互能力显著提升，在多项流式视频理解基准上达到开源SOTA，其中「主动开口」能力尤为突出：在OmniMMI的Proactive Alerting、StreamingBench的Proactive Output以及ProactiveVideoQA三项主动性评测上均取得领先成绩。
开源链接
本次共开源三个同源模型：Realtime面向持续视频流，Instruct承接离线任务，Base供继续预训练与微调，均采用Apache-2.0协议。
●GitHub：https://github.com/OpenMOSS/MOSS-VL
●HuggingFace：https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime
●ModelScope：https://modelscope.cn/models/openmoss/MOSS-VL-Realtime
●技术博客：https://openmoss.ai/MOSS-VL
流式视频理解仍有许多问题值得继续探索。我们希望与研究者和开发者一道，共同推进相关研究，持续提升模型在更多真实场景中的能力。欢迎体验使用模型、反馈问题，与我们开展技术交流。
