起原：新浪科技
新浪科技10月23日下昼音讯，智源量度院近日通知原生多模态寰宇模子Emu3发布。该模子已矣了视频、图像、文本三种模态的协调清爽与生成。据悉，Emu3只基于下一个token瞻望，无需扩散模子或组合式秩序，便能把图像、文本和视频编码为一个闹翻空间，在多模态搀和序列上重新初始蚁合磨练一个Transformer，展现了其在大边界磨练和推理上的后劲。
在图像生成、视觉谈话清爽、视频生成任务中，Emu3的发扬朝上了 SDXL 、LLaVA-1.6、OpenSora等闻明开源模子。在图像生成任务中，东说念主类评估得分Emu3高于SD-1.5与SDXL；在视觉谈话理受命务中，12 项基准测试的平均得分，Emu3最初于LlaVA-1.6与LlaVA-1.5；在视频生成任务中，VBench基准测试得分，Emu3优于OpenSora 1.2。
下一token瞻望被以为是通往AGI的可能旅途，但这种范式在谈话之外的多模态任务中莫得被诠释。此前，多模态生成任务仍然由扩散模子（举例 Stable Diffusion）所主导，而多模态理受命务则由组合式的秩序（举例 CLIP视觉编码器与LLM阿谀）所主导。智源量度院院长王仲远默示：“Emu3诠释了下一个token瞻望能在多模态任务中有高性能的发扬，这为构建多模态AGI提供了广漠的技巧出息。Emu3有契机将基础要道诞生管制到一条技巧阶梯上，为大边界的多模态磨练和推理提供基础，这一通俗的架构算计打算将利于产业化。过去，多模态寰宇模子将促进机器东说念主大脑、自动驾驶、多模态对话和推理等场景期骗。”
现在，智源量度院已将Emu3的重要技巧和模子开源至海外技巧社区。关系技巧从业者默示：“关于量度东说念主员来说，Emu3意味着出现了一个新的契机，不错通过协调的架构探索多模态，无需将复杂的扩散模子与大谈话模子相阿谀。这种秩序访佛于transformer在视觉关系任务中的变革性影响。”（文猛）