图片理解与图/视频生成，一个模型全搞定——智源Emu3

北京智源人工智能研究院发布了一款名为Emu3的多模态世界模型，这款模型以其原生多模态能力和统一输入输出的特性著称。

   Emu3的主要功能

 图像生成 

只需一段文本描述，Emu3就能生成高质量图像，支持不同分辨率和风格。

实测画面质量与Midjourney V5.1差不多，中规中矩。

 视频生成 

Emu3能生成视频，通过预测视频序列中的下一个符号来创作视频，不依赖复杂的视频扩散技术。

 视频预测 

Emu3能自然地延续现有视频内容，预测接下来会发生什么，模拟物理世界中的环境、人物和动物。

简单来说就是给她一段视频，它能够预测视频中物体的**轨迹来继续生成后续内容。

图文理解 

Emu3能理解物理世界并提供连贯的文本回应，无需依赖CLIP或预训练的语言模型。

基本的图片理解 

背景显示了树木和绿色植物的自然环境，表明它们可能位于公园或自然保护区中。水面平静，看不到天空，营造出宁静祥和的环境。

 图像搜索 

   技术原理

Emu3的核心是Next token预测，属于一种自回归方法，模型被训练预测序列中的下一个元素，无论是文本、图像还是视频。

Emu3将图像、文本和视频数据统一到一个离散的token空间中，使单一的Transformer模型处理多种类型的数据。

它超越了 SDXL、LLaVA-1.6 和 OpenSora-1.2 等旗舰开放模型，同时消除了对扩散或组合架构的需求。

项目官网：https://emu.baai.ac.cn/

今天的文章就到这里。 

编辑丨惊云

审核丨核桃丨可乐

部分图片素材来源于网络，侵删