编辑：杜伟、陈萍

从大型措辞模型（LLM）到多模态大型措辞模型（MLLM），微软又迈出了主要一步。

在 NLP 领域，大型措辞模型（LLM）已经成功地在各种自然措辞任务中充当通用接口。
只要我们能够将输入和输出转换为文本，就能使得基于 LLM 的接口适应一个任务。
举例而言，择要任务输入文档，输出择要信息。
以是，我们能够将输入文档馈入择要型措辞模型，并天生择要。

只管 LLM 在 NLP 任务中取得了成功的运用，但研究职员仍努力将其原生地用于图像和音频等多模态数据。
作为智能的基本组成部分，多模态感知是实现通用人工智能的必要条件，无论是对付知识获取还是与现实天下打交道。
更主要的是，解锁多模态输入能够极大地拓展措辞模型在更多高代价领域的运用，比如多模态机器人、文档智能和机器人技能。

因此，微软团队在论文《Language Is Not All You Need: Aligning Perception with Language Models》中先容了一个多模态大型措辞模型（MLLM）——KOSMOS-1，它可以感知一样平常模态、遵照指令（即零样本学习）以及在高下文中学习（即少样本学习）。
研究目标是使感知与 LLM 保持同等，如此一来模型能够看到（see）和说话（talk）。
研究者按照 METALM（拜会论文《Language models are general-purpose interfaces》 ）的办法从头开始演习 KOSMOS-1。

论文地址：https://arxiv.org/pdf/2302.14045.pdf

项目地址：https://github.com/microsoft/unilm

如下图 1 所示，研究者将一个基于 Transformer 的措辞模型作为通用接口，并将其与感知模块对接。
他们在网页规模的多模态语料库上演习模型，语料库包括了文本数据、任意交错的图像和文本、以及图像字幕对。
此外，研究者还通过传输纯措辞数据来校准跨模态的指令遵照能力。

终极，KOSMOS-1 模型原生支持零样本和少样本学习设置下的措辞、感知措辞与视觉任务，详细如下表 1 所示。

研究者不才图 2 和图 3 中展示了一些天生示例。
除了各种自然措辞任务，KOSMOS-1 模型能够原生处理广泛的感知密集型任务，如视觉对话、视觉阐明、视觉问答、图像字幕、大略的数学方程式、OCR 和带描述的零样本图像分类。
他们还根据瑞文推理测验（Raven's Progressive Matrices, RPM）建立了一个 IQ 测试基准，用来评估 MLLM 的非措辞推理能力。

‍这些示例表明，多模态感知的原生支持为将 LLM 运用于新任务供应了新的机遇。
此外与 LLM 比较，MLLM 实现了更好的知识推理性能，表明了跨模态迁移有助于知识获取。

由于 KOSMOS-1 模型的参数量为 16 亿，因此有网友表示有望在自己的电脑上运行这个多模态大模型。

KOSMOS-1：一个多模态大型措辞模型

如图 1 所示，KOSMOS-1 是一个多模态措辞模型，它既可以感知一样平常的模态、遵照指令、还能在高下文中学习并天生输出。
详细来说，KOSMOS-1 的主干是一个基于 Transformer 的因果措辞模型。
除了文本之外，其他模态也能被嵌入并输入到该模型中，如下图中，除了措辞还有视觉、语音等的嵌入。
Transformer 解码器用作多模态输入的通用接口。
一旦模型演习完成，KOSMOS-1 在零样本和少样本设置中也能对措辞任务和多模态任务进行评估。

Transformer 解码器以统一的办法感知模态，输入信息会被 flatten 为带有分外 token 的序列。
例如

表示序列开始、 表示序列结束。
分外 token

和 表示编码图像嵌入的开始和结束。

嵌入模块将文本 token 和其他输入模态编码成向量表示，对付输入 token，该研究利用查找表将其映射到嵌入中。
对付连续旗子暗记模态（例如，图像和音频），也可以将输入表示为离散编码。

之后，得到的输入序列嵌入会被馈送到基于 Transformer 的解码器。
然后因果模型以一种自回归的办法处理序列，从而产生下一个 token。
总而言之，MLLM 框架可以灵巧地处理各种数据类型，只要将输入表示为向量即可。

模型演习

首先是演习数据集。
数据集包括文本语料库、图像 - 字幕对、图像和文本交叉数据集。
详细而言，文本语料库包括 The Pile 、Common Crawl (CC)；图像 - 字幕对包括 English LAION-2B、LAION-400M、COYO-700M 以及 Conceptual Captions；图像和文本交叉多模态数据集来自 Common Crawl snapshot。

数据集有了，然后是演习设置。
MLLM 组件包含 24 层、隐蔽维度是 2048、8192 个 FFN 和 32 个把稳力头、参数量为 1.3B。
为了使模型更好的收敛，图像表示是从具有 1024 个特色维度的预演习 CLIP ViT-L/14 模型得到的。
图像在演习过程中被预处理为 224×224 分辨率，此外，演习期间除了末了一层，所有的 CLIP 模型参数被冻结。
KOSMOS-1 的参数总数约为 1.6B。

实验结果

该研究进行了一系列丰富的实验来评价 KOSMOS-1 ：措辞任务（措辞理解、措辞天生、 OCR-free 文本分类）；跨模态迁移（知识推理）；非措辞推理（ IQ 测试）；感知 - 措辞任务（图像字幕、视觉问答、网页问答）；视觉任务（零样本图像分类、带有描述的零样本图像分类）。

图像字幕。
下表给出了不同模型在 COCO 和 Flickr30k 上的零样本性能。
比较其他模型，KOSMOS-1 均取得了显著效果，乃至在参数量远小于 Flamingo 的根本上，性能也不错。

下表为少样本性能比拟：

视觉问答。
KOSMOS-1 比 Flamingo-3B 和 Flamingo-9B 模型具有更高的准确率和鲁棒性：

下表为少样本性能比拟：

IQ 测试。
瑞文推理测验是评估非措辞推理最常见的测试之一。
图 4 显示了一个示例。

表 6 显示了在 IQ 测试数据集上的评估结果。
KOSMOS-1 能够在非措辞环境中感知抽象观点模式，然后在多个选择中推理出之后的元素。
据理解，这是首次有模型可以实行此类零样本 Raven IQ 测试。

网页问答。
网页问答旨在从网页中找到问题的答案。
它哀求模型既能理解文本的语义，又能理解文本的构造。
结果如下：

多模态思维链提示。
受思维链提示的启示，本文对这方面进行了实验。
如图 5 本文将感知措辞任务分解为两个步骤。
在第一阶段给定图像，利用提示来勾引模型天生符合哀求的输出，以产生终极结果。

从表 9 可以看出，多模态思维链提示的得分为 72.9 分，比标准提示赶过 5.8 分：