上海数字大脑研究院发布国内首个多模态决策大模型DB1，可实现超复杂问题快速决策

近日，上海数字大脑研究院（以下简称 “数研院”）推出首个数字大脑多模态决策大模型（简称 DB1），填补了国内在此方面的空白，进一步验证了预训练模型在文本、图 – 文、强化学习决策、运筹优化决策方面应用的潜力。目前，DB1代码我们已开源在Github，项目链接：https://github.com/Shanghai-Digital-Brain-Laboratory/BDM-DB1。

此前，数研院提出 MADT（https://arxiv.org/abs/2112.02845）/MAT（https://arxiv.org/abs/2205.14953）等多智能体模型，在一些离线大模型通过序列建模，使用 Transformer 模型在一些单 / 多智能体任务上取得了显著效果，并持续在该方向上进行研究探索。

过去几年，随着预训练大模型的兴起，学术界与产业界在预训练模型的参数量与多模态任务上不断取得新的进展，大规模预训练模型通过对海量数据和知识的深度建模，被认为是通往通用人工智能的重要路径之一。专注决策智能研究的数研院创新性地尝试将预训练模型的成功复制到决策任务上，并且取得了突破。

多模态决策大模型 DB1

此前，DeepMind 推出 Gato，将单智能体决策任务、多轮对话和图片 – 文本生成任务统一到一个基于 Transformer 的自回归问题上，并在 604 个不同任务上取得了良好表现，显示出通过序列预测能够解决一些简单的强化学习决策问题，这在侧面验证了数研院在决策大模型研究方向的正确性。

此次，数研院推出的 DB1，主要对 Gato 进行了复现与验证，并从网络结构与参数量、任务类型与任务数量两方面尝试进行了改进：

• 参数量与网络结构：DB1 参数量达 12.1 亿。在参数量上尽量做到与 Gato 接近。整体来说，数研院使用了与 Gato 类似的结构（相同的 Decoder Block 数量、隐层大小等），但在 FeedForwardNetwork 中，由于 GeGLU 激活函数会额外引入 1/3 的参数量，数研院为了接近 Gato 的参数量，使用 4 * n_embed 维的隐层状态经过 GeGLU 激活函数后变成 2 * n_embed 维的特征。在其他方面，我们与 Gato 的实现一样在输入输出编码端共享了 embedding 参数。不同于 Gato，在 layer normalization 的选择上我们采用了 PostNorm 的方案，同时我们在 Attention 上使用混合精度计算，提高了数值稳定性。
  ​
• 任务类型与任务数量：DB1 的实验任务数量达 870，较 Gato 提升了 44.04%，较 Gato 在 >=50% 专家性能上提升 2.23%。具体任务类型上，DB1 大部分继承了 Gato 的决策、图像和文本类任务，各类任务数量基本维持一致。但在决策类任务方面，DB1 另外引入了 200 余个现实场景任务，即 100 和 200 节点规模的旅行商问题（TSP，此类任务在所有中国主要城市随机选择 100-200 个地理位置作为结点表征）求解。

可以看到的是，DB1 整体表现已经与 Gato 达到同一水平，并已经开始向更加贴近实际业务的需求领域体进化，很好地求解了 NP-hard 的 TSP 问题，而此前 Gato 并未在此方向探索。

DB1 (右) 与 GATO （左）指标对比

DB1 在强化学习模拟环境上的多任务性能分布

相较于传统的决策算法，DB1 在跨任务决策能力和快速迁移能力上都有不错的表现。从跨任务决策能力和参数量来说，实现了从单一复杂任务的千万 – 亿级别参数量到多个复杂任务的十亿级别参数的跨越，并持续增长，并且具备解决复杂商业环境中的实际问题的充分能力。从迁移能力来说，DB1 完成了从智能预测到智能决策、从单智能体到多智能体的跨越，弥补传统方法在跨任务迁移方面的不足，使得在企业内部建立大模型成为可能。

不可否认的是，DB1 在开发过程也遇到了很多难点，数研院进行了大量尝试，可为业内在大规模模型训练及多任务训练数据存储方面提供一些标准解决路径。由于模型参数到达 10 亿参数规模且任务规模庞大，同时需要在超过 100T（300B+ Tokens）的专家数据上进行训练，普通的深度强化学习训练框架已无法满足在该种情况下的快速训练。为此，一方面，针对分布式训练，数研院充分考虑强化学习、运筹优化和大模型训练的计算结构，在单机多卡和多机多卡的环境下，极致利用硬件资源，巧妙设计模块间的通讯机制，尽可能提升模型的训练效率，将 870 个任务的训练时间缩短到了一周。另一方面，针对分布式随机采样，训练过程所需数据索引、存储、加载以及预处理也成为相应瓶颈，数研院在加载数据集时采用了延迟加载模式，以解决内存限制问题并尽可能充分利用可用内存。此外，在对加载数据进行预处理后，会将处理过的数据缓存至硬盘中，便于此后可直接加载预处理完成的数据，缩减重复预处理带来的时间和资源成本。

目前，国际国内头部企业与研究机构如 OpenAI、Google、Meta、华为、百度和达摩院等都已经进行了多模态大模型相关的研究并且有了一定商业化尝试，包括在自身产品中应用或者提供模型 API 和相关行业解决方案。相比之下，数研院更关注决策问题，同时支持游戏 AI 决策任务、运筹优化 TSP 求解任务、机器人决策控制任务、黑盒优化求解任务与多轮对话任务上进行应用尝试。

任务表现

运筹优化：TSP 问题求解

以中国部分城市为节点的 TSP 问题

强化学习任务视频演示

DB1 模型在完成 870 个不同决策任务的离线学习后，其评估结果显示有 76.67% 的任务达到或超过 50% 的专家水平。以下是一些任务的效果展示。

• 电子游戏场景：DB1 可以接收 2D/3D 图像输入，并且很好地完成类如 Atari，Procgen 在内的 2D 像素游戏，同时对于 DMLab 这种与真实世界较为相似的 3D 图像输入任务，DB1 也表现出了良好的性能。

Atari Breakout

DMLab  Explore Object Locations

Procgen DogBall

• 连续控制场景：在机器人领域的连续控制任务上，DB1 也能够建模连续动作的策略输出，并且良好地完成仿真任务上。

Metaworld PlateSlide

ModularRL Cheetah

文本 – 图像任务

• 文本生成：给出一段文字提示，生成长文本描述
• 输入提示：digital brain laboratory is a shanghai based
• 生成结果：digital brain laboratory is a shanghai based company and we are looking for a highly skilled and experienced person to join our team in shanghai, china.
  we are a digital brain lab and we are looking for a highly skilled and experienced person to join our team in shanghai, china.
  this is an opportunity to work for a well known and growing company that is going through a fast growth phase and to have an impact in the market.
  This is a full-time, permanent position.
  We are looking for a highly skilled, motivated and experienced software engineer who can lead a team of 5-10 in a highly competitive environment
• 图像描述生成：给定一张图片生成对应文本描述

当前决策大模型的局限性与未来方向

虽然当前多模态决策预训练模型 DB1 取得了一定效果，但仍存在一定局限性，诸如：跨域任务采样权重敏感、跨域知识迁移困难、长序列建模困难、专家数据强依赖等。虽然存在众多挑战，但现阶段看来，多模态决策大模型是实现决策智能体从游戏走向更广泛场景，从虚拟走向现实，在现实开放动态环境中进行自主感觉与决策，最终实现更加通用人工智能的关键探索方向之一。未来，数研院将持续迭代数字大脑决策大模型，通过更大参数量，更有效的序列表征，接入和支持更多任务，结合离线 / 线训练与微调，实现跨域、跨模态、跨任务的知识泛化与迁移，最终在现实应用场景下提供更通用、更高效、更低成本的决策智能决策解决方案。