杭电小哥抢先搞定GPT读图功能，单卡就能实现新SOTA，代码已开源

本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。

能读图的GPT-4震撼发布了！但要用它还得排队。。。

不如先试试这个～

加上一个小模型，就能让ChatGPT、GPT-3这类目前只能理解文本的大语言模型轻松读图，各种刁钻的细节问题都能手拿把掐。

并且训练这个小模型单卡（一块RTX 3090）就能搞定。

效果呢，直接看图。

比如说，给训练后的GPT-3输入一张“音乐现场”的图片，问它：现场在举办什么活动？

毫不迟疑，GPT-3给出了音乐会的答案。

再来加点难度，再给GPT-3酱紫的一张照片，让它来分辨照片中的帘子是什么类型的材质。

GPT-3：蕾丝。

Bingo！（看来是有点儿东西在身上的）

这个方法呢，是杭州电子科技大学和合肥工业大学的一个团队的最新成果：Prophet，半年前他们就已经着手进行这项工作。

论文一作是杭电研究生邵镇炜，他在1岁那年被诊断患有“进行性脊肌萎缩症”，高考时遗憾与浙大擦肩，选择了离家近的杭州电子科技大学。

目前该论文已经被CVPR2023接收。

跨模态任务上达到新SOTA

话不多说，直接来看在Prophet这种方法的加持下GPT-3的读图能力。

我们先来看看它在数据集上的测试结果。

研究团队在两个基于外部知识的视觉问答数据集OK-VQA和A-OKVQA测试了Prophet，均创造了新SOTA。

更具体点，在OK-VQA数据集上，和Deepmind的拥有80B参数的大模型Flamingo对比，Prophet达到了61.1%的准确率，成功击败Flamingo（57.8%）。

并且在所需要的算力资源上，Prophet也是“吊打”Flamingo。

Flamingo-80B需要在1536块TPUv4显卡上训练15天，而Prophet只需要一块RTX-3090显卡训练VQA模型4天，再调用一定次数的OpenAI API即可。

其实，类似Prophet这种帮助GPT-3处理跨模态任务的方法之前也有，比如说PICa，以及之后的KAT和REVIVE。

不过它们在一些细节问题的处理中，可能就不尽如人意。

举个栗子，让它们一起读下面这张图，然后回答问题：图片中的树会结什么水果？

而PICa、KAT和REVIVE从图片中提取到的信息只有：一群人在广场上走路，完全忽略掉了后面还有一颗椰子树。最终给出的答案也只能靠瞎猜。

而Prophet这边，就不会出现这种情况，它解决了上述方法提取图片信息不充分的问题，进一步激发了GPT-3的潜能。

那Prophet是怎么做的呢？

小模型+大模型

有效提取信息，并准确回答问题，能做到这些Prophet依赖的是它独特的两阶段框架。

这两个阶段也分工明确：

• 第一阶段：根据问题给出一些具有启发性的答案；
• 第二阶段：这些答案会缩一些范围，使GPT-3有充分的空间发挥潜能。

首先是第一阶段，研究团队针对特定的外部知识VQA数据集训练了一个改进的MCAN模型（一个VQA模型）。

训练好模型后，从中提取两种具有启发性的答案：答案候选和答案感知示例。

其中，答案候选是以模型分类层输出的置信度为依据对答案进行排序，选取里面的top10。

答案感知示例时指，将模型分类层之前的特征作为样本的潜在答案特征，这个特征空间中最相近的标注样本。

接下来就是第二阶段，这一步相对来说就很简单粗暴了。

讲上一步得到的“启发性答案”组织到prompt中，然后再将prompt输入给GPT-3，在一定的提示之下完成视觉问答问题。

不过虽然上一步已经给出一些答案提示，但这并不意味着GPT-3就要局限在这些答案中。

若提示给出的答案置信度太低或者正确答案并不在那些提示中，GPT-3完全完全有可能生成新的答案。

研究团队

当然，除了研究成果外，这项研究背后的团队也不得不提。

第一作者邵镇炜在1岁时就确诊“进行性脊肌萎缩症”，是肢体一级残疾，没有生活自理能力，生活和学习需要母亲的全程照顾。

不过虽然身体受限，但邵镇炜对知识的渴求并没有减弱。

2017年高考他拿下644分的高分，以第一名的成绩被杭州电子科技大学计算机专业录取。

期间还获得2018年中国大学生自强之星、2020年度国家奖学金和2021年度浙江省优秀毕业生等荣誉。

本科期间，邵镇炜就已经开始跟着余宙教授进行科研活动。

2021年，邵镇炜在准备研究生推免时与浙大擦肩，于是留校加入了余宙教授课题组攻读硕士研究生，目前他在读研二，研究方向是跨模态学习。

余宙教授则是本次研究论文的二作以及通讯作者，他是杭电计算机学院最年轻的教授，教育部“复杂系统建模与仿真”实验室副主任。

长期以来，余宙专攻多模态智能方向，曾带领研究团队多次获得国际视觉问答挑战赛VQA Challenge的冠亚军。

研究团队的大部分成员都在杭电媒体智能实验室（MIL）。

该实验室由国家杰青俞俊教授负责，近年来实验室围绕多模态学习方向发表一系列高水平期刊会议论文（TPAMI、IJCV、CVPR等），多次获得IEEE期刊会议的最佳论文奖。

实验室主持国家重点研发计划、国家自然科学基金重点项目等国家级项目20余项，曾获得过浙江省自然科学一等奖，教育自然科学二等奖。