3 月 8 日消息，周一，来自谷歌和柏林工业大学的一组人工智能研究人员推出了史上最大的视觉语言模型 ——PaLM-E，参数量高达 5620 亿（GPT-3 的参数量为 1750 亿）。
PaLM-E 是迄今为止已知的最大 VLM（视觉语言模型）。作为一种多模态具身 VLM，它不仅可以理解图像，还能理解、生成语言，执行各种复杂的机器人指令而无需重新训练。它还展示出了强大的涌现能力（模型有不可预测的表现）。
据谷歌称，当得到一个高级命令，如“把抽屉里的米片拿给我”，PaLM-E 可以为带有手臂的移动机器人平台（由谷歌机器人公司开发）生成一个行动计划，并自行执行这些行动。
PaLM-E 通过分析来自机器人摄像头的数据来实现这一目标，而无需对场景进行预处理。这消除了人类对数据进行预处理或注释的需要，使机器人控制更加自主。
PaLM-E 还很有弹性，能够对环境做出反应。例如，PaLM-E 模型可以引导机器人从厨房里拿一袋薯片，由于 PaLM-E 集成到了控制回路中，它对任务中可能发生的中断有了抵抗力。在一个视频例子中，一名研究人员从机器人手中抓起薯片并移动它们，但机器人找到了薯片并再次抓起它们。
另外，PaLM-E 模型也可控制机器人自主完成原需人类指导的复杂任务。除了机器人技术外，谷歌研究人员还观察到使用大型语言模型作为 PaLM-E 核心的几个有趣效果，其中一个是 PaLM-E 能表现出“正向转移”，这意味其可将从一个任务中学到的知识和技能转移到另一个任务中，相较单任务机器人模型能有更好的表现。
谷歌研究人员计划未来将探索 PaLM-E 在现实世界中有更多应用，例如家庭自动化或工业机器人，也希望 PaLM-E 能够激发更多关于多模态 AI 的应用。
IT之家曾报道，身为谷歌 AI 劲敌的微软近期也发表了「ChatGPT for Robotics」的论文，以类似的方式结合视觉数据和大型语言模型来控制机器人。
文章版权声明
1 原创文章作者：发如雪@，如若转载，请注明出处： https://www.52hwl.com/60398.html
2 温馨提示：软件侵权请联系469472785#qq.com（三天内删除相关链接）资源失效请留言反馈
3 下载提示：如遇蓝奏云无法访问，请修改lanzous(把s修改成x)
4 免责声明：本站为个人博客，所有软件信息均来自网络 修改版软件，加群广告提示为修改者自留，非本站信息，注意鉴别
微信扫一扫 
支付宝扫一扫 