真·大语言模型Stable Diffusion时刻？StableLM开源，70亿参数在线体验

大语言模型之战，Stability AI也下场了。

近日， Stability AI宣布推出他们的第一个大语言模型——StableLM。划重点：它是开源的，在GitHub上已经可用。

模型从3B和7B参数开始，随后会有15B到65B的版本。

并且， Stability AI还发布了用于研究的RLHF微调模型。

项目地址：https://github.com/Stability-AI/StableLM/

虽然OpenAI不open，但开源的社区已经百花齐放了。以前我们有Open Assistant、Dolly 2.0，现在，我们又有了StableLM。

实测体验

现在，我们可以在Hugging Face上试试StableLM微调聊天模型的demo。

具体StableLM能做到什么程度，一看便知。

比如，你可以问它如何制作花生酱三明治时，它会给你一个复杂、略显荒谬的食谱。

或者写一首神经网络与符号人工智能的史诗级说唱对决：

再或者写一封「吉祥话邮件」（文本生成）：

以及，用C语言计算生命的意义（代码生成）：

不过，有国外的媒体记者亲测了一下StableLM，结果发现：在一本正经地胡说八道这方面，它跟前辈ChatGPT比起来，也是不遑多让。

比如，如果问它2021年1月6日那天发生了什么？它会告诉你：特朗普的支持者控制了立法机关。

如果Stable LM预期的主要用途并不是文本生成，那它可以做什么呢？

如果拿这个问题亲自问它，它会说出这样一些套话，「它主要用作系统工程和体系结构中的决策支持系统，也可以用于统计学习、强化学习等领域。」

另外，Stable LM显然缺乏对某些敏感内容的保护。比如，给它进行一下著名的「不要赞美希特勒」测试，它的回答也是令人大跌眼镜。

不过，咱们倒是不急着管它叫「有史以来最糟糕的语言模型」，毕竟它是开源的，因此这个黑匣子AI允许任何人窥视盒子内部，查一查到底是哪些潜在原因导致了这个问题。

StableLM

Stability AI官方声称：Alpha版本的StableLM有30亿和70亿个参数，之后还有150亿到650亿参数的后续版本。

StabilityAI还豪横地表示，开发者随便用。只要遵守相关条款，不管是检查、应用还是改编基础模型，想怎么来怎么来。

StableLM功能强大，不光可以生成文本和代码，还能给下游应用提供技术基础。它是一个很好的范例，展示了小型、高效的模型通过适当训练就可以有足够高的性能。

早年间，Stability AI和非营利性研究中心Eleuther AI一起开发过早期的语言模型，可以说，Stability AI积淀很深。

像什么GPT-J、GPT-NeoX和Pythia，这都是两家公司合作训练的产物，在The Pile开源数据集上训练完成。

而后续的更多开源模型，比如Cerebras-GPT和Dolly-2都是上面三兄弟的后续产品。

说回StableLM，它是在建立在The Pile基础上的新数据集上训练的，该数据集包含1.5万亿个token，大约是The Pile的3倍。模型的上下文长度为4096个token。

在即将发布的技术报告中，Stability AI会公布模型的规模和训练设置。

作为概念验证，团队用斯坦福大学的Alpaca对模型进行了微调，并使用了最近的五个对话代理的数据集的组合：斯坦福大学的Alpaca、Nomic-AI的gpt4all、RyokoAI的ShareGPT52K数据集、Databricks labs的Dolly和Anthropic的HH。

这些模型将作为StableLM-Tuned-Alpha发布。当然，这些微调过的模型仅仅用于研究，属于非商业性质。

后续，Stability AI还将会公布新数据集的更多细节。

其中，新数据集十分丰富，这也是为什么StableLM的性能很棒。虽说参数规模目前来看还是有点小（和GPT-3 1750亿个参数相比是这样的）。

Stability AI表示，语言模型是数字时代的核心，我们希望每个人都能在语言模型中有发言权。

而StableLM的透明性。可访问性、支持性等特点也是践行了这个观念。

• StableLM的透明性：

体现透明性最好的方式就是开源。开发者可以深入到模型内部，验证性能、识别风险，并且一同开发一些保护措施。有需要的公司或部门还可以就着自己的需求对该模型进行调整。

• StableLM的可访问性：

日常用户可以随时随地在本地设备上运行该模型。开发人员可以应用模型来创建并使用硬件兼容的独立应用程序。这样一来，AI所带来的经济利益就不会被某几个企业瓜分，红利属于所有日常用户和开发者社群。

这是封闭模型所做不到的。

• StableLM的支持性：

Stability AI建立模型支持用户们，而不是取代。换句话说，开发出来便捷好用的AI是为了帮助人们更高效地处理工作，提供人们的创造力、生产力。而非试图开发一个天下无敌的东西取代一切。

Stability AI表示，目前这些模型已经在GitHub公布，未来还会有完整的技术报告问世。

Stability AI期待和广泛的开发者和研究人员进行合作。同时，他们还表示将启动众包RLHF计划，开放助手合作，为AI助手创建一个开源的数据集。

开源先驱之一

Stability AI这个名字，对我们来说已经是如雷贯耳了。它正是大名鼎鼎的图像生成模型Stable Diffusion背后的公司。

如今，随着StableLM的推出，可以说Stability AI在用AI造福所有人的路上越走越远了。毕竟，开源一向是他们的优良传统。

在2022年，Stability AI提供了多种方式让大家使用Stable Diffusion，包括公开demo、软件测试版和模型的完整下载，开发人员可以随意使用模型，进行各种集成。

作为一个革命性的图像模型，Stable Diffusion代表着一个透明、开放和可扩展的专有AI替代方案。

显然，Stable Diffusion让大家看到了开源的各种好处，当然也会有一些无法避免的坏处，但这无疑是一个有意义的历史节点。

（上个月，Meta的开源模型LLaMA的一场「史诗级」泄漏，产生了一系列表现惊艳的ChatGPT「平替」，羊驼家族像宇宙大爆炸一样噌噌地诞生：Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……）

不过，Stability AI也警告说，虽然它使用的数据集应该有助于「将基本的语言模型引导至更安全的文本分布中，但并不是所有的偏见和毒性都可以通过微调来减轻。」

争议：该不该开源？

这些天，我们见证了开源文本生成模型井喷式的增长，因为大大小小的公司都发现了：在越来越有利可图的生成式AI领域，出名要趁早。

过去一年里，Meta、Nvidia和像 Hugging Face支持的BigScience项目这样的独立团体，都发布了与GPT-4和Anthropic的Claude这些「私有」API模型的平替。

很多研究者严厉地批评了这些跟StableLM类似的开源模型，因为可能会有不法分子别有用心地利用它们，比如创建钓鱼邮件，或者协助恶意软件。

但Stablity AI坚持认为：开源就是最正确的路。

Stability AI强调，「我们把模型开源，是为了提高透明度和培养信任。研究人员可以深入了解这些模型，验证它们的性能、研究可解释性技术、识别潜在风险，并协助制定保护措施。」

「对我们模型的开放、细粒度访问，允许广大的研究和学术界人士，开发出超越封闭模型的可解释性和安全技术。」

Stablity AI的说法确实有道理。就算是GPT-4这样具有过滤器和人工审核团队的业内顶尖模型，也无法避免毒性。

并且，开源模型显然需要更多的努力来调整、修复后端——特别是如果开发人员没有跟上最新的更新的话。

其实追溯历史，Stability AI从来没有回避过争议。

前一阵，它就处于侵权法律案件的风口浪尖，有人指控它使用网络抓取的受版权保护的图像，开发AI绘图工具，侵犯了数百万艺术家的权利。

另外，已经有别有用心的人，利用Stability的AI工具，来生成许多名人的深度伪造色情图片，和充满暴力的图片。

尽管Stability AI在博文中，强调了自己的慈善基调，但Stability AI也面临着商业化的压力，无论是艺术、动画、生物医学，还是生成音频领域。

Stability AI CEO Emad Mostaque已经暗示了要上市的计划，Stability AI去年估值超过了10亿美元，并且获得了超过1亿美元的风投。不过，据外媒Semafor报道，Stability AI「正在烧钱，但在挣钱方面进展缓慢。」