vllm
-
比HuggingFace快24倍！伯克利神级LLM推理系统开源，碾压SOTA，让GPU砍半
过去2个月，来自UC伯克利的研究人员给大语言模型们安排了一个擂台——Chatbot Arena。 GPT-4等大语言模型玩家打起了「排位赛」，通过随机battle，根据Elo得分来…
-
小羊驼背后的英雄，伯克利开源LLM推理与服务库：GPU减半、吞吐数十倍猛增
随着大语言模型（LLM）的不断发展，这些模型在很大程度上改变了人类使用 AI 的方式。然而，实际上为这些模型提供服务仍然存在挑战，即使在昂贵的硬件上也可能慢得惊人。 现在这种限制正…
