zero
-
微软推出 ZeRO++ 技术，可显著减少 AI 大模型训练时间和成本
6 月 27 日消息，微软研究人员日前推出了名为 ZeRO++ 的新技术，用于优化在训练大型 AI 模型时，容易遇到的数据传输成本和带宽限制的难题，可显著减少大模型训练时间和成本。…
-
打破不可能三角、比肩5400亿模型，IDEA封神榜团队仅2亿级模型达到零样本学习SOTA
自从 GPT-3 问世，展现出千亿级模型的强大实力以来，NLP 任务面临着规模、样本、Fine-tuning 性能的不可能三角。如何在保证 10 亿参数以下的语言模型可以达到 SO…
