Transformer模型出自于Google团队2017年发表的论文《Attention is all you need》，该论文中首次提出了使用Attention替换Seq2Seq模型循环结构的概念，给NLP领域带来了极大冲击。且随着近年来研究的不断推进，Transformer相关技术逐渐由自然语言处理流向其他领域。截止目前，Transformer系列模型已经成为了NLP、CV、ASR等领域的主流模型。
因此，如何更快地训练和推理Transformer模型已成为业界的一个重要研究方向。低精度量化技术能够通过降低数据的宽位来加速计算和通信过程，是现阶段模型训练推理加速的一个重要手段。但美中不足的是，量化会造成精度和效果的损失，需要通过量化感知和训练等手段进行降损。针对以上痛点，字节跳动研发升级了LightSeq训练推理加速引擎3.0版本，首次同步实现了精度无损的Transformer模型量化训练和量化推理。
LightSeq通过int8 GEMM实现了真量化训练过程，并非采用业界广泛使用的伪量化方法，能够实现模型训练速度4倍以上的提升。而通过PACT等量化策略，可以将量化训练的损失降到最低。在将量化模型导出为LightSeq支持格式后，可以进一步使用LightSeq量化推理引擎实现快速推理，在T4显卡上提速最高可达70%。
在7月21日的【T·TALK】技术分享活动中，我们特别邀请到了字节跳动算法工程师、LightSeq核心开发者熊鹰老师做客直播间，为广大观众揭秘字节跳动高性能训练推理引擎LightSeq的技术原理与实践细节。无论你是算法行业从业人员，还是热衷于钻研AI技术的开发者，相信你都能从本次分享中收获一些别样的技术经验与创新灵感。
欢迎大家参与7月21日，晚上20:00【T·TALK】第12期技术分享活动
扫海报下方二维码预约观看
文章版权声明
1 原创文章作者：8066，如若转载，请注明出处： https://www.52hwl.com/40823.html
2 温馨提示：软件侵权请联系469472785#qq.com（三天内删除相关链接）资源失效请留言反馈
3 下载提示：如遇蓝奏云无法访问，请修改lanzous(把s修改成x)
4 免责声明：本站为个人博客，所有软件信息均来自网络 修改版软件，加群广告提示为修改者自留，非本站信息，注意鉴别
微信扫一扫 
支付宝扫一扫 