morphte
-
词嵌入表示参数占比太大？MorphTE方法20倍压缩效果不减
引言 词嵌入表示作为机器翻译、问答、文本分类等各种自然语言处理任务的基础，它通常会占到模型参数总量的 20%~90%。存储和访问这些嵌入需要大量的空间，这不利于模型在资源有限的设备…
引言 词嵌入表示作为机器翻译、问答、文本分类等各种自然语言处理任务的基础，它通常会占到模型参数总量的 20%~90%。存储和访问这些嵌入需要大量的空间，这不利于模型在资源有限的设备…
