token
-
GPT-4最大竞争对手Claude 2震撼发布！一次10万token免费用，代码、数学、推理史诗级提升
ChatGPT的最大竞争对手Anthropic再次上新！ 就在刚刚，Anthropic正式发布了全新的Claude 2，并推出了更加便捷的网页测试版（仅限美国和英国的IP）。 相较…
-
1000000000！微软改进Transformer一次能记住这么多token了
微软亚研院最新研究，有点震撼： 他们开发了一个Transformer变体，居然将其token拓展到了10亿。 图片 什么概念？ 目前最强的GPT-4也才最大支持一次处理32k&nb…
-
微软新出热乎论文：Transformer扩展到10亿token
当大家不断升级迭代自家大模型的时候，LLM（大语言模型）对上下文窗口的处理能力，也成为一个重要评估指标。 比如明星大模型 GPT-4 支持 32k token，相当于 50 页的文…
-
田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘
Transformer架构已经横扫了包括自然语言处理、计算机视觉、语音、多模态等多个领域，不过目前只是实验效果非常惊艳，对Transformer工作原理的相关研究仍然十分有限。 其…
-
谷歌 PaLM 2 训练所用文本数据量是初代的近五倍
5月17日消息，谷歌上周在2023年I/O开发者大会上推出最新大型语言模型PaLM 2。公司内部文件显示，自2022年起训练新模型所使用的文本数据量几乎是前一代的5倍。 …
-
一次读完半本「三体」！GPT-4最强竞品突然升级10万token，啃论文代码演示全搞定
在GPT-4 32K还在内测阶段，OpenAI的劲敌直接把上下文长度打了上去。 就在今天，初创公司Anthropic宣布，Claude已经能够支持100K的上下文token长度，也…
-
真·量子速读：突破GPT-4一次只能理解50页文本限制，新研究扩展到百万token
一个多月前，OpenAI 的 GPT-4 问世。除了各种出色的直观演示外，它还实现了一个重要更新：可以处理的上下文 token 长度默认为 8k，但最长可达 32K（大约 50 页…
-
500万token巨兽，一次读完全套「哈利波特」！比ChatGPT长1000多倍
记性差是目前主流大型语言模型的主要痛点，比如ChatGPT只能输入4096个token（约3000个词），经常聊着聊着就忘了之前说什么了，甚至都不够读一篇短篇小说的。 过短的输入窗…
-
四个00后的疯狂开源计划：整个互联网转成大模型语料，1亿token嵌入成本只需1美元
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 Arxiv上所有论文转成Token，加起来不过14.1GB而已。 这是最新爆火开源计划亚历山大完成的壮…
-
一次10万token！GPT4最强对手史诗升级，百页资料一分钟总结完毕
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 号称ChatGPT“最强竞争对手”的Claude，今天迎来史诗级更新—— 模型记忆力原地起飞，现在1分…
-
一定要「分词」吗？Andrej Karpathy：是时候抛弃这个历史包袱了
ChatGPT 等对话 AI 的出现让人们习惯了这样一件事情：输入一段文本、代码或一张图片，对话机器人就能给出你想要的答案。但在这种简单的交互方式背后，AI 模型要进行非常复杂的数…
-
彻底解决ChatGPT健忘症！突破Transformer输入限制：实测支持200万个有效Token
ChatGPT，或者说Transformer类的模型都有一个致命缺陷，就是太容易健忘，一旦输入序列的token超过上下文窗口阈值，后续输出的内容和前文逻辑就对不上了。 ChatGP…
