70B模型，秒出1000token，换算成字符接近4000！研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。这项成果，来自爆火的AI编程神器Cursor背后团队anysphere，OpenAI也参与过投资。要知道在以快著称的推理加速框架Groq上，70B Llama3的推理速度也不过每秒300多tok...
