跳到正文
V2EX· tianmenshan·· 3 小时前AI 评分38

AIask 上线新模型 mercury-3,以扩散生成推理加速响应

[推广] [AIask]上线新模型 mercury-3,以扩散生成推理方式加速模型响应速度

AI 导读

AIask 上线扩散式语言模型 mercury-3,面向重视响应速度的应用场景,先生成答案草稿再经多轮迭代修改,可一次生成多个词语。据称其在英伟达显卡上吞吐量达每秒 1068 个词元,而 Claude Haiku 5.5 约为 240 个、GPT-6 Luna 约为 130 个。该模型重点面向 AI 代理、搜索、客服、辅导等场景推广,需注册后创建 API 密钥并选择默认分组使用。

来源:V2EX · v2ex.com