GoForum › 🌐 V2EX
这个推理速度也太快了吧！ chatjimmy.ai 比查 db 都快啊！
rmrf ·
2026-02-21 10:52 ·
0 次点赞 · 12 条回复
chatjimmy.ai 可以体验 “Taalas 推出首款产品 HC1 ，搭载 Llama 3.1 8B 模型，性能达每用户 17,000 tokens/秒，较现有技术快近 10 倍，制造成本降低 20 倍，功耗减少 10 倍。该模型虽采用自定义 3-bit 数据格式，存在轻微精度损失，但第二代产品将采用标准 4-bit 浮点格式，进一步优化性能。”
12 条回复
catazshadow · 2026-02-21 11:57
大暴死的节奏，AI 的死穴是正确性，不是傻快
@catazshadow 这才开始，后面慢慢优化起来，很有想象力啊。
catazshadow · 2026-02-21 13:52
@rmrf 这条路的尽头是 cerebras 那样的晶圆级芯片
https://www.cerebras.ai/blog/openai-codexspark
这么大的东西能跑每秒 1000token ，比这个小的要么比它傻要么比它慢
「别管对不对，就说快不快吧」
添加回复
你还需要 登录
后发表回复
试了下，快是快，智商不太够，很多逻辑题答案给出的错误的