登录

Anthropic 借助 Claude,用 Rust 重写服务 API,CPU 用量降四至五成

726
  • 楼主

    Anthropic 的 Messages API 最初是跑在单一 GCP 区域的 Python 单体服务。随着流量增长,CPU(而非 GPU)成为瓶颈。团队决定整体迁移到 Rust,尽管起步时 “会议室里一个 Rust 开发者都没有”

    工程师负责系统设计和验证,Claude 负责代码实现。团队通过对照新旧系统的输出来验证迁移结果。迁移后 CPU 用量降低约 40% 至 50%,首个 token 的响应时间缩短约 10% 至 20%。

    用 Rust 重写世界

    收藏支持反对打赏

6 条回复

发表回复