登录

AI 的吞金兽 -- 单独开贴,因为太重要了【欢迎补充 - 经验交流】

654
  • 楼主 编辑于

    这是一个实际花费 3usd,而交付只值 1 毛的案例,跑了上百步,等了半小时以上😮‍💨
    后面的我慢慢写。

    关键成本启示:谁才是真正的 “吞金兽”?

    很多人直觉认为 “模型思考与生成文字单价最高,所以推理输出最贵”。但从这次实测数据可以看出:

    *     推理生成只占 2.5%:虽然生成单价是输入的 2~4 倍,但因为整个会话生成量只有 53k tokens,总支出仅一毛钱出头。
    *     上下文冷输入占了 75% 的绝对大头:在会话后期,单步上下文已膨胀到 150k。
    一旦发生模型切换、网络超时重试、或者工具返回大块输出导致服务端 Prompt Cache 失效,只要有 1 次“全量冷输入重算”,
    单步就要吞掉 150k 全价 Token(相当于模型生成 75,000 字的费用)!
    *     结论: 控制上下文膨胀与及时切新会话,比节约输出字数重要 30 倍。 任务阶段性闭环后,立即将结论落盘推仓并新开轻量会话,是性价比最高的工程实践。
    

    彻底杜绝超大上下文与 Rebill 重试风暴的 3 条铁律

    • 上下文超 80k 即行拆分(换会话或归档):当会话步数达到 30-40 步、状态栏累计 Token 超过 3M-5M 时,主动进行任务切段,新开会话接续,
        		永远不要把单会话推到 150k 的悬崖边缘。
      
    • 大日志与全量测试严禁回显(落实纪律 4):在旧会话中,测试脚本扫描 288 个仓库并把大量扫描结果打屏,直接把上下文冲到了 120k。
       正确姿势:命令一律重定向至临时文件,如 bash test.sh > /tmp/test.log 2>&1 && tail -n 30 /tmp/test.log。
      
    • 耗时超 2 分钟的构建/批量测试交由 Subagent 跑(纪律 3):把运行长测试、跑隔离镜像这类重活交给独立子代理(Subagent),
        		子代理运行完只回传一段结论给主会话,主会话上下文始终保持轻盈。
      
    收藏支持反对打赏

4 条回复

发表回复