登录

AI 的吞金兽 -- 单独开贴,因为太重要了【欢迎补充 - 经验交流】

1099
  • 楼主 编辑于

    这是一个实际花费 3usd,而交付只值 1 毛的案例,跑了上百步,等了半小时以上😮‍💨
    后面的我慢慢写。

    关键成本启示:谁才是真正的 “吞金兽”?

    很多人直觉认为 “模型思考与生成文字单价最高,所以推理输出最贵”。但从这次实测数据可以看出:

    *     推理生成只占 2.5%:虽然生成单价是输入的 2~4 倍,但因为整个会话生成量只有 53k tokens,总支出仅一毛钱出头。
    *     上下文冷输入占了 75% 的绝对大头:在会话后期,单步上下文已膨胀到 150k。
    一旦发生模型切换、网络超时重试、或者工具返回大块输出导致服务端 Prompt Cache 失效,只要有 1 次“全量冷输入重算”,
    单步就要吞掉 150k 全价 Token(相当于模型生成 75,000 字的费用)!
    *     结论: 控制上下文膨胀与及时切新会话,比节约输出字数重要 30 倍。 任务阶段性闭环后,立即将结论落盘推仓并新开轻量会话,是性价比最高的工程实践。
    

    彻底杜绝超大上下文与 Rebill 重试风暴的 3 条铁律

    • 上下文超 80k 即行拆分(换会话或归档):当会话步数达到 30-40 步、状态栏累计 Token 超过 3M-5M 时,主动进行任务切段,新开会话接续,
        		永远不要把单会话推到 150k 的悬崖边缘。
      
    • 大日志与全量测试严禁回显(落实纪律 4):在旧会话中,测试脚本扫描 288 个仓库并把大量扫描结果打屏,直接把上下文冲到了 120k。
       正确姿势:命令一律重定向至临时文件,如 bash test.sh > /tmp/test.log 2>&1 && tail -n 30 /tmp/test.log。
      
    • 耗时超 2 分钟的构建/批量测试交由 Subagent 跑(纪律 3):把运行长测试、跑隔离镜像这类重活交给独立子代理(Subagent),
        		子代理运行完只回传一段结论给主会话,主会话上下文始终保持轻盈。
      
    收藏支持 1反对打赏

9 条回复

  • #1

    能干啥

  • #2

    这是什么

  • #3

    路过顶帖子

    个性签名

    搏一搏,单车变摩托,赌一赌,摩托变路虎。不怕输的苦,就怕断了赌。小赌养家糊口,大赌发家致富!

  • 站长
    #4

    我觉得 ai 写代码 如果只是新写 修改不要什么。

    但是要全量审计,就特别消耗。

  • #5

    其实还有一个隐藏的原因,就是 AI 在上下文特别长的情况下,容易顾头不顾尾。最简单的一个场景是,AI 把你刚刚提出的要求完成了之后,它会忘记你前几轮提出的要求。但是你前几轮提出的要求,是和这次的要求是对应的,AI 有时候无法理解

    但是当你问 AI 是否能看到之前的这些要求的时候,AI 可以明确说它是能看到的,也就是说这个上下文它没有被掐断

    在这方面的试错,或者说改错的时候,也特别费 Token

    楼主:

    是的;典型的是注意力丢失,丢给 AI 数万字之后他忘了该做什么,哪怕上限是 1M。甚至会忘了调用 present 交付结果,我今天正好也记下这个坑,链接这里;所以解决办法是先减少上下文,尽量精准;如果步骤多,清晰的交代任务很关键。搜索是第一步,我先解决了。这里有个漂亮的例子😄

    #7
    共 1 条回复
  • #6

    太烧钱了

  • #8

    不太关注这个,自家模型的 cli 应该适配都还好吧

    楼主:

    codex 么 也是暴力搜索的,部分暴力部分有优化。 我看到有反馈说 codex 读写硬盘非常频繁。 我在准备改造成标准 mcp,可以给各种 agent 用。

    #9
    共 1 条回复

发表回复