登录

小项目的今天里程碑 - 首个 PR - 发布了 1.2.0 增强 AI 的搜索 - 推理速度

60713
  • 楼主 编辑于

    【dsh-gitea-search】发布了 1.2.0 支持了 macos 脚本安装和零起步(不依赖 gitea)

    https://github.com/offzen/dsh-gitea-search

    下面的功能还没加入,有点复杂。
    准备先朝其他方向演进,向量化就先自用了
    有兴趣的可以看 这里 跟火山的对比
    昨天炫了一把速度 😄 https://sb.sb/t/12731/

    ✅ embedding 已于 2026-10-24 全量部署并上线

    组件状态
    Embedding 模型✅ bge-small-zh-v1.5(ONNX,512 维,183MB),TEI cpu-1.5 容器运行
    推理服务✅ pack 常驻容器 tei-query,另有 gate2/gate1/dev2/ams2 四台 worker 兜底
    向量库✅ Qdrant gitorca_docs_v1,93,050 chunks,覆盖 16,123 篇文档
    MCP 工具✅ search_gitorca_semantic + search_gitorca_hybrid(FTS5 + 向量 + RRF 融合)已上线

    刚才那次实测调用正常返回了带 score 的语义命中结果,证明整条链路(查询→TEI 向量化→Qdrant 相似度检索)是活着的。

    它同时承担两种角色,这是标准 RAG 双链路架构:
    1. 语料侧(离线批处理,非实时):文档向量是预先算好的。由 fleet-embed-index.py 分布式批量生成(4 worker 并行,全量 16.3 分钟),之后靠 cron(每小时 20 分)做增量——用 chunk 内容 sha1 比对,只重算新增 / 变更部分,无变化时 12.7 秒即跳过。

    2. 查询侧(实时处理):每次您发起语义检索时,查询文本会实时向量化——走 pack 本机常驻的 tei-query 容器,实测延迟 114–143ms(比早期 ssh worker 方案的 2483ms 快 17 倍);本机 TEI 挂掉时自动兜底切到远程 worker。

    3. 语义检索速度 经 21 条真实 query 实测:单 FTS5 命中 95.2%、单向量 90.5%、RRF 融合 100%


    收藏支持反对打赏

13 条回复

  • 楼主 编辑于
    #1

    为了跑语义小模型,把小鸡们都叫起来干活了😄
    实际不用这么多,2-3C 的 epyc milan 就够在 2 小时内跑完。我准备了 24 核心以上搞这个架构,以后还可以跑别的。
    image.webp
    image.webp

  • 亮了 1#2

    1.2.0 零起步很方便

    个性签名

    我是joker,你好,我要梭哈了

    楼主:

    你让 AI 部署么 顺利不 期待分享

    #10
    回复 orca:

    还没用,之前用过朋友搞的,最近在搞生图生视频模型部署的,玩一玩

    #11亮了 1
    共 2 条回复
  • #3

    路过帮顶

    个性签名

    cofo.co.fo

  • #4

    牛啊兄弟

  • #5

    小白不懂。这个是做什么用的!无语

    楼主:

    加速 省钱 主要就这目的😄

    #6
    共 1 条回复
  • 楼主 编辑于
    #7

    关键成本启示:谁才是真正的 “吞金兽”?

    很多人直觉认为 “模型思考与生成文字单价最高,所以推理输出最贵”。但从这次实测数据可以看出:

    *     推理生成只占 2.5%:虽然生成单价是输入的 2~4 倍,但因为整个会话生成量只有 53k tokens,总支出仅一毛钱出头。
    *     上下文冷输入占了 75% 的绝对大头:在会话后期,单步上下文已膨胀到 150k。
    一旦发生模型切换、网络超时重试、或者工具返回大块输出导致服务端 Prompt Cache 失效,只要有 1 次“全量冷输入重算”,
    单步就要吞掉 150k 全价 Token(相当于模型生成 75,000 字的费用)!
    *     结论: 控制上下文膨胀与及时切新会话,比节约输出字数重要 30 倍。 
    任务阶段性闭环后,立即将结论落盘推仓并新开轻量会话,是性价比最高的工程实践。
    
  • #8

    支持 bd

  • #9

    动态补全006厉害呀

  • 站长
    亮了 1#12

    不错不错

    个性签名

    记录生活,分享世界!!!IKMS

  • 禁言
    亮了 1#13
    该用户已被禁言,内容已隐藏

发表回复