关于本地自建大模型想听听大佬们的意见
7810
前几天 DeepSeek 的价格调整，现在已经不敢站起来蹬了，就算不站起来蹬，一天也要要跑大几十块钱 V4 Flash，生出了自建的想法。目前看到的方案：
两台 DGX Spark，双节点跑，看到网上的数据，三并发能跑到 130+tok/s，但是受限于带宽问题，decode 速度不太理想，但是也堪堪够用。目前售价 6W5 左右。但是这毕竟是开发套件，保修是个大问题，很多只提供一年的保修，而且不支持延保。
目前比较中意的设备是未发布的 M5U 的 MacStudio 256G，个人分析了一下，预估售价 8W 左右，最大的优势是苹果更加保值，苹果的售后体系更加健全 + 网传的 1.3T 的内存带宽，理论单路就可以跑到 100+tok/s 的 decode 速度。但是没了英伟达的原生 4bit 量化支持，实际质量存疑。并且 AI 算力也存疑，但就目前的 M5 MAX 来看，还算不错。推测 M5U 的质量也应该不错。
关于回本：个人测算，以我站起来蹬的用量，一天得接近 200 的 API 费用。如果自建的话，保守估算，两年能够回本。
关于模型质量：就 V4 Flash 的表现来看，非常满意，甚至比 V4 Pro 还好用.... 而且看了一些评测，普遍反馈自建 NVFP4 质量比官方的 API 处理能力还略强一筹。但如果跑在 MacStudio 上，质量如何，还有待评测。
按照现在这个进化速度 会不会你这边到手部署完又出来了新的 现在想想半年之前的模型 和现在都是天壤之别 我感觉找找羊毛中转 国模基本很便宜了
@枫雨 #1 也有这方面的担忧，好的模型不再开源。但是如果开源的话又更好的选择，可以直接更换调优。就怕新出来的国模价格再涨，那就成本更高了。第三方部署的模型，其实并不是太靠谱，个人体感通过 opencode go 调用的 V4 Flash，现在频繁的出现了复读问题，这是在未调价前从来没有发现过的，社区中很多人都说被掺水了，而且缓存命中率也有所降低，无疑抬高了使用成本。
不值得。
模型成本总体是在下降的，未来大概率只会越来越便宜。而且谁也不知道，未来有没有可能出现更新的技术，或者干脆就有一家公司把 DeepSeek V5 什么的硬编码成芯片，以极低的成本能提供极高的算力，就像 chatjimmy.ai 这个一样。@原神 #3 只怕是困难，未来两年我看不到降价的趋势...... 主要是新模型的规模不断攀升，导致训练新模型的成本也在不断的攀升。或许等等看 AI 经济的下一步发展如何，可以更加理智。现在内存实在是太贵了，如果两台机器的成本能降低 30-40% 以上，或许可以更加值得考虑。而且本地部署一个是数据的隐私性，还有可以突破模型的道德底线，干点别的事情....
很多第三方部署的 DeepSeek 质量明显不如官方 API，更别说拿基础配置的极限自部署了。
@DorothysFern #5 确实是这样，但是我在 B 站博主 困梦的杂物间 看到的 双 DGX 的分享视频里面看到，本地部署跑了 LLM SQL Local Benchmark 的测试，情况是本地 NVFP4 部署的成绩是好于官方 API 的，确实也着实令人费解。https://www.bilibili.com/video/BV1FCGK6HEQr?t=207.2
真自建了怕是吃灰，新技术一出，这堆硬件直接贬值一半。
@pillbox #7 确实也有这部分风险.... 目前看来以现在的硬件价格和这部分硬件的市场成熟度来看，自建貌似还不是一个很好的选择.....
这个论坛有很多本地部署的实践
https://lcz.me/@crazypeace #9 感谢大佬，我去瞅瞅